10.7B 모델을 알파카 포맷으로 1에폭 진행중입니다. lora로 돌리는데 RAM은 37.5GB, VRAM은 33.9GB정도 먹습니다. VRAM은 초기에 30GB였는데 데이터가 쌓이는지 소폭 증가했습니다. 워낙 데이터셋이 큰지라 시간이 많이 걸리는데 훈련 중간에 loss, grad_norm 등 여러 외계어가 보이는데요. 이것에 대한 내용을 chatgpt에게 묻고 어떤 의미인지 알려달라고 했습니다. ■ 손실 함수 값 (Loss): 손실 함수의 값이 감소하고 있는지 확인해야 합니다. 제공된 정보에서는 'loss' 값이 감소하는 경향을 보이고 있습니다. 이는 훈련이 모델을 더 정확하게 만들고 있는 것을 나타낼 수 있습니다. 손실 감소 확인하기 (Loss Decrease): 손실이 완만하게 감소하는 것은 모델이..

speculative decoding(Assisted Generation, 보조 생성) 자연어 생성 모델의 레이턴시 문제를 해결하기 위한 새로운 디코딩 방법인 "보조 생성(assisted generation)"에 대해서 알아보겠습니다. 자연어 생성은 기본적으로 모델의 순방향 전파(forward pass) 과정을 반복하여 이루어지는데, 이 과정에서 가장 시간이 많이 소요됩니다. 이러한 레이턴시(지연) 문제를 해결하기 위해 보조 생성 방법을 도입하여, 기존의 모델을 보조하여 더 빠르고 효율적인 텍스트 생성을 가능케 합니다. 기존의 자연어 생성 과정에서는 모델이 다음 토큰의 확률 분포를 예측하는 과정에서 레이턴시 문제가 발생합니다. 이 과정은 주로 모델의 순방향 전파 연산에 의해 지배되며, 특히 메모리 대역폭..

안녕하세요. 쿠루가이입니다. 최근에 RTX8000이라는 그래픽카드를 사서 이것저것 돌리는 맛으로 하루하루를 살고 있는데요. 우바부가를 최신버전으로 설치했더니 extensions에 openai 가 있더라고요. 오늘은 python 코드로 우바부가와 통신해서 마치 openai가 대답하는것처럼 코드를 짜는걸 소개해볼까합니다. Boolean command-line flags에 api를 체크하고 위의 openai를 체크한 다음 [Apply flags/extensions and restart]를 누르면 활성화 됩니다. 웹브라우저 주소창에서 'http://127.0.0.1:5000/v1' 를 입력하고 아래와 같이 출력되면 설정 성공입니다. 그리고 아래는 OPENAI 스타일 파이썬 코드인데 api_base를 'http:..

안녕하세요. 쿠루가이입니다. 오늘은 RTX 8000 언박싱 및 설치기...그리고 간단히 성능 테스트를 해보도록 하겠습니다. 구입 동기LLM이라는것을 안지 거의 1년이 다 되어 갑니다. 3년전에 나름 고사양PC로 샀었는데 LLM을 알고 나서는 완전 저사양 취급을 당합니다.ㅠㅠ 그것은 바로 그래픽 카드때문인데요. LLM을 구동하기 위해서는 VRAM이라는 메모리가 매우~~~ 커야합니다. 구동할 수 있는 LLM은 파라미터수에 따라 다른데요. 제가 가진 카드는 VRAM이 8GB이므로 기껏해봐야 6B 정도 LLM 구동하는게 전부입니다. 이것도 4비트 양자화 해야 겨우 돌릴수 있습니다.13B, 30B, 65B 같은 파라미터가 훨씬 많은 모델들은 도대체 어떤 성능을 가지고 있는지 궁금해하고 있었습니다. 아마 이런것들을..

안녕하세요. 쿠루가이입니다. 국립국어원 인공지능 AI 말평( 모두의 말뭉치)이라는 사이트가 있습니다. 이곳에서는 로컬 LLM을 가지고 혐오 발언 탐지라던가 감성분석을 한다거나 하는 테스트 해볼 수 있는 여러 과제들을 제공하고 있습니다. 저는 이것들 중에서 '혐오발언탐지' 부분을 해보고 있는데요. 예를 들면 이런겁니다. input 문자열에 '멍청한 소리 하지 마라'라는 문장을 입력했을 때 LLM이 이것을 보고 혐오 문장인지 아닌지 판단해주는것입니다. 혐오발언인 경우 0, 혐오발언이 아닌경우 1로 리턴해주게 해주면 되는 과제입니다. 평가는 F1점수로 한다고 하는데 저는 이런것을 첨들어 보았기때문에 조금 찾아보았습니다. 정확도 (Accuracy): 모든 예측 중 올바른 예측의 비율을 나타냅니다. 정확도는 모델..

안녕하세요. 쿠루가이입니다. 요즘 Lora를 만져보고 있는데요. 건강에 관심이 많은 쿠루가이는 건강 상담사 LLM을 직접 만들어보고 싶었졌습니다. 물론 기존 chatDoctor 라고해서 아래와 같이 적용해서 만든적이 있었는데 모든 데이터를 가지고 lora를 한게 아니라서 조금 욕심이 나더군요. (아래 LLM은 'BI55/MedText' 를 대화 형식으로 바꾼것입니다) 2023.08.21 - [인공지능] - [LLM] 인공지능 챗으로 동맥경화에 대해서 상담을 받아보았습니다. [LLM] 인공지능 챗으로 동맥경화에 대해서 상담을 받아보았습니다. 안녕하세요. 쿠루가이입니다. kurugai/llama-ko-medical-chat-7b · Hugging Face 의 모델을 가지고 건강상담을 해보았습니다. 이 모델은..