2025년 1월 28일요즘 유행하는 LLM 모델을 돌릴려고하는데 아래와 같은 메시지가 나타나면서 실행이 되지 않았다.(25년 01월 28일 기준)root@350326956c6a:~# python3 -m llama_cpp.server --n_gpu_layers -1 --n_ctx 32768 --host 0.0.0.0 --port 5000 --model DeepSeek-R1-Distill-Qwen-32B-Q6_K.gguf ggml_cuda_init: GGML_CUDA_FORCE_MMQ: no ggml_cuda_init: GGML_CUDA_FORCE_CUBLAS: no ggml_cuda_init: found 1 CUDA devices: Device 0: Quadro RTX 8000, compute c..

안녕하세요. 쿠루가이입니다.지난영상에서 미니PC에 egpu를 연결하여 게임하는것을 보여드렸는데요. 이번에는 AI 모델 구동하는 모습을 보여드리겠습니다. 지난번에는 RTX 3070을 연결했었는데 AI모델을 구동하기엔 VRAM이 너무 적어서 48GB VRAM을 가진 RTX 8000 모델로 교체해서 LLM을 구동하는것을 보여드리겠습니다. AI 공부하실 때 이렇게도 구성할 수 있구나 하는 정도로만 보시면 될것 같습니다.미니PC와 EGPU 설치 및 구동에 대해서 궁금하시면 오른쪽 상단의 토스 메시지를 클릭해주세요. 도커(Docker) 설치하기1. 도커를 설치하기 위해서 구글에 접속합니다. 그리고 'docker desktop'라고 검색합니다. 그럼 첫번째로 뜨는 링크를 클릭합니다.2. 운영체제에 맞게 설치 프로그램..

24년 7월 1일부터 8월 23일까지 AI말평 경진대회가 있습니다. 총 4개 부문으로 참가 가능한데 일단 대화 맥락 추론(가 유형)으로 참가중입니다. 가 유형은 국립어학원에서 제공한 모델 및 데이터로만 훈련 시켜서 점수를 매기는것이고 나 유형은 국립어학원에서 제공한 모델 + 데이터 + 외부 데이터(증강 데이터 포함) 까지 합쳐서 훈련시키는것입니다. 나 유형은 데이터셋을 외부에서 찾거나 만들어야하므로 손이 더 갑니다. 그리고 라이선스가 있는 데이터셋이라면 그 책임은 본인이 져야된다는 부담감도 있으므로 저는 가 유형만 참가하려고 합니다.리더보드에 종료일 기준 상위 1위부터 5위까지 들은 참가자는 나중에 오프라인으로 PPT발표까지 합친 최종 점수를 받게 됩니다. 일단 리더보드 1~5위에 들어야만 유의미한 결과..

알파카 형식의 데이터셋을 훈련 방법은 코드 베이스로 쥬피터 노트북으로 훈련하는 방법과 아홀로틀 훈련하는 방법이 있습니다. 이브이를 만든 야놀자에서도 아홀로틀을 사용할 정도로 쓸만한 훈련 툴이라고 생각이 되는데 어째서인지 5에폭 훈련을 시켰는데도 불구하고 데이터셋(약 700항목) 내용을 전혀 못 뱉어내는 결과가 나왔습니다. 이미 이브이 기반으로 쿠루가이 모델을 이걸로 훈련 시켰는데 뭥미(?)!!!! 몇 번을 해봐도 동일한 결과가 나왔습니다. 뭐가 문제지? 혹시나 하는 마음에 코드베이스로 5에폭 훈련 시켜보았습니다. 결과를 봤는데....아주 잘 훈련이 된것을 확인 할 수 있었습니다. 뭐지...똑같은 로라 하이퍼파라미터로 훈련했는데 결과가 전혀 다른건 도저히 이해할 수 없는 노릇이였습니다. 아홀로틀 전처리 하..

지난번 Axolotl로 Lora 파인튜닝을 처음으로 진행했었습니다. 베이스 모델은 'yanolja/EEVE-Korean-10.8B-v1.0'로 해서 'maywell/kiqu_samples' 데이터셋으로 학습했습니다. 하지만 훈련하기 까지 많은 어려움이 있었는데요. RTX 8000 그래픽카드때문에 발생한 문제, 그리고 데이터셋 자체가 너무 적어서 발생한 문제가 있어서 그 해결방법을 기록해두려고 합니다. 저는 AI 전문가가 아니라 틀린정보일수도 있으니 알아서 필터링 해주십시오.ㅠㅠ 1. 연산 방법 bf16: false # 기본값 : true fp16: true # RTX 8000은 좀 오래된 기종이라 fp16만 지원함. tf32: false bf16는 최근에 나온 방식으로 RTX8000같은 구형기기에서는 동..

10.7B 모델을 알파카 포맷으로 1에폭 진행중입니다. lora로 돌리는데 RAM은 37.5GB, VRAM은 33.9GB정도 먹습니다. VRAM은 초기에 30GB였는데 데이터가 쌓이는지 소폭 증가했습니다. 워낙 데이터셋이 큰지라 시간이 많이 걸리는데 훈련 중간에 loss, grad_norm 등 여러 외계어가 보이는데요. 이것에 대한 내용을 chatgpt에게 묻고 어떤 의미인지 알려달라고 했습니다. ■ 손실 함수 값 (Loss): 손실 함수의 값이 감소하고 있는지 확인해야 합니다. 제공된 정보에서는 'loss' 값이 감소하는 경향을 보이고 있습니다. 이는 훈련이 모델을 더 정확하게 만들고 있는 것을 나타낼 수 있습니다. 손실 감소 확인하기 (Loss Decrease): 손실이 완만하게 감소하는 것은 모델이..