안녕하세요. 쿠루가이입니다.오늘은 LLM을 돌리기에 RTX8000 라는 그래픽카드가 적절한가에대해서 알아보는 시간을 가지려고합니다.RTX 8000은 70B 4bit 양자화 된 모델도 돌릴수 있도록 48GB VRAM을 가지고 있습니다. 이렇게 파라미터가 높은 모델을 돌릴수 있는 그래픽카드는 단순한 성능 비교로 끝낼 수 없는 독특한 장단점을 가지고 있습니다. 지금부터 하나씩 파헤쳐 보겠습니다.1. RTX 8000의 장점RTX 8000의 가장 큰 장점은 48GB의 넉넉한 VRAM입니다. 이는 대형 모델이나 중간 크기 이상의 AI 모델을 돌리는 데 적합하죠. 또한, RTX 8000은 슬림한 디자인과 적은 전력 소모(300W)로 효율적인 사용이 가능합니다. 추가적인 냉각장치가 없어도 그래픽 카드에 장착된 블로워 ..

2025년 1월 28일요즘 유행하는 LLM 모델을 돌릴려고하는데 아래와 같은 메시지가 나타나면서 실행이 되지 않았다.(25년 01월 28일 기준)root@350326956c6a:~# python3 -m llama_cpp.server --n_gpu_layers -1 --n_ctx 32768 --host 0.0.0.0 --port 5000 --model DeepSeek-R1-Distill-Qwen-32B-Q6_K.gguf ggml_cuda_init: GGML_CUDA_FORCE_MMQ: no ggml_cuda_init: GGML_CUDA_FORCE_CUBLAS: no ggml_cuda_init: found 1 CUDA devices: Device 0: Quadro RTX 8000, compute c..

안녕하세요. 쿠루가이입니다.지난영상에서 미니PC에 egpu를 연결하여 게임하는것을 보여드렸는데요. 이번에는 AI 모델 구동하는 모습을 보여드리겠습니다. 지난번에는 RTX 3070을 연결했었는데 AI모델을 구동하기엔 VRAM이 너무 적어서 48GB VRAM을 가진 RTX 8000 모델로 교체해서 LLM을 구동하는것을 보여드리겠습니다. AI 공부하실 때 이렇게도 구성할 수 있구나 하는 정도로만 보시면 될것 같습니다.미니PC와 EGPU 설치 및 구동에 대해서 궁금하시면 오른쪽 상단의 토스 메시지를 클릭해주세요. 도커(Docker) 설치하기1. 도커를 설치하기 위해서 구글에 접속합니다. 그리고 'docker desktop'라고 검색합니다. 그럼 첫번째로 뜨는 링크를 클릭합니다.2. 운영체제에 맞게 설치 프로그램..

24년 7월 1일부터 8월 23일까지 AI말평 경진대회가 있습니다. 총 4개 부문으로 참가 가능한데 일단 대화 맥락 추론(가 유형)으로 참가중입니다. 가 유형은 국립어학원에서 제공한 모델 및 데이터로만 훈련 시켜서 점수를 매기는것이고 나 유형은 국립어학원에서 제공한 모델 + 데이터 + 외부 데이터(증강 데이터 포함) 까지 합쳐서 훈련시키는것입니다. 나 유형은 데이터셋을 외부에서 찾거나 만들어야하므로 손이 더 갑니다. 그리고 라이선스가 있는 데이터셋이라면 그 책임은 본인이 져야된다는 부담감도 있으므로 저는 가 유형만 참가하려고 합니다.리더보드에 종료일 기준 상위 1위부터 5위까지 들은 참가자는 나중에 오프라인으로 PPT발표까지 합친 최종 점수를 받게 됩니다. 일단 리더보드 1~5위에 들어야만 유의미한 결과..

알파카 형식의 데이터셋을 훈련 방법은 코드 베이스로 쥬피터 노트북으로 훈련하는 방법과 아홀로틀 훈련하는 방법이 있습니다. 이브이를 만든 야놀자에서도 아홀로틀을 사용할 정도로 쓸만한 훈련 툴이라고 생각이 되는데 어째서인지 5에폭 훈련을 시켰는데도 불구하고 데이터셋(약 700항목) 내용을 전혀 못 뱉어내는 결과가 나왔습니다. 이미 이브이 기반으로 쿠루가이 모델을 이걸로 훈련 시켰는데 뭥미(?)!!!! 몇 번을 해봐도 동일한 결과가 나왔습니다. 뭐가 문제지? 혹시나 하는 마음에 코드베이스로 5에폭 훈련 시켜보았습니다. 결과를 봤는데....아주 잘 훈련이 된것을 확인 할 수 있었습니다. 뭐지...똑같은 로라 하이퍼파라미터로 훈련했는데 결과가 전혀 다른건 도저히 이해할 수 없는 노릇이였습니다. 아홀로틀 전처리 하..

지난번 Axolotl로 Lora 파인튜닝을 처음으로 진행했었습니다. 베이스 모델은 'yanolja/EEVE-Korean-10.8B-v1.0'로 해서 'maywell/kiqu_samples' 데이터셋으로 학습했습니다. 하지만 훈련하기 까지 많은 어려움이 있었는데요. RTX 8000 그래픽카드때문에 발생한 문제, 그리고 데이터셋 자체가 너무 적어서 발생한 문제가 있어서 그 해결방법을 기록해두려고 합니다. 저는 AI 전문가가 아니라 틀린정보일수도 있으니 알아서 필터링 해주십시오.ㅠㅠ 1. 연산 방법 bf16: false # 기본값 : true fp16: true # RTX 8000은 좀 오래된 기종이라 fp16만 지원함. tf32: false bf16는 최근에 나온 방식으로 RTX8000같은 구형기기에서는 동..