안녕하세요. 쿠루가이입니다.지난영상에서 미니PC에 egpu를 연결하여 게임하는것을 보여드렸는데요. 이번에는 AI 모델 구동하는 모습을 보여드리겠습니다. 지난번에는 RTX 3070을 연결했었는데 AI모델을 구동하기엔 VRAM이 너무 적어서 48GB VRAM을 가진 RTX 8000 모델로 교체해서 LLM을 구동하는것을 보여드리겠습니다. AI 공부하실 때 이렇게도 구성할 수 있구나 하는 정도로만 보시면 될것 같습니다.미니PC와 EGPU 설치 및 구동에 대해서 궁금하시면 오른쪽 상단의 토스 메시지를 클릭해주세요. 도커(Docker) 설치하기1. 도커를 설치하기 위해서 구글에 접속합니다. 그리고 'docker desktop'라고 검색합니다. 그럼 첫번째로 뜨는 링크를 클릭합니다.2. 운영체제에 맞게 설치 프로그램..

안녕하세요. 쿠루가이입니다. 최근에 RTX8000이라는 그래픽카드를 사서 이것저것 돌리는 맛으로 하루하루를 살고 있는데요. 우바부가를 최신버전으로 설치했더니 extensions에 openai 가 있더라고요. 오늘은 python 코드로 우바부가와 통신해서 마치 openai가 대답하는것처럼 코드를 짜는걸 소개해볼까합니다. Boolean command-line flags에 api를 체크하고 위의 openai를 체크한 다음 [Apply flags/extensions and restart]를 누르면 활성화 됩니다. 웹브라우저 주소창에서 'http://127.0.0.1:5000/v1' 를 입력하고 아래와 같이 출력되면 설정 성공입니다. 그리고 아래는 OPENAI 스타일 파이썬 코드인데 api_base를 'http:..

안녕하세요. 쿠루가이입니다. 오늘은 RTX 8000 언박싱 및 설치기...그리고 간단히 성능 테스트를 해보도록 하겠습니다. 구입 동기LLM이라는것을 안지 거의 1년이 다 되어 갑니다. 3년전에 나름 고사양PC로 샀었는데 LLM을 알고 나서는 완전 저사양 취급을 당합니다.ㅠㅠ 그것은 바로 그래픽 카드때문인데요. LLM을 구동하기 위해서는 VRAM이라는 메모리가 매우~~~ 커야합니다. 구동할 수 있는 LLM은 파라미터수에 따라 다른데요. 제가 가진 카드는 VRAM이 8GB이므로 기껏해봐야 6B 정도 LLM 구동하는게 전부입니다. 이것도 4비트 양자화 해야 겨우 돌릴수 있습니다.13B, 30B, 65B 같은 파라미터가 훨씬 많은 모델들은 도대체 어떤 성능을 가지고 있는지 궁금해하고 있었습니다. 아마 이런것들을..

안녕하세요. 쿠루가이입니다. kurugai/llama-ko-medical-chat-7b · Hugging Face 의 모델을 가지고 건강상담을 해보았습니다. 이 모델은 kfkas/Llama-2-ko-7b-Chat 모델을 기반으로 squarelike/ko_medical_chat 의 데이터셋으로 5에폭 학습시켰습니다. 아래는 실제 건강검진에서 문제가 된 부분입니다. 이 부분을 가지고 llm과 상담을 하려고 합니다. 아래는 대화 내용입니다.아래는 의사와 환자간의 진료 기록입니다. 의사는 환자에게 병의 원인과 치료, 그리고 예방하는 방법에 대해서 알려주어야할 의무가 있습니다. 좀 길게 말해줘도 무방합니다. 환자: 최근에 건강검진을 했는데 우측 외경동맥 근위부에 약 1.9mm 두께의 비석회성 플라크가 보인다는 소..

안녕하세요. 쿠루가이입니다. 오늘은 text-generation-webui(이하 우바부가)에서 외부로 통신하는 방법에 대해서 알아보겠습니다. 컴퓨터 사양 저는 2021년 2월에 컴퓨터를 새로 맞췄습니다. 사양은 아래와 같습니다. CPU : 10세대 인텔® 코어™ i7 프로세서 - 10700KF(8 core / 16 Thread) / 수냉쿨링시스템 OS : Windows 11 Pro 64 RAM : 64GB DDR4 3200 SSD : 1TB, 2TB GPU : NVIDIA® GeForce RTX™ 3070(8GB GDDR6 전용) Power : 750W 80PLUS Platinum 그때 당시에는 LLM을 할거라는 생각을 전혀 하지 못했습니다. 그래서 QHD로 오버워치가 144Hz로 동작만 한다면 아무 문..