미니PC에 gpu 연결해서 LLM 운영하기

안녕하세요. 쿠루가이입니다.지난영상에서 미니PC에 egpu를 연결하여 게임하는것을 보여드렸는데요. 이번에는 AI 모델 구동하는 모습을 보여드리겠습니다. 지난번에는 RTX 3070을 연결했었는데 AI모델을 구동하기엔 VRAM이 너무 적어서 48GB VRAM을 가진 RTX 8000 모델로 교체해서 LLM을 구동하는것을 보여드리겠습니다. AI 공부하실 때 이렇게도 구성할 수 있구나 하는 정도로만 보시면 될것 같습니다.미니PC와 EGPU 설치 및 구동에 대해서 궁금하시면 오른쪽 상단의 토스 메시지를 클릭해주세요. 도커(Docker) 설치하기1. 도커를 설치하기 위해서 구글에 접속합니다. 그리고 'docker desktop'라고 검색합니다. 그럼 첫번째로 뜨는 링크를 클릭합니다.2. 운영체제에 맞게 설치 프로그램..

2024.09.03