안녕하세요. 쿠루가이입니다.오늘은 LLM을 돌리기에 RTX8000 라는 그래픽카드가 적절한가에대해서 알아보는 시간을 가지려고합니다.RTX 8000은 70B 4bit 양자화 된 모델도 돌릴수 있도록 48GB VRAM을 가지고 있습니다. 이렇게 파라미터가 높은 모델을 돌릴수 있는 그래픽카드는 단순한 성능 비교로 끝낼 수 없는 독특한 장단점을 가지고 있습니다. 지금부터 하나씩 파헤쳐 보겠습니다.1. RTX 8000의 장점RTX 8000의 가장 큰 장점은 48GB의 넉넉한 VRAM입니다. 이는 대형 모델이나 중간 크기 이상의 AI 모델을 돌리는 데 적합하죠. 또한, RTX 8000은 슬림한 디자인과 적은 전력 소모(300W)로 효율적인 사용이 가능합니다. 추가적인 냉각장치가 없어도 그래픽 카드에 장착된 블로워 ..

안녕하세요, 쿠루가이입니다! 오늘은 인클로저를 탑재할 수 있는 M4 맥미니 전용 하기비스 USB-C 도킹 스테이션을 소개해 드리려고 합니다. 구입 동기 제가 이 제품을 구입하게 된 이유는 간단합니다. 맥미니를 벨킨 USB 허브와 연결해 사용하고 있었는데, 여기에 삼성 T7 SSD 외장 디스크까지 추가로 연결하니 책상이 너무 어수선해지더라고요. 그래서 이 모든 문제를 한 방에 해결할 수 있는 방법을 찾다가, 이 도킹 스테이션을 발견하게 되었습니다. 제품 구성이 제품은 두 가지 MC60과 MC60H 2개의 모델로 나눠져있습니다. 이둘의 차이는 HDMI 포트의 유무입니다. 저는 모니터 한 대만 사용하는 관계로 MC60을 선택했지만, 듀얼 모니터를 쓰시는 분들은 HDMI 포트가 포함된 MC60H를 추천드립니..

2025년 1월 28일요즘 유행하는 LLM 모델을 돌릴려고하는데 아래와 같은 메시지가 나타나면서 실행이 되지 않았다.(25년 01월 28일 기준)root@350326956c6a:~# python3 -m llama_cpp.server --n_gpu_layers -1 --n_ctx 32768 --host 0.0.0.0 --port 5000 --model DeepSeek-R1-Distill-Qwen-32B-Q6_K.gguf ggml_cuda_init: GGML_CUDA_FORCE_MMQ: no ggml_cuda_init: GGML_CUDA_FORCE_CUBLAS: no ggml_cuda_init: found 1 CUDA devices: Device 0: Quadro RTX 8000, compute c..

https://youtu.be/JG8DiwGe7CY안녕하세요. 쿠루가이입니다.이번에 M4 맥미니를 구입했는데요. 인터넷 커뮤니티를 많이 돌아다녀보았는데 맥미니는 무조건 4K이상 모니터가 필요하다고 하더군요. 저는 2011년에 산 FHD 모니터를 계속 사용하고 있는데 실제로 화면이 자글자글 한것이 선명하지 못했습니다. 4K 모니터를 사야하나 갈등하던 순간 HiDPI 적용이 되지 않아서 선명하지 않았다 라고 결론을 내릴 수 있었습니다. 오늘은 FHD를 좀 더 선명하게 보는 방법에 대해서 알아보도록 하겠습니다. HiDPI란?HiDPI는 High Dots Per Inch의 약자입니다. 1인치당 픽셀 수를 DPI(Dots Per Inch)라고 하는데, HiDPI는 현재 설정되어 있는 해상도보다 더 큰 이미지로 ..

https://youtu.be/Y-d8nvbAgDc안녕하세요. 쿠루가이입니다.오늘은 GMK K6 미니PC의 효율적인 열배출을 하기위해 모드킷을 장착하고 녹투아 팬을 설치하는 방법에대해서 이야기하고자합니다.미니PC의 단점이 부실한 팬성능이 있는데요. 일반 데스크톱 PC는 케이스 안 공간이 넓어서 여러 개의 팬을 장착하여 열 배출을 잘 할 수 있습니다. 미니PC는 협소한 공간에 CPU, RAM, SSD 등 다 때려박아서 발생하는 열을 효율적으로 배출할 수가 없습니다.제가 구입한 GMK K6의 경우, 하단에 CPU/GPU를 식혀주는 팬 1개, 상단에 메모리, SSD를 식혀주는 팬이 있습니다. CPU/GPU 쪽 팬은 그래도 잘 동작하는데 상단에 있는 팬은 작아도 너무나 작습니다. 가뜩이나 SSD, 메모리 클럭이..

조커1에서 살인을 저질러 교도소에 들어간 아서 플렉.그곳 생활은 처참하다.교도관들은 양아치 배불뚝이여서 인간 이하 취급을 서슴치 않는다. 아서는 애연가인데 농담을 해야 교도관들이 담배를 준다. 그래서 매일 농담할거리를 생각해야한다.잠을 잘때는 신발을 문밖에 두고 방으로 들어간다. 이때 문이 잠긴다. 밤새 용변이 급하면 가지고 들어간 요강통으로 해결한다. 다음날 아침이면 요강통을 비운다.매일 2알씩 정신과 약으로 버틴다.재판 때문에 가끔 변호사를 만난다. 변호사 만나러 가는 날은 씻는 날이다. 목욕도 하고 면도도 하고. 면도는 교도관들이 해준다. 왜냐하면 날카로운 면도날을 주면 자살하거나 다른사람을 해칠수 있기때문에 대신해준다.변호사를 만나러가는 길에 정신병동의 병자들이 노래치료를 받고 있었다. 그중 금..