LLM 돌리기엔 RTX8000이 적절할까?

안녕하세요. 쿠루가이입니다.

오늘은 LLM을 돌리기에 RTX8000 라는 그래픽카드가 적절한가에대해서 알아보는 시간을 가지려고합니다.

RTX 8000은 70B 4bit 양자화 된 모델도 돌릴수 있도록 48GB VRAM을 가지고 있습니다. 이렇게 파라미터가 높은 모델을 돌릴수 있는 그래픽카드는 단순한 성능 비교로 끝낼 수 없는 독특한 장단점을 가지고 있습니다. 지금부터 하나씩 파헤쳐 보겠습니다.

1. RTX 8000의 장점
RTX 8000의 가장 큰 장점은 48GB의 넉넉한 VRAM입니다. 이는 대형 모델이나 중간 크기 이상의 AI 모델을 돌리는 데 적합하죠. 또한, RTX 8000은 슬림한 디자인과 적은 전력 소모(300W)로 효율적인 사용이 가능합니다. 추가적인 냉각장치가 없어도 그래픽 카드에 장착된 블로워 팬만으로 충분히 구동할 수 있습니다. 그래서 일반 데스트톱이나 egpu에서도 문제 없이 사용할 수 있습니다.

2. 성능 비교: RTX 8000 vs 3090
그렇다면 RTX 8000과 3090을 비교하면 어떨까요? RTX 8000은 VRAM 측면에서 월등하지만, 속도 면에서는 3090이 더 우수합니다. 특히 플래시 어텐션(Flash Attention)과 같은 최신 기술을 지원하는 3090은 속도 대비 가성비 면에서 더 나은 선택일 수 있습니다. 다만, 3090은 더 많은 전력(350W * 2)을 소모하고 공간을 더 차지하기 때문에 RTX 8000이 적합한 환경도 분명히 존재합니다.


3. RTX 8000의 활용 사례
70B 모델 4bit 양자화한 모델을 15명의 사용자가 동시에 사용해도 충분히 수용가능한 수준입니다. 이미지 생성 속도는 평균 30초로, 빠르지는 않지만 안정적이고 효율적인 작업 환경을 제공합니다.


4. RTX 8000의 단점
하지만 RTX 8000에도 단점은 존재합니다. 우선 가격이 상대적으로 높으며, 2개의 3090을 사용하는 것이 더 빠르고 비용 효율적일 수도 있습니다.

RTX8000 : 중고나라 200만원
RTX3090 : 중고나라 160만원(80만원 *2)

또한, 플래시 어텐션이나 BF16 지원이 부족한 점은 최신 작업 환경에서 점점 중요한 요소로 자리 잡고 있어 아쉬운 부분입니다. 특히 vllm에서 제미나이를 돌릴려면 플래시어텐션이 있어야하는데 rtx8000에서는 이게 불가능해서 돌릴서 없습니다. Llama.cpp로 돌리수밖에 없어요.


5. 최종 결론
결론적으로 RTX 8000은 속도보다는 안정성과 효율성을 중시하는 사용자들에게 적합한 GPU입니다. 특히 제한된 공간, 전력 소모를 고려해야 하는 환경에서 뛰어난 선택이 될 수 있죠. 반면, 속도와 최신 기술이 중요하다면 3090이나 다른 대안을 고려하는 것이 더 나을 수도 있습니다. 여러분의 환경과 필요에 따라 적합한 선택을 하시면 됩니다!