github의 llama_cpp.server에 lora 기능을 추가해달라고 요청했다!

안녕하세요. 쿠루가이입니다.

`llama.cpp`를 OPENAI와 비슷하게 사용할 수 있는 `llama-cpp-python` 라고 있습니다. 최근에 gguf 파일도 추가되고 정말 좋은데요. 한가지 lora를 적용할 수 없어서 사용이 좀 꺼려지더군요. LLM을 사용하는 이유는 거의 커스터마이즈된 나만의 LLM을 갖기 위해서인데 lora가 없어서 너무 불편했습니다.

그래서 github에 아래와 같이 의뢰를 했었습니다.

github에 기능 추가를 요청하였다

그 후에 다른 유저들이 제 말을 못 알아 들었는지 llama_cpp.server가 아니라 자꾸 파이썬 코드에서 불러오는걸 사용해봐라. 모델을 병합하여 gguf만들어 그냥 사용하라라는 답변을 주더군요. 저는 llama.cpp에 lora 메뉴가 있으니까 그걸 llama_cpp.server에 적용해달라는거였는데 뭔가 번역기 오류인지 제가 말을 잘못 전달한건지 핏트가 많이 안 맞았어요.

그러던중...llama_cpp.server 제작자인 abetlen 님이 제 의도를 정확히 파악하셔서 적용해주셨습니다.

 

제가 개떡같이 말했는데 찰떡같이 알아들으셔서 적용해주셨어요^^ 감사합니다.ㅠㅠ

아래 그림처럼 파라미터에 --lora_path 같이 관련 설정들이 추가된것을 확인할 수 있었습니다.

 

허깅페이스의 'StarFox7/Llama-2-ko-7B-chat-gguf'의 모델과 'kurugai/llama-ko-medical-chat-7b' lora를 불러들여서 사용이 가능해졌습니다. 야호!!

 

아래와 같이 로라를 불러와서 챗닥터의 의료 조언을 얻을 수 있습니다!^^