github의 llama_cpp.server에 lora 기능을 추가해달라고 요청했다!
안녕하세요. 쿠루가이입니다. `llama.cpp`를 OPENAI와 비슷하게 사용할 수 있는 `llama-cpp-python` 라고 있습니다. 최근에 gguf 파일도 추가되고 정말 좋은데요. 한가지 lora를 적용할 수 없어서 사용이 좀 꺼려지더군요. LLM을 사용하는 이유는 거의 커스터마이즈된 나만의 LLM을 갖기 위해서인데 lora가 없어서 너무 불편했습니다. 그래서 github에 아래와 같이 의뢰를 했었습니다. 그 후에 다른 유저들이 제 말을 못 알아 들었는지 llama_cpp.server가 아니라 자꾸 파이썬 코드에서 불러오는걸 사용해봐라. 모델을 병합하여 gguf만들어 그냥 사용하라라는 답변을 주더군요. 저는 llama.cpp에 lora 메뉴가 있으니까 그걸 llama_cpp.server에 적용해..
2023.09.19
