안녕하세요. 쿠루가이입니다. `llama.cpp`를 OPENAI와 비슷하게 사용할 수 있는 `llama-cpp-python` 라고 있습니다. 최근에 gguf 파일도 추가되고 정말 좋은데요. 한가지 lora를 적용할 수 없어서 사용이 좀 꺼려지더군요. LLM을 사용하는 이유는 거의 커스터마이즈된 나만의 LLM을 갖기 위해서인데 lora가 없어서 너무 불편했습니다. 그래서 github에 아래와 같이 의뢰를 했었습니다. 그 후에 다른 유저들이 제 말을 못 알아 들었는지 llama_cpp.server가 아니라 자꾸 파이썬 코드에서 불러오는걸 사용해봐라. 모델을 병합하여 gguf만들어 그냥 사용하라라는 답변을 주더군요. 저는 llama.cpp에 lora 메뉴가 있으니까 그걸 llama_cpp.server에 적용해..

안녕하세요. 쿠루가이입니다. kurugai/llama-ko-medical-chat-7b · Hugging Face 의 모델을 가지고 건강상담을 해보았습니다. 이 모델은 kfkas/Llama-2-ko-7b-Chat 모델을 기반으로 squarelike/ko_medical_chat 의 데이터셋으로 5에폭 학습시켰습니다. 아래는 실제 건강검진에서 문제가 된 부분입니다. 이 부분을 가지고 llm과 상담을 하려고 합니다. 아래는 대화 내용입니다.아래는 의사와 환자간의 진료 기록입니다. 의사는 환자에게 병의 원인과 치료, 그리고 예방하는 방법에 대해서 알려주어야할 의무가 있습니다. 좀 길게 말해줘도 무방합니다. 환자: 최근에 건강검진을 했는데 우측 외경동맥 근위부에 약 1.9mm 두께의 비석회성 플라크가 보인다는 소..