axolotl 훈련한 결과와 일반 코드로 훈련한 결과가 다르다.

알파카 형식의 데이터셋을 훈련 방법은 코드 베이스로 쥬피터 노트북으로 훈련하는 방법과 아홀로틀 훈련하는 방법이 있습니다.

이브이를 만든 야놀자에서도 아홀로틀을 사용할 정도로 쓸만한 훈련 툴이라고 생각이 되는데 어째서인지 5에폭 훈련을 시켰는데도 불구하고 데이터셋(약 700항목) 내용을 전혀 못 뱉어내는 결과가 나왔습니다.

이미 이브이 기반으로 쿠루가이 모델을 이걸로 훈련 시켰는데 뭥미(?)!!!!

몇 번을 해봐도 동일한 결과가 나왔습니다. 뭐가 문제지? 혹시나 하는 마음에 코드베이스로 5에폭 훈련 시켜보았습니다. 결과를 봤는데....아주 잘 훈련이 된것을 확인 할 수 있었습니다. 뭐지...똑같은 로라 하이퍼파라미터로 훈련했는데 결과가 전혀 다른건 도저히 이해할 수 없는 노릇이였습니다.

아홀로틀 전처리 하는 부분이 있는데 이 곳에서 중복된 데이터는 제거하는 기능을 수행한다는것을 알았습니다.

매뉴얼 기반으로 데이터셋을 만들었는데 중복된 용어들이 있어서 아마도 이 부분이 삭제되어 제대로 훈련이 안됐다고 가설을 세웠습니다. 오늘 집에가서 데이터 전처리 부분은 생략하고 다시한번 로라로 훈련해서 결과를 봐야겠습니다.

여기서 중복제거는 반드시 필요한 기능은 맞습니다. 하지만 특정 분야에서 사용하는 용어와 내용은 반복되는것이 많은데 이걸 제거해버리면....결국 훈련할게 없어져버립니다. 광범위한 데이터셋이라면 중복제거가 맞아요.