F1 Score 측정하는 프로그램

안녕하세요. 쿠루가이입니다. 국립국어원 인공지능 AI 말평( 모두의 말뭉치)이라는 사이트가 있습니다. 이곳에서는 로컬 LLM을 가지고 혐오 발언 탐지라던가 감성분석을 한다거나 하는 테스트 해볼 수 있는 여러 과제들을 제공하고 있습니다. 저는 이것들 중에서 '혐오발언탐지' 부분을 해보고 있는데요. 예를 들면 이런겁니다. input 문자열에 '멍청한 소리 하지 마라'라는 문장을 입력했을 때 LLM이 이것을 보고 혐오 문장인지 아닌지 판단해주는것입니다. 혐오발언인 경우 0, 혐오발언이 아닌경우 1로 리턴해주게 해주면 되는 과제입니다. 평가는 F1점수로 한다고 하는데 저는 이런것을 첨들어 보았기때문에 조금 찾아보았습니다. 정확도 (Accuracy): 모든 예측 중 올바른 예측의 비율을 나타냅니다. 정확도는 모델..

2023.10.30