파인튜닝 시, step 수는 몇으로 해야하는지 알아보자.

KoAlpaca로 아주 아주 작은 데이터셋을 가지고 파인튜닝을 하고 있습니다. 트레이닝 중에 아래와 같이 step과 Training Loss라는 용어가 나와서 한번 알아보았습니다. 스텝(Step)이란? 파인튜닝에서 "스텝(step)"은 모델을 학습시키는 과정에서의 반복 횟수를 나타냅니다. 일반적으로 많은 스텝을 거칠수록 모델의 학습이 더 많이 이루어지기 때문에 성능이 향상될 수 있습니다. 그러나 스텝이 많다고해서 항상 더 좋은 결과를 보장하는 것은 아닙니다. 파인튜닝에서는 적절한 스텝의 개수를 선택하는 것이 중요합니다. 너무 적은 스텝을 거치면 모델이 충분히 학습되지 않아 성능이 미흡할 수 있습니다. 반대로 너무 많은 스텝을 거치면 과적합(overfitting)의 위험이 있을 수 있고, 학습 시간과 계산..

2023.07.13