1. 와이프 쉬는날이라 저도 오늘은 오후 반차를 내고 맛있는거 먹으러 갔습니다. 어디냐면 새솔동 스벅건물 2층에 있는 편편집입니다. 편백찜 전문점입니다.2. 홀은 엄청~~~넓습니다. 새솔동에서 제일 넓은 식당인것 같았어요. 실제로 낮인데도 단체손님들이 많이 오시더라고요. 3. 셀프바엔 샤브샤브용 야채, 소스, 고기등이 놓여져 있었어요. 무한으로 먹을수 있기때문에 주인장께서는 남기면 5천원 환경부담금을 내야한다고 경고(?)가 써있었습니다.5. 점심특선으로 2인분 주문하니 종업원님이 편백찜을 가져다 놓아주셨어요. 한 15분 정도 찌면 맛있게 냠냠하면 됩니다. 타이머를 걸어두고 가시므로 우리는 아무것도 안해도 되서 편했어요. 6. 소스가 3개인데 저는 간장 소스가 맛있어서 그것만 계속 찍어 먹었어요. 7. 월..

지난번 Axolotl로 Lora 파인튜닝을 처음으로 진행했었습니다. 베이스 모델은 'yanolja/EEVE-Korean-10.8B-v1.0'로 해서 'maywell/kiqu_samples' 데이터셋으로 학습했습니다. 하지만 훈련하기 까지 많은 어려움이 있었는데요. RTX 8000 그래픽카드때문에 발생한 문제, 그리고 데이터셋 자체가 너무 적어서 발생한 문제가 있어서 그 해결방법을 기록해두려고 합니다. 저는 AI 전문가가 아니라 틀린정보일수도 있으니 알아서 필터링 해주십시오.ㅠㅠ 1. 연산 방법 bf16: false # 기본값 : true fp16: true # RTX 8000은 좀 오래된 기종이라 fp16만 지원함. tf32: false bf16는 최근에 나온 방식으로 RTX8000같은 구형기기에서는 동..

10.7B 모델을 알파카 포맷으로 1에폭 진행중입니다. lora로 돌리는데 RAM은 37.5GB, VRAM은 33.9GB정도 먹습니다. VRAM은 초기에 30GB였는데 데이터가 쌓이는지 소폭 증가했습니다. 워낙 데이터셋이 큰지라 시간이 많이 걸리는데 훈련 중간에 loss, grad_norm 등 여러 외계어가 보이는데요. 이것에 대한 내용을 chatgpt에게 묻고 어떤 의미인지 알려달라고 했습니다. ■ 손실 함수 값 (Loss): 손실 함수의 값이 감소하고 있는지 확인해야 합니다. 제공된 정보에서는 'loss' 값이 감소하는 경향을 보이고 있습니다. 이는 훈련이 모델을 더 정확하게 만들고 있는 것을 나타낼 수 있습니다. 손실 감소 확인하기 (Loss Decrease): 손실이 완만하게 감소하는 것은 모델이..

안녕하세요. 쿠루가이입니다. 벌써 2월이 다 지나가네요. 매일 반복적인 생활을 하면 시간이 빠르게 지나간다고 합니다. 그럴땐 평소에 자주 하지 않았던 일을 하게 되면 좀 천천히 간다고 합니다. 물론 머리가 아프겠지만요^^;; 그럼 2월 주식점검을 해보도록하겠습니다. 투자원칙을 다시 한번 상기시켜보겠습니다. 1. 한달에 25만원만 투자할 수 있음. - 배당주 위주로 투자 - 투자한 종목 중 마이너스가 난 것 부터 추가 매수함. - 현재 저평가로 되어 있는것 위주로 매수 2. 배당 받은것은 빼지말고 무조건. 재투자. 3. 장기투자이므로 절대 매도 금지. 4. 한달에 한번 수익율 상황 점검. 블로그에 투자일기 형태로 쓰여져야함. 먼저 4번 항목! 수익율 상황 점검을 해보죠. ■ 여론이 나빠질대로 나빠진 엔씨소..

speculative decoding(Assisted Generation, 보조 생성) 자연어 생성 모델의 레이턴시 문제를 해결하기 위한 새로운 디코딩 방법인 "보조 생성(assisted generation)"에 대해서 알아보겠습니다. 자연어 생성은 기본적으로 모델의 순방향 전파(forward pass) 과정을 반복하여 이루어지는데, 이 과정에서 가장 시간이 많이 소요됩니다. 이러한 레이턴시(지연) 문제를 해결하기 위해 보조 생성 방법을 도입하여, 기존의 모델을 보조하여 더 빠르고 효율적인 텍스트 생성을 가능케 합니다. 기존의 자연어 생성 과정에서는 모델이 다음 토큰의 확률 분포를 예측하는 과정에서 레이턴시 문제가 발생합니다. 이 과정은 주로 모델의 순방향 전파 연산에 의해 지배되며, 특히 메모리 대역폭..

1. 와이프가 김밥집 맛있고 가격도 괜찮은 집이 있다고 해서 같이 갔습니다. 2. 천서방김밥이라는 곳인데 천사약국 맞은편에 자리잡고 있습니다. 3. 김밥전문점답게 정말 다양한 김밥이 있는데요. 대표메뉴일거 같은 천서방김밥과 언제나 옳은 참치김밥을 주문했습니다.4. 테이크아웃 전문점이여서 먹을수 있는곳이 없습니다. 포장해서 집에서 먹어야겠군요 ㅎㅎ 주문은 키오스크로 하면 됩니다.5. 떡도 그렇고 김밥도 그렇고 쌀밥을 재료로 만든 음식의 경우 세균번식이 빨라서 빨리 먹어야합니다. 미국의 경우 떡을 만들고 4시간안에 소비하도록 법이 있는것으로 알고 있습니다.5. 2명인데 김밥 3줄을 산 이유는...천서방 김밥은 각자 1개씩....참치김밥은 0.5개씩 먹기 위함입니다. 포장은 아주 깔쌈하게 위생적으로 포장되어 ..