전체 글(801)
-
speculative decoding에대해서
speculative decoding(Assisted Generation, 보조 생성) 자연어 생성 모델의 레이턴시 문제를 해결하기 위한 새로운 디코딩 방법인 "보조 생성(assisted generation)"에 대해서 알아보겠습니다. 자연어 생성은 기본적으로 모델의 순방향 전파(forward pass) 과정을 반복하여 이루어지는데, 이 과정에서 가장 시간이 많이 소요됩니다. 이러한 레이턴시(지연) 문제를 해결하기 위해 보조 생성 방법을 도입하여, 기존의 모델을 보조하여 더 빠르고 효율적인 텍스트 생성을 가능케 합니다. 기존의 자연어 생성 과정에서는 모델이 다음 토큰의 확률 분포를 예측하는 과정에서 레이턴시 문제가 발생합니다. 이 과정은 주로 모델의 순방향 전파 연산에 의해 지배되며, 특히 메모리 대역폭..
2024.02.26 -
송산맛집 - 천서방김밥
1. 와이프가 김밥집 맛있고 가격도 괜찮은 집이 있다고 해서 같이 갔습니다. 2. 천서방김밥이라는 곳인데 천사약국 맞은편에 자리잡고 있습니다. 3. 김밥전문점답게 정말 다양한 김밥이 있는데요. 대표메뉴일거 같은 천서방김밥과 언제나 옳은 참치김밥을 주문했습니다.4. 테이크아웃 전문점이여서 먹을수 있는곳이 없습니다. 포장해서 집에서 먹어야겠군요 ㅎㅎ 주문은 키오스크로 하면 됩니다.5. 떡도 그렇고 김밥도 그렇고 쌀밥을 재료로 만든 음식의 경우 세균번식이 빨라서 빨리 먹어야합니다. 미국의 경우 떡을 만들고 4시간안에 소비하도록 법이 있는것으로 알고 있습니다.5. 2명인데 김밥 3줄을 산 이유는...천서방 김밥은 각자 1개씩....참치김밥은 0.5개씩 먹기 위함입니다. 포장은 아주 깔쌈하게 위생적으로 포장되어 ..
2024.02.25 -
사파리 화면을 다크모드로 지정하는 방법 feat. Noir
MacOS에서는 OS차원에서 다크모드를 지원합니다. 그런데 사파리 웹브라우저에서는 다크모드가 되지 않아서 눈이 많이 아픈데요. 오늘은 사파리에서 다크모드를 적용하는 방법에대해서 알아보도록 하겠습니다. 다크모드 적용방법 사파리에서는 기본적으로 다크모드를 비서포트합니다. 그래서 확장프로그램을 사서 설치해야하는데요. 인터넷을 뒤져보니 Noir라는 프로그램이 제일 유명한것 같더라고요. 업데이트도 꾸준히 하는것 같고. 그래서 5,500원주고 바로 구입을 했습니다. 설치를 하고 열기를 누르면 아래와 같이 설정하라고 친절하게 알려주는데요. 1번 [Click here to open Safari]를 클릭하고 환경설정에 들어가면 Noir가 목록에 뜨는데 이걸 체크하고 모든 사이트에 적용을 누르면 끝납니다. 실제 다크모드 ..
2024.02.17 -
안산맛집 - 어썸(중앙동)
1. 오늘은 중앙동 골목길에 있는 어썸이라는 라멘집을 찾아갔습니다. 가게된 동기는 오사카 여행을 갔다온지 얼마 되지 않았고 일본 호텔에서 먹었던 라멘과 비교해보고 싶어서입니다. 2. 좁은 골목길이고 간판이 영어로 적혀있어서 찾는데 조금 시간이 걸렸습니다. (제가 길치입니다.ㅠㅠ) 3. 가게 내부는 일본보다 더 일본틱하게 꾸며져 있습니다. 사진만 보면 진짜 여기가 일본 같네요. 4. 약간 좁은 공간이지만 선반을 이용해 아기자기하게 꾸며놓았습니다. 유명한 곳인지 폴라로이드 사진들이 많이 찍혀 있네요. 5. 프라이빗하게 파티션을 쳐 놓아서 더욱 몰입(?)할 수 있게 되어 있어서 좋았어요. 저기 한자로 적혀 있는건 '꼬치' 라는 뜻입니다. 진짜 한자 모양이 꼬치 모양을 하고 있어요.ㅋㅋ 이번 오사카가서 저 글자..
2024.02.08 -
우바부가가 OPENAI 형식으로 통신이 가능하네요.
안녕하세요. 쿠루가이입니다. 최근에 RTX8000이라는 그래픽카드를 사서 이것저것 돌리는 맛으로 하루하루를 살고 있는데요. 우바부가를 최신버전으로 설치했더니 extensions에 openai 가 있더라고요. 오늘은 python 코드로 우바부가와 통신해서 마치 openai가 대답하는것처럼 코드를 짜는걸 소개해볼까합니다. Boolean command-line flags에 api를 체크하고 위의 openai를 체크한 다음 [Apply flags/extensions and restart]를 누르면 활성화 됩니다. 웹브라우저 주소창에서 'http://127.0.0.1:5000/v1' 를 입력하고 아래와 같이 출력되면 설정 성공입니다. 그리고 아래는 OPENAI 스타일 파이썬 코드인데 api_base를 'http:..
2024.02.06 -
[주식투자] 24년 1월 점검
안녕하세요. 쿠루가이입니다. 24년 1월 투자 점검입니다. 그런데 오늘은 2월 4일입니다. 회사 일이 바쁘다는 핑계(?)로 한달에 한번씩 수익률 점검 글을 쓰지 못했습니다. ㅠㅠ 숙제는 미루면 안되는데 말이죠...^^;; 그래서 늦게나마 한번 점검해볼려고합니다. 투자 원칙을 다시 한번 상기해보겠습니다. 1. 한달에 25만원만 투자할 수 있음. - 배당주 위주로 투자 - 투자한 종목 중 마이너스가 난 것 부터 추가 매수함. - 현재 저평가로 되어 있는것 위주로 매수 2. 배당 받은것은 빼지말고 무조건. 재투자. 3. 장기투자이므로 절대 매도 금지. 4. 한달에 한번 수익율 상황 점검. 블로그에 투자일기 형태로 쓰여져야함. 먼저 4번 항목! 수익율 상황 점검을 해보죠.■ 지난 점검과 비교해보면 눈에 띄는 종..
2024.02.04