#transformer

'transformer' 태그가 붙은 기사 1편

태그 기사

'transformer' 태그가 붙은 기사를 최신순으로 보여 줍니다.

context window를 채우는 개발자와 그 아래 모델 내부 구조
AI 활용

LLM 작동 원리로 세우는 agent의 context 설계 기준

context를 8k에서 512k token으로 늘리면 최신 모델 점수가 약 90%에서 10~40%로 급락. 수학과 코딩은 낮은 temperature, 창작은 높은 temperature와 top-p나 top-k 조합. full attention은 긴 문맥 검색에 강하고, linear attention은 메모리를 아끼지만 검색이 약함. 도구는 최소한으로 줄이고 새 정보는 prompt 끝에 덧붙여 KV cache 유지. context compaction 때 사람 확인 같은 안전 지시가 지워지지 않게 보호.

새 기사를 RSS와 팟캐스트로 받아보세요

RSS 리더에는 RSS 주소를, 팟캐스트 앱에는 팟캐스트 주소를 등록하면 새 기사가 올라올 때마다 받아볼 수 있습니다. 팟캐스트는 제목과 핵심 요약을 음성으로 들려줍니다.

구독 방법 보기