#decoding
'decoding' 태그가 붙은 기사 1편
태그 기사
'decoding' 태그가 붙은 기사를 최신순으로 보여 줍니다.

AI 활용
LLM 작동 원리로 세우는 agent의 context 설계 기준
context를 8k에서 512k token으로 늘리면 최신 모델 점수가 약 90%에서 10~40%로 급락. 수학과 코딩은 낮은 temperature, 창작은 높은 temperature와 top-p나 top-k 조합. full attention은 긴 문맥 검색에 강하고, linear attention은 메모리를 아끼지만 검색이 약함. 도구는 최소한으로 줄이고 새 정보는 prompt 끝에 덧붙여 KV cache 유지. context compaction 때 사람 확인 같은 안전 지시가 지워지지 않게 보호.
새 기사를 RSS와 팟캐스트로 받아보세요
RSS 리더에는 RSS 주소를, 팟캐스트 앱에는 팟캐스트 주소를 등록하면 새 기사가 올라올 때마다 받아볼 수 있습니다. 팟캐스트는 제목과 핵심 요약을 음성으로 들려줍니다.
구독 방법 보기