#local LLM
'local LLM' 태그가 붙은 기사 2편
태그 기사
'local LLM' 태그가 붙은 기사를 최신순으로 보여 줍니다.
AI 성능16GB VRAM에서 128k context, 3비트 Qwen 27B 실측 결과
3비트 양자화 Qwen 27B, 16GB VRAM GPU에서 128k context 구동. 생성 속도 초당 약 31 token, 256k token 기억력 시험 15회 모두 통과. 추론 benchmark 83%, HumanEval Remix 77%, agent 과제 5개 중 4개 통과. Godot 3D 게임 과제는 생각 반복에 빠져 7번 compaction 뒤 실패. 긴 코드 생성 시 system prompt에 출력 token 제한을 명시해야 잘림 방지.
AI 활용로컬 AI 비서 Ajax, OpenAI 차단 뒤 직접 만든 모델의 가능성과 한계
PewDiePie, OpenAI 차단 뒤 자체 모델 Ajax와 작업 공간 Odysseus 공개. Ajax는 Qwen 3.5 9B를 fine-tuning한 모델로 메일과 일정을 로컬에서 처리. GPT-5.6 Sol의 숨겨진 reasoning trace 추출이 두 번 차단된 사유. 검열을 제거한 모델은 정렬이 무너질 수 있어 네트워크와 자격 증명 격리 필수. 노트북의 소형 양자화 모델은 코딩에서 frontier 모델에 크게 못 미침.
새 기사를 RSS와 팟캐스트로 받아보세요
RSS 리더에는 RSS 주소를, 팟캐스트 앱에는 팟캐스트 주소를 등록하면 새 기사가 올라올 때마다 받아볼 수 있습니다. 팟캐스트는 제목과 핵심 요약을 음성으로 들려줍니다.
구독 방법 보기