inference-time scaling

추론 시 스케일링

추론 때 쓰는 연산량을 늘려 언어 모델의 답 정확도를 높이는 접근이다.

기사 2편최근 언급

inference-time scaling은 모델 파라미터나 학습 데이터를 늘리는 대신 추론 때 쓰는 연산량을 늘려 답의 정확도를 높이는 접근이다. test-time scaling 또는 test-time compute라고도 부른다. 답을 내기 전에 긴 생각 과정(reasoning token)을 생성하거나, 여러 답을 뽑아 검증기나 다수결로 고르거나, 탐색을 수행하는 방식이 있다.

2024년 OpenAI의 o1을 비롯한 reasoning model이 등장하면서 주목받았다. 정확도가 오르는 대신 지연과 비용이 늘어나는 교환 관계가 있으며, 여러 API가 reasoning effort 설정으로 이 연산량을 조절하게 한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • 코드만 보면 못 잡는 버그, computer-use agent가 눌러 보며 찾는다AI 성능 ·

    첫째는 inference-time scaling(추론 시점에 계산을 더 써서 결과를 다듬는 방식)입니다.

    기사 읽기
  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    생각 token을 더 많이 생성해 정답률을 높이는 inference-time scaling은 reasoning effort를 low, medium, high로 조절하는 형태로 쓰이는데, 정확도가 오르는 대신 지연과 비용이 크게 늘어나므로 작업 중요도에 따라 조절하는 것이 좋습니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.