inference-time scaling은 모델 파라미터나 학습 데이터를 늘리는 대신 추론 때 쓰는 연산량을 늘려 답의 정확도를 높이는 접근이다. test-time scaling 또는 test-time compute라고도 부른다. 답을 내기 전에 긴 생각 과정(reasoning token)을 생성하거나, 여러 답을 뽑아 검증기나 다수결로 고르거나, 탐색을 수행하는 방식이 있다.
2024년 OpenAI의 o1을 비롯한 reasoning model이 등장하면서 주목받았다. 정확도가 오르는 대신 지연과 비용이 늘어나는 교환 관계가 있으며, 여러 API가 reasoning effort 설정으로 이 연산량을 조절하게 한다.