constrained decoding은 언어 모델이 token을 생성할 때 JSON schema, 문법, 정규식 같은 형식 규칙에 맞는 token만 선택하도록 확률 분포를 제한하는 기법이다. 각 단계에서 규칙에 어긋나는 token의 확률을 0으로 만들어 출력이 정해진 구조를 반드시 따르게 한다.
구조화된 출력, 함수 호출, 도구 사용처럼 모델 출력을 프로그램이 그대로 읽어야 하는 agent 응용에서 쓰인다. Outlines, SGLang, vLLM 같은 라이브러리와 추론 엔진이 형식을 finite state machine으로 바꿔 구현하며, 규칙상 token이 하나로 정해지는 지점은 모델을 호출하지 않고 건너뛰어 처리 속도를 높이기도 한다.