constrained decoding

제약 디코딩

JSON schema나 문법 같은 형식 규칙에 맞는 token만 생성하도록 언어 모델의 출력을 제한하는 기법이다.

기사 1편최근 언급

constrained decoding은 언어 모델이 token을 생성할 때 JSON schema, 문법, 정규식 같은 형식 규칙에 맞는 token만 선택하도록 확률 분포를 제한하는 기법이다. 각 단계에서 규칙에 어긋나는 token의 확률을 0으로 만들어 출력이 정해진 구조를 반드시 따르게 한다.

구조화된 출력, 함수 호출, 도구 사용처럼 모델 출력을 프로그램이 그대로 읽어야 하는 agent 응용에서 쓰인다. Outlines, SGLang, vLLM 같은 라이브러리와 추론 엔진이 형식을 finite state machine으로 바꿔 구현하며, 규칙상 token이 하나로 정해지는 지점은 모델을 호출하지 않고 건너뛰어 처리 속도를 높이기도 한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    구조화된 입출력: constrained decoding

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.