greedy decoding은 언어 모델이 text를 생성할 때 매 단계에서 확률이 가장 높은 token 하나를 고르는 가장 단순한 decoding 방법이다. 같은 입력에 늘 같은 출력을 내는 결정적 방식이며, temperature를 0으로 두는 설정과 사실상 같다.
매 단계의 최선이 전체 문장에서 최선이 아닐 수 있어 반복적이거나 단조로운 글이 나오기 쉽다. 이를 보완하려고 beam search나 top-k, top-p 같은 sampling 기법이 쓰인다.