beam search는 언어 모델이 text를 생성할 때 매 단계에서 확률이 높은 후보 token 열을 정해진 개수(beam width)만큼 동시에 유지하고, 마지막에 전체 확률이 가장 높은 열을 고르는 decoding 알고리즘이다. 매 단계 확률이 가장 높은 token 하나만 고르는 greedy decoding보다 전체 문장의 확률이 높은 결과를 찾을 수 있지만, 여러 후보 상태를 함께 계산해야 해서 시간과 메모리 비용이 커진다.
기계 번역과 음성 인식처럼 정답에 가까운 출력이 비교적 하나로 정해지는 과제에서 오래 쓰였다. 대화형 LLM 서비스에서는 비용과 다양성 문제 때문에 temperature, top-k, top-p 같은 sampling 기반 decoding이 더 널리 쓰인다.