beam search

빔 서치

매 단계 여러 후보 token 열을 동시에 유지하며 전체 확률이 높은 출력을 찾는 decoding 방법이다.

기사 1편최근 언급

beam search는 언어 모델이 text를 생성할 때 매 단계에서 확률이 높은 후보 token 열을 정해진 개수(beam width)만큼 동시에 유지하고, 마지막에 전체 확률이 가장 높은 열을 고르는 decoding 알고리즘이다. 매 단계 확률이 가장 높은 token 하나만 고르는 greedy decoding보다 전체 문장의 확률이 높은 결과를 찾을 수 있지만, 여러 후보 상태를 함께 계산해야 해서 시간과 메모리 비용이 커진다.

기계 번역과 음성 인식처럼 정답에 가까운 출력이 비교적 하나로 정해지는 과제에서 오래 쓰였다. 대화형 LLM 서비스에서는 비용과 다양성 문제 때문에 temperature, top-k, top-p 같은 sampling 기반 decoding이 더 널리 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    beam search 여러 후보 경로를 동시에 추적 전체 확률이 높은 경로를 찾지만 시간과 메모리 비용이 큼

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.