model routing모델 라우팅
요청마다 작업의 난이도, 필요한 성능, 비용, 응답 속도에 따라 여러 AI 모델 가운데 알맞은 모델을 골라 처리하게 하는 방식이다.
기사 1편
최근 언급 모델 라우팅(model routing)은 들어온 요청을 여러 AI 모델 가운데 하나로 보내 처리하게 하는 방식이다. 작업의 난이도, 필요한 품질, 비용, 응답 속도 같은 기준으로 모델을 고르며, 이 판단을 맡는 구성 요소를 라우터(router)라고 한다.
대규모 언어 모델(LLM)을 쓰는 서비스에서 간단한 요청은 작고 저렴한 모델에, 어려운 요청은 성능이 높은 모델에 맡겨 비용과 품질의 균형을 맞추는 데 쓰인다. 하나의 모델 안에서 입력을 여러 전문가 하위 네트워크로 나누는 mixture of experts의 라우팅과 달리, 서로 다른 독립된 모델 사이에서 고른다.
이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.