inference

추론

학습을 마친 AI 모델이 새로운 입력을 받아 출력을 만들어 내는 과정으로, 모델을 만드는 학습(training)과 구분된다.

기사 2편최근 언급

inference(추론)는 학습을 마친 AI 모델을 실제로 실행해, 새로운 입력에 대한 출력을 만들어 내는 과정이다. 대규모 언어 모델이 prompt를 받아 답을 생성하거나 이미지 모델이 사진을 분류하는 일이 모두 inference에 해당한다. 데이터를 이용해 모델의 parameter를 조정하는 학습(training)과 구분된다.

학습이 한 번에 큰 compute를 쓰는 작업이라면, inference는 서비스가 운영되는 동안 요청마다 반복되므로 사용자가 늘수록 비용이 커진다. 이 때문에 AI 서비스 운영에서는 inference의 속도와 비용을 줄이는 최적화가 중요한 과제이며, 양자화, 증류, 전용 가속기 칩 등이 이를 위해 쓰인다. 논리학과 통계학에서는 주어진 근거로부터 결론을 이끌어 내는 사고 과정을 뜻한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • AI agent 거버넌스, session 단위 측정과 MCP 정책을 세우는 실무 순서AI 보안 ·

    데스크톱·모바일 앱에서 이루어지는 대화도 inference hook(모델 요청 시점에 끼어드는 검사 지점)이나 기기 단 통제가 없으면 보이지 않습니다.

    기사 읽기
  • Claude 개발사 compute 비용, 매출 대비 1056%에서 55%로AI 뉴스 ·

    연구와 inference(학습된 모델을 실제로 실행해 답을 내는 과정)에 들어가는 compute 한 단위가 점점 더 높은 실효 지능을 만들어 낸다는 뜻입니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.