inference(추론)는 학습을 마친 AI 모델을 실제로 실행해, 새로운 입력에 대한 출력을 만들어 내는 과정이다. 대규모 언어 모델이 prompt를 받아 답을 생성하거나 이미지 모델이 사진을 분류하는 일이 모두 inference에 해당한다. 데이터를 이용해 모델의 parameter를 조정하는 학습(training)과 구분된다.
학습이 한 번에 큰 compute를 쓰는 작업이라면, inference는 서비스가 운영되는 동안 요청마다 반복되므로 사용자가 늘수록 비용이 커진다. 이 때문에 AI 서비스 운영에서는 inference의 속도와 비용을 줄이는 최적화가 중요한 과제이며, 양자화, 증류, 전용 가속기 칩 등이 이를 위해 쓰인다. 논리학과 통계학에서는 주어진 근거로부터 결론을 이끌어 내는 사고 과정을 뜻한다.