教師ありファインチューニング

supervised fine-tuning

事前学習を終えた言語モデルを、人が用意した指示と応答の例で追加学習させ、アシスタントのように応答させるポストトレーニングの段階である。

記事4本最終言及

教師ありファインチューニング(SFT)は、事前学習を終えたベースモデルに「指示と模範回答」の組からなる対話データを学習させるポストトレーニング手法である。人間の作業者が書いたり他のモデルで合成したりした数万から数十万件の例を用い、各回答はストップトークンで終わるように構成する。これを経たモデルはinstructモデルまたはチャットモデルと呼ばれ、一貫したアシスタントのペルソナを備え、回答が終われば生成を止める。

SFTは模範回答をそのまま再現させる教師あり学習であるため、報酬信号から学ぶ強化学習(RLHF、GRPOなど)とは区別される。一般的なLLMのポストトレーニングは、SFTで形式や振る舞いを先に植え付け、その後RLで選好や推論能力を磨く順序で進められる。狭義には、特定のタスクや分野のデータでモデルを追加学習させるファインチューニング全般を指すこともある。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェントの性能改善、プロンプト最適化と重みの学習をどう使い分けるかAI性能 ·

    教師ありファインチューニング

    記事を読む
  • LLMはどう作られるか、事前学習・SFT・GRPOの3段階を基礎から解説AI性能 ·

    教師ありファインチューニングはそのエンジンにアシスタントとしての人格を与え、どこで止まるべきかを教えます。

    記事を読む
  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    中間層はLLMの適応で、教師ありファインチューニング、蒸留、インコンテキスト学習、LoRA(小さな低ランクの重み更新を学習することで安価にモデルをファインチューニングする手法)、RLHFやDPOによる選好アラインメントが該当します。

    記事を読む
  • オープンウェイトモデルの遅れは2~3カ月 最先端ラボに残る強みは推論コストAIニュース ·

    教師ありファインチューニング 質の高い回答例をまねる学習 GPT-4などのモデルの出力で学習するだけで最先端に迫れた

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。