マルチモーダルmultimodal

マルチモーダルは、AIモデルがテキスト、画像、音声など、2種類以上のデータを入力または生成する性質を指す。テキストなど1種類のデータだけを扱う単一モダリティーのモデルとは異なる。

2023年ごろ、GPT-4やGeminiなど主要な大規模言語モデルが画像入力に対応したことで広く使われる言葉になった。画面を認識してマウスやキーボードでコンピューターを操作するコンピューター操作モデルも、画面画像とテキストの指示を併せて処理する。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。