GGUF
GGUFは、llama.cppで大規模言語モデルを読み込んで実行するためのモデルファイル形式である。
記事1本
最終言及 GGUFは、llama.cppの開発陣が2023年に従来のGGML形式に代わるものとして導入した形式で、モデルの重み、トークナイザー、設定情報を1つのファイルにまとめる。さまざまな量子化方式に対応し、パソコンでローカルLLMを動かす際に広く使われている。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。