llama.cpp
llama.cppは、大規模言語モデルをパソコンで実行するための、C/C++で書かれたオープンソースの推論エンジンである。
記事1本
最終言及 llama.cppは、ゲオルギ・ゲルガノフが2023年に公開したプロジェクトで、CPUやさまざまなGPUでモデルを実行できる。量子化したモデルをGGUF形式で読み込み、少ないメモリで動かせるため、ローカルLLMを実行するツールの基盤として広く使われている。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。