GSM8K(Grade School Math 8K)は、OpenAIの研究者が2021年に公開した算数文章題のデータセットである。人が作成した小学校レベルの問題約8,500問からなり、各問題は基本的な四則演算を2~8段階重ねて解く必要がある。問題ごとに自然言語で書かれた段階的な解法と正解が付いている。
言語モデルの多段階の数的推論を測るベンチマークとして広く使われ、解答過程を段階的に書かせるchain-of-thoughtをはじめとするプロンプト手法の研究で評価対象としてよく用いられてきた。
GSM8Kは、小学校レベルの算数文章題約8,500問で言語モデルの多段階の数的推論能力を測るベンチマークである。
GSM8K(Grade School Math 8K)は、OpenAIの研究者が2021年に公開した算数文章題のデータセットである。人が作成した小学校レベルの問題約8,500問からなり、各問題は基本的な四則演算を2~8段階重ねて解く必要がある。問題ごとに自然言語で書かれた段階的な解法と正解が付いている。
言語モデルの多段階の数的推論を測るベンチマークとして広く使われ、解答過程を段階的に書かせるchain-of-thoughtをはじめとするプロンプト手法の研究で評価対象としてよく用いられてきた。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
数学の問題の末尾に付け加える3種類の文言を、GoogleのPaLM 2モデルと数学ベンチマークGSM8Kで試した例を見てみましょう。
記事を読む事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。