SEC-benchは、大規模言語モデルを基盤とするエージェントがソフトウェアセキュリティの作業をどの程度遂行できるかを測るベンチマークである。2025年に公開され、実際のオープンソースプロジェクトで報告された脆弱性をもとに、脆弱性を再現する概念実証(PoC)コードの作成と脆弱性の修正という2つの作業を評価する。
エージェントが実行環境の中でコードを解析・修正し、その結果が自動的に検証される方式であり、短答式の問題で構成された従来のセキュリティ評価とは区別される。
SEC-benchは、LLMエージェントが実際のソフトウェアのセキュリティ脆弱性を発見・修正する能力を測るベンチマークである。
SEC-benchは、大規模言語モデルを基盤とするエージェントがソフトウェアセキュリティの作業をどの程度遂行できるかを測るベンチマークである。2025年に公開され、実際のオープンソースプロジェクトで報告された脆弱性をもとに、脆弱性を再現する概念実証(PoC)コードの作成と脆弱性の修正という2つの作業を評価する。
エージェントが実行環境の中でコードを解析・修正し、その結果が自動的に検証される方式であり、短答式の問題で構成された従来のセキュリティ評価とは区別される。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
SEC-bench Pro 脆弱性の発見 88.2%
記事を読む…1、OSWorld-2.1)、ナレッジワーク、マルチモーダル理解、長文コンテキスト、科学と数学、そしてCWE-bench、Exploit-Gym、SEC-bench Proを含むサイバーセキュリティのテストにわたり、CarbonがGemini 4 Argon、GPT-6 Astra、Claude Opus 5.5、Cl…
記事を読む事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。