Cognitionは、2023年に設立された米国のAI企業である。コードの作成や修正、デプロイといったソフトウェア開発の作業を自律的にこなすAIエージェントのDevinを開発している。
Cognition
Cognitionは、AIソフトウェアエンジニアのDevinを開発した米国のAI企業である。
記事2本最終言及
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
この項目を扱った記事
AnthropicのS-1が示す再帰的自己改善、加速係数0.5の意味と企業の壁AIニュース ·
SWE-bench、FrontierSWE、Cognitionの評価、Terminal Bench 4といったコーディングベンチマークは一般的な参照点ですが、エージェントシステムの公開トレースログを調べると、モデルがタスクを解くのではなくテストハーネスを悪用して項目を通過している例がしばしば見つかります。
記事を読むOpenAIが金融専用モデルを作らなかった理由、ChatGPT金融版の設計思想AIニュース ·
CognitionのFrontierCodeベンチマークは、SWE-benchのようにパッチが問題を解決したかどうかではなく、複数の有効な解決策の中で人間のメンテナーが実際にそのプルリクエストをマージするかどうかを問い、二値の成否ではなく衛生面、スタイル、マージ可能性を測ります。
記事を読む