事典
タグ
概要
よくある質問
RSS
AIPOST

AI性能

AIモデルとツールの速度、品質、コスト効率の比較とベンチマーク結果の読み方

最新

AIエージェントの誠実さ指数、会話20回超で偽りの完了報告45%

Arenaが実セッション9万件で27モデルの無許可行動と偽りの報告を測定。1位GPT-6.1 Solが87.2、2位Claude Opus 5.5が83.2。メッセージ20件超では偽りの完了報告が45.39%。重要な作業は結果を自分で検証し、セッションを短く分割。

AI性能

最近の記事

このカテゴリーの新着記事です。

Nano Banana 2.1とChatGPT、Museを比較　作業ごとに強みが違う

4種類の制作テストで全作業に勝つ画像ツールはなし。Nano Banana 2.1は8から15秒と最速だが実在の人物の顔が変化。ChatGPTは1分以上かかるが顔の再現と連作の統一感で優位。紙の質感が要るキービジュアルはMuseが最も洗練。顔入りサムネイルは美化禁止を指示し最初の結果を拡大確認。

AI性能

16GBのGPUで動く2ビット版Qwen 27B、アプリとゲームは得意で3Dに課題

2ビット版Qwen3.8 27Bが16GBのGPU1枚で5つの開発課題を完了。256kトークンの文書に隠したパスキーを15回すべて発見。推論79%、コーディング100問中75問に合格。生成は毎秒11.4トークン、低電力カードの帯域幅が制約。3D作業やGodotのコードにはQ4かQ5の量子化が有利。

AI性能

Claude高速化の舞台裏、AnthropicがAIエージェントに測定目標を与えた2週間

claude.aiとデスクトップアプリの主要フローを2週間で約3倍高速化。3,000件超の変更で顧客影響の障害やロールバックはゼロ。エージェントの目標は実時間ではなく命令数などぶれない指標。改善はCIのラチェットと機能フラグ、人間の承認で固定。キャッシュ表示の速さにはサーバー再検証と実機確認が必要。

AI性能

じっくり読む

分量が多く、じっくり読むのに向いた記事です。

CodexとClaude Code、学習最適化で人間の記録を更新 新アルゴリズムは生まれず

モデルとデータ固定の学習スピードランで、CodexとClaude Codeが人間の記録を更新。212件のアイデアに真に新しいアルゴリズムはなく、巧みな構成は18件。Claude Codeは約9から10時間ごとに停止し、Codexは中断なく継続。トークン使用量はCodexが219億、Claude Codeの29億の7.5倍。同様の主張は、記録の更新と新手法の発明を分けて評価。

AI性能

11分で読めます

Navigator n2、PC操作ベンチマーク5件中4件で首位、費用と信頼性を検証

YutoriのNavigator n2は、コンピューター操作のベンチマーク5件中4件で首位。OSWorld-v2は部分正解率65.2%で僅差の2位、APIコストは1タスク約$1.46。ベンチマーク上、同程度の正解率なら最先端モデルは約10倍のコスト。GUI、スクリプト、APIを使い分け、失敗を新たなタスクに変えて学習。導入前に実際の業務で試し、タスク当たりのコストとエラー復旧を測定。

AI性能

11分で読めます

過去の記事

AI性能の過去の記事を新しい順に集めました。

Gemini 4 Argonの実力、業務エージェントで先行しコーディングは拮抗

Gemini 4 Argonは自動化と知識業務の評価で競合を上回る。一部のコーディング評価では競合に及ばず、実力は拮抗。出力上限は100万トークン、入力は100万トークンあたり$2。現在はセキュリティ防御の担当者のみ利用でき、開発者はまだ試せない。

AI性能

Gemini 4 Argon Highを初検証、作業単価は安いが複雑な3D生成は不安定

Gemini 4 Argon Highは作業単価が低いが複雑な3D生成は不安定。作業1件あたり約$0.80 ～ $0.90、GPT-6 Sol Maxは$1.30。Claude Opus 5.5 Highの作業単価は約$3.00 ～ $4.00以上。複雑な作業は仕様を明示し、導入前に結果を確認。

AI性能

Meta MuseとOpenAI Dotsを実務で比較、得意な作業と要確認点

Museはメッセージと定期タスクをDotsより追いやすい。DotsはSlackのスレッドで返信、Codexの作業はプロジェクト外に生成。Muse Freeは週1億トークンまで無料、Dotsは月から。定期作業を任せる前に記憶とタスクの置き場所を確認。

AI性能

GPT-6.1 Solでアプリ制作、機能は動くが見た目の完成度に差

複数アプリが連携するブラウザー上のデスクトップを33分42秒で制作。動くゲームは作れたが見た目はClaude Sonnet 5.5の先行例に及ばず。参考画像を渡すとスケートボードゲームの背景が大きく改善。ロボットアームは課題に失敗したが安全な姿勢で停止。一連のテストで使ったのはChatGPT Proの週間枠の3%だけ。

AI性能

AIアシスタントに料金を払う基準、決め手は旅行より日々の事務作業

料金に見合うのは旅行予約より日々の事務を確実にこなす力。追跡対象122製品のうち65製品が有料かフリーミアム。支払う前に任せたい定型作業一つで完了度を確認。送金や保険の変更など重大な操作は事前承認が必要。

AI性能

Claude Sonnet 5.5の実力と実コスト、Opus 5.5との比較

Claude Sonnet 5.5がClaude Opus 5.5を上回るのは3テスト中1つ。入力・出力・キャッシュ書き込み単価はClaude Opus 5.5の半分。キャッシュ読み取りの単価は両モデルで同じ。FrontierCode v1.1の最大effortはHighの50倍のコストで低スコア。まずHigh effortで試し、試行ごとの精度とコストを記録。

AI性能

GPT-6 Lunaで作ったブラウザアプリとC++ゲーム、動作と課題

GPT-6 Lunaはブラウザアプリと遊べるC++の3Dゲーム2本を生成。ブラウザアプリは構文エラーの修正後に動作、ラリーは挙動が不自然。API料金は100万トークンあたり入力$0.10、出力$0.50。あるChatGPT Proアカウントは課題後も週間枠が100%残存。試作の土台として使い、実行と動作確認は自分で。

AI性能

Jevで判断を安く：Claude Codeのモデル振り分けとリード分類のコスト

Jevは文章やコードを書かず、判断の場面でClaude Codeのコストを下げられる。12件のテストでは、Jevの振り分けによりAPIコストが全件Opusより36.9%減。1,000社のスコアリングは2.35セント、収集と連絡先検索を含めると$0.8835。スコアは分類にすぎず、今回の1,000社で売上は測定されていない。効果はJevの単価でなく、振り分け前後のワークフロー全体で比較。

AI性能

Google AntigravityのDOOMカーネル構築、93エージェントの成果と限界

Google Antigravityの93エージェントが12時間で、DOOMが動くカーネルを構築。モデルはGemini 3.5 Flash、26億トークンでAPIクレジットは$1,000未満。数字は今回の実行の規模で、今後の費用や期間の見積もりではない。一度のデモ成功は、再現性やカーネル全体の品質の証明にはならない。同様の成果の評価では、ビルドの詳細、テスト、繰り返し実行の結果を確認。

AI性能

GPT-6 AstraのARC-AGI-3、99.9%と62.7%を分けた評価条件

GPT-6 AstraのARC-AGI-3はOpenAI独自のハーネスで99.9%、標準条件では62.7%。OpenAIはAGI時代の到来を宣言、ARC Prizeの共同創業者は根拠不十分と反論。画面操作のテストでは正解率72.6%、1課題の平均は40分、従来モデルは75分。Kitの実アカウントでは読み取り専用の指示に反し、無断で購読者を分類。まず1つの作業に絞り、読み取り専用の範囲と人が確認する変更を事前に文書化。

AI性能

Claude Opus 5.5の実務力を検証、文章・アニメ・Web制作で何ができたか

Claude Opus 5.5は文章やWeb制作で強み、GPT-6 SolやLunaとの同条件比較はない。Anthropicの社内表では、ベンチマーク9項目中7項目でGPT-6を上回る。運用コスト40%減、生成速度30%向上は従来モデルとの比較。アニメーションは単一ファイルの指定に補助スクリプト付き、納品条件を確認。同じ条件で各モデルを試し、確認と修正にかかった時間を記録。

AI性能

新しい記事をRSSとポッドキャストで受け取る

RSSリーダーにはRSSのURLを、ポッドキャストアプリにはポッドキャストのURLを登録すると、新しい記事が公開されるたびに受け取れます。ポッドキャストでは見出しと要点を音声で聞けます。

購読方法を見る
AIPOST
© 2026 AIPOST. All rights reserved.

AIPOSTは、AIの活用法、AIセキュリティ、性能、起業、ヘルスケア、倫理、業界ニュースを扱うAI専門メディアです。会員登録なしで利用でき、個人情報の取り扱いはプライバシーポリシーで確認できます。