[{"data":1,"prerenderedAt":336},["ShallowReactive",2],{"content-/swe-bench-sonnet":3,"all-pages-for-dir":317,"related-/swe-bench-sonnet":318,"og-image-/swe-bench-sonnet":335},{"id":4,"title":5,"body":6,"category":299,"concepts":299,"description":300,"extension":301,"meta":302,"navigation":303,"ogImage":299,"path":304,"project_name":299,"published":305,"publishedAt":306,"seo":307,"source":299,"stem":308,"tags":309,"todo":299,"unpublished":305,"updatedAt":299,"__hash__":316},"pages/2025-12/2025-12-30/swe-bench-sonnet.md","Claude 3.5 SonnetでSWE-bench Verifiedの記録を更新",{"type":7,"value":8,"toc":280},"minimark",[9,49,53,63,76,79,83,86,90,93,100,103,106,126,129,181,184,192,207,210,214,217,220,227,230,233,236,262,265,268,271,274,277],[10,11,14,21,24,46],"callout",{"title":12,"type":13},"Claude Codeユーザーへの適用可能性評価","info",[15,16,17],"p",{},[18,19,20],"strong",{},"評価: 参考情報",[15,22,23],{},"この記事はSWE-benchベンチマーク結果に関する技術的な解説です。Claude Codeユーザーにとっては以下の点で参考になります：",[25,26,27,34,40],"ul",{},[28,29,30,33],"li",{},[18,31,32],{},"エージェントアーキテクチャの理解",": Claude Codeが採用しているツール設計（Bashツール、編集ツール）の背景思想を理解できる",[28,35,36,39],{},[18,37,38],{},"モデルの能力把握",": Claude 3.5 Sonnetの自己修正能力や問題解決アプローチの特徴を知ることで、より効果的な指示が可能に",[28,41,42,45],{},[18,43,44],{},"制約の認識",": トークン消費量、マルチモーダル制限などの実際の制約を理解し、期待値を適切に設定できる",[15,47,48],{},"ただし、具体的な設定変更や操作手順は含まれていないため、直接的な実践ガイドではありません。",[50,51,5],"h1",{"id":52},"claude-35-sonnetでswe-bench-verifiedの記録を更新",[15,54,55,58,59,62],{},[18,56,57],{},"公開日",": 2025年1月6日\n",[18,60,61],{},"著者",": Erik Schluntz（Anthropic）",[15,64,65,68,69],{},[18,66,67],{},"原文",": ",[70,71,75],"a",{"href":72,"rel":73},"https://www.anthropic.com/engineering/swe-bench-sonnet",[74],"nofollow","Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet",[77,78],"hr",{},[80,81,82],"h2",{"id":82},"概要",[15,84,85],{},"アップグレード版のClaude 3.5 SonnetはSWE-bench Verifiedで49%の精度を達成し、従来の最高記録45%を上回りました。この成果は、思慮深いエージェントスキャフォールディングと高度な言語モデルの組み合わせが、複雑で現実世界のソフトウェアエンジニアリング課題に対処できることを示しています。",[80,87,89],{"id":88},"swe-benchとは","SWE-benchとは",[15,91,92],{},"SWE-benchは、AIシステムが「人気のあるオープンソースPythonリポジトリからのGitHub issueを解決する」能力を評価します。孤立したコーディング問題ではなく、マージされたプルリクエストからの本物のユニットテストを持つ本格的なエンジニアリングタスクに対してモデルをテストします。",[15,94,95,96,99],{},"評価は",[18,97,98],{},"SWE-bench Verified","に焦点を当てています。これは人間がレビューして解決可能性を確認した500問題の厳選されたサブセットで、より広範なデータセットよりも明確なパフォーマンス評価を提供します。",[80,101,102],{"id":102},"エージェントアーキテクチャ",[15,104,105],{},"成功したアプローチは、最小限のスキャフォールディングとモデルの最大限の自律性を重視しました。システムには以下が含まれていました：",[25,107,108,114,120],{},[28,109,110,113],{},[18,111,112],{},"Bashツール",": エスケープ、インターネット制限、バックグラウンドプロセスに関する詳細なガイダンス付きでコマンドを実行",[28,115,116,119],{},[18,117,118],{},"編集ツール",": ファイル操作（表示、作成、文字列置換、挿入、編集取り消し）を管理し、エラーを防ぐために絶対パスを重視",[28,121,122,125],{},[18,123,124],{},"柔軟なプロンプト",": 厳格なワークフローを強制せず、推奨手順を概説",[80,127,128],{"id":128},"パフォーマンス比較",[130,131,132,145],"table",{},[133,134,135],"thead",{},[136,137,138,142],"tr",{},[139,140,141],"th",{},"モデル",[139,143,144],{},"スコア",[146,147,148,157,165,173],"tbody",{},[136,149,150,154],{},[151,152,153],"td",{},"Claude 3.5 Sonnet（新）",[151,155,156],{},"49%",[136,158,159,162],{},[151,160,161],{},"従来の最高記録",[151,163,164],{},"45%",[136,166,167,170],{},[151,168,169],{},"Claude 3.5 Sonnet（旧）",[151,171,172],{},"33%",[136,174,175,178],{},[151,176,177],{},"Claude 3 Opus",[151,179,180],{},"22%",[80,182,183],{"id":183},"実世界の例",[15,185,186,187,191],{},"記事では、scikit-learnのRidgeClassifierCVに関する実践的なケースを示しています。モデルは不足していた",[188,189,190],"code",{},"store_cv_values","パラメータのサポートを追加する必要がありました。エージェントは以下を成功裏に実行しました：",[193,194,195,198,201,204],"ol",{},[28,196,197],{},"リポジトリ構造の探索",[28,199,200],{},"カスタムテストスクリプトでエラーを再現",[28,202,203],{},"ソースコードを適切に修正",[28,205,206],{},"修正が機能することを検証",[80,208,209],{"id":209},"重要な技術的洞察",[211,212,213],"h3",{"id":213},"ツール設計の哲学",[15,215,216],{},"誤解を防ぐため、ツールの説明に多大な労力を投じました。例えば、Bashツールの説明は、モデルが犯す可能性のある一般的なミスを事前に対処しています。",[211,218,219],{"id":219},"文字列置換戦略",[15,221,222,223,226],{},"ファイル編集には、文字列置換が最も信頼性が高いことが判明しました。",[188,224,225],{},"old_str","の正確なマッチを要求することで、他の場所での偶発的な変更を防ぎます。",[211,228,229],{"id":229},"エラー防止",[15,231,232],{},"必須の絶対パスにより、エージェントがディレクトリを変更した際のナビゲーションエラーを防止しました。",[80,234,235],{"id":235},"注目すべき課題",[193,237,238,244,250,256],{},[28,239,240,243],{},[18,241,242],{},"トークンコスト",": 成功した実行では数百回のターンにわたって10万トークン以上を頻繁に消費し、評価コストが高くなる",[28,245,246,249],{},[18,247,248],{},"採点の複雑さ",": 環境の問題やインストールの問題が、実際のモデルパフォーマンスを曖昧にすることがある",[28,251,252,255],{},[18,253,254],{},"隠れたテスト",": モデルは採点基準を見ることができず、誤った解決策に対する偽の自信につながる",[28,257,258,261],{},[18,259,260],{},"マルチモーダルの制限",": ビジュアルファイル検査がないため、特にmatplotlib関連のタスクでデバッグが妨げられた",[80,263,264],{"id":264},"自己修正能力",[15,266,267],{},"以前のモデルと比較して、Claude 3.5 Sonnetは改善された自己修正行動と、同じ間違いを繰り返すのではなく代替の解決アプローチを試す粘り強さを示しました。",[80,269,270],{"id":270},"開発者への示唆",[15,272,273],{},"記事は、基盤となるモデルの能力がすでに大幅に向上しているため、より良いスキャフォールディングの最適化を通じて将来の改善が達成可能であることを示唆しています。49%のベンチマークは進歩を表していますが、より高いスコアに向けてかなりの余地が残っています。",[80,275,276],{"id":276},"謝辞",[15,278,279],{},"主要なチームメンバー: Erik Schluntz、Simon Biggs、Dawn Drain、Eric Christiansen、Shauna Kravec、Felipe Rosso、Nova DasSarma、Ven Chandrasekaran",{"title":281,"searchDepth":282,"depth":282,"links":283},"",2,[284,285,286,287,288,289,295,296,297,298],{"id":82,"depth":282,"text":82},{"id":88,"depth":282,"text":89},{"id":102,"depth":282,"text":102},{"id":128,"depth":282,"text":128},{"id":183,"depth":282,"text":183},{"id":209,"depth":282,"text":209,"children":290},[291,293,294],{"id":213,"depth":292,"text":213},3,{"id":219,"depth":292,"text":219},{"id":229,"depth":292,"text":229},{"id":235,"depth":282,"text":235},{"id":264,"depth":282,"text":264},{"id":270,"depth":282,"text":270},{"id":276,"depth":282,"text":276},null,"Anthropicのアップグレード版Claude 3.5 Sonnetが、SWE-bench Verifiedで49%の精度を達成し、従来の最高記録45%を上回った。エージェントアーキテクチャ、ツール設計、そして実世界のソフトウェアエンジニアリング課題への適用について解説。","md",{},true,"/swe-bench-sonnet",false,"2025-12-30T00:00:00.000Z",{"title":5,"description":300},"2025-12/2025-12-30/swe-bench-sonnet",[310,311,312,313,314,315],"Claude","SWE-bench","AI","ソフトウェアエンジニアリング","ベンチマーク","エージェント","qrsVl4sdwH4szwKHpIjl1SxpPLw9xyUt8-RMOMfXxQI",[],[319,322,325,328,331],{"title":320,"path":321,"publishedAt":306},"効果的なエージェントの構築","/building-effective-agents",{"title":323,"path":324,"publishedAt":306},"MCPでのコード実行：より効率的なエージェントの構築","/code-execution-with-mcp",{"title":326,"path":327,"publishedAt":306},"AIエージェントのための効果的なコンテキストエンジニアリング","/context-engineering",{"title":329,"path":330,"publishedAt":306},"thinkツール: 複雑なツール使用時にClaudeを立ち止まって考えさせる","/think-tool",{"title":332,"path":333,"publishedAt":334},"AI格差は、まず体験格差として現れる","/ai-experience-gap-frontier-models","2026-06-29T00:00:00.000Z","https://log.eurekapu.com/og/blog/swe-bench-sonnet.png?v=2025-12-30T00%3A00%3A00.000Z&title=Claude%203.5%20Sonnet%E3%81%A7SWE-bench%20Verified%E3%81%AE%E8%A8%98%E9%8C%B2%E3%82%92%E6%9B%B4%E6%96%B0&author=Kei%20Komatsu&sig=71b6b261d2e88290",1785654700179]