説明
Specific LabsによるReal-SWEベンチマークは、プライベートで実際の企業コードベースにおける最前線のAIモデルを評価するために設計されています。このベンチマークは、8つのモデルとハーネスの構成、10のタスク、640のスコア付きロールアウトを含みます。各タスクは、実際の企業からライセンスされたプライベートなプロダクションコードベースから派生しており、エンジニアが実際のシナリオで直面する問題を提示します。これらのタスクは、独自のシステムをナビゲートし、企業特有の複雑さを理解し、ビジネス運営に影響を与える変更を行うことを含みます。このベンチマークは、請求、税計算、顧客移行などのタスクをAIモデルに課し、既存のビジネスロジックやコーディングパターンを理解することを要求します。
続きを読む
このベンチマークは、企業エンジニアがどのように働くかを反映するためにネイティブハーネスを使用し、モデルとハーネスの組み合わせを評価します。タスクは、実際のコードベースからインスパイアを受けたり、逐語的に引用されたりしており、経済的に実行可能で実際のビジネスニーズに関連しています。タスクは複雑で、しばしば複数のファイルやシステムにわたる変更を必要とし、実際の条件を模倣するために不十分に指定されています。
Real-SWEベンチマークは、AIモデルが企業特有のエンジニアリングパターンを理解し、実際のコーディング基準を満たす上で直面する課題を強調しています。このベンチマークの結果は、現在のモデルがしばしば要件を見逃したり、仮定を検証できなかったりすることを示しており、AIがまだ実際の企業コーディングのレベルに達していないことを示しています。このベンチマークは、複雑な実世界のコーディングタスクを処理する際の最前線のAIモデルの能力と限界に関する貴重な洞察を提供します。
- カテゴリーAI コードレビュー・テスト
- デプロイクラウド
- プラットフォームWeb
Real-SWE ベンチマークの主要機能
プライベート企業コードベースにおけるAIモデルを評価
8つのモデルとハーネスの構成
10のタスクと640のスコア付きロールアウト
実世界のコードベースから派生したタスク
企業特有の複雑さでモデルに挑戦
評価のためのネイティブハーネスを使用
経済的に実行可能なタスクに焦点を当てる
実世界のコーディングにおけるAIモデルの限界を強調
Real-SWE ベンチマークの使い方は?
設定: ベンチマーク環境をセットアップする
使用: ベンチマークタスクでAIモデルを実行する
評価: タスクにおけるモデルのパフォーマンスを分析する
最適化: 結果に基づいてモデルの構成を改善する
Real-SWE ベンチマークの使用例
- 企業コード評価
- 複雑なタスク処理
- ビジネスロジック理解
- コーディングパターン認識
- 実世界タスクシミュレーション







