Oscar - Git at Google

Oscarは基本的に実験であり、その将来の方向性と学習内容はまだ完全に決定されていません。最初のプロトタイプである@gabyhelpボットは、Goのイシュー追跡システム内で数多くの成功した対話を示しています。現在Goプロジェクトの下で開発されているOscarは、将来的に別のプロジェクトとしてスピンオフされる可能性があります。プロジェクトの具体的な目標には、イシューや変更リスト（CL/プルリクエスト）の解決におけるメンテナーの労力の削減、フォーラムの質問に対応するために必要な労力の減少、そしてより多くの個人が生産的なメンテナーになれるようにすることが含まれます。重要な非目標はコーディングの自動化であり、焦点はメンテナンスのメンテナーの負担の自動化にあります。

アプローチは、どのソフトウェアプロジェクトでもカスタマイズされたエージェントを作成するために適応できる、再利用可能で拡張性の高いアーキテクチャを構築することを中心に展開しています。Oscarは、Goプロジェクトに固有のものではないメンテナーの負担に対処することを目指しています。特定された主要な機能には、コントリビューターとの対話中に、関連するプロジェクトコンテキストをインデックス化して提示すること、自然言語を使用して決定論的なツールを制御すること、そしてイシューレポート、CL/PR、グループディスカッションを分析してリアルタイムで改善し、適切にラベル付けしてルーティングすることが含まれます。LLMは、自然言語処理におけるその強みから、これらの機能に不可欠ですが、決定論的なコードが実行を処理します。このプロジェクトは、セマンティック分析と自然言語からプログラムへの変換にLLMを使用することに重点を置き、残りは決定論的なコードに依存しています。

重要な機能の1つは、関連するプロジェクトコンテキストのインデックス化と提示です。ソフトウェアプロジェクトは複雑であり、メンテナーは常にすべての関連詳細を記憶しているわけではありません。OscarはLLM埋め込みを使用してプロジェクト検索エンジンを作成し、ドキュメント、イシュー、ディスカッションをインデックス化します。新しいイシューが発生すると、エージェントはこのインデックスを使用して、過去の類似イシューや関連ドキュメントなどの関連コンテキストを見つけ、リンク付きで返信できます。これは、重複するイシューを提示したり、コントリビューターにコンテキストを提供したり、関連する過去のディスカッションやバグレポートに誘導することでメンテナーの時間を節約したりするなどの利点を示しています。レポートが提出された直後のエージェントの対話も、レポーターがまだ利用可能で関与している間に、レポーターを引き付ける上で重要です。

もう1つの重要な機能は、自然言語を使用して決定論的なツールを制御することです。プロジェクトが成長するにつれて、ツールの数が増加し、それらを追跡して使用することが困難になります。Oscarは、自然言語のリクエストに基づいて、イシューコメントの編集、ラベルの追加、または担当者の割り当てを行うための機能を提供します。LLMは、自然言語の意図を実行可能な形式（ツールの呼び出しなど）に変換することに長けています。Geminiとの予備的な実験は、ツールの選択と呼び出しにおいて有望な結果を示しています。このアプローチは、LLMを使用して自然言語を決定論的なツール使用に変換するものであり、決定論的な実行と検証の容易さを可能にするため、純粋なLLMの「魔法の杖」アプローチよりも効果的であると考えられています。

3番目に重要な機能は、イシューレポートとCL/PRの分析です。関連するイシューをリンクすることに加えて、Oscarはセマンティック分析を組み込むことを計画しています。例えば、イシューの主要なトピックを特定して適切なラベル付け（例：「パフォーマンス」）を行うなどです。また、レポートが有用であるためにさらに情報が必要かどうかを判断することも目指しています。例えば、再現プログラムへのリンクを要求したり、コードをインライン化したりするなどです。エージェントは、サンドボックス化された実行ツールを実行してバグを含むリリースを特定したり、git bisectを使用してバグを導入したコミットを特定したりする可能性があります。これらの分析は、レポートが提出された直後に実行される場合に最も効果的であり、エージェントの24時間年中無休の可用性を活用します。

最初のプロトタイプであるGaby（「Go AI bot」）は、Goのイシュー追跡システム内で動作し、@gabyhelpとして投稿します。そのソースコードはinternal/gabyにあります。Gabyは、Goのイシュー、Goのドキュメント、Gerritのコードレビュー、およびGoプロジェクト/golang-nutsのディスカッションからコンテンツをインデックス化し、関連リンク付きで新しいイシューに応答できるようにします。Gabyのアーキテクチャは柔軟性を考慮して設計されており、さまざまなホスティングサービスで実行したり、異なるLLM、ストレージレイヤー、ベクトルデータベースを使用したりできます。現在のプロトタイプは、GoogleのGemini LLMとGoogle Cloud Firestoreを使用してGCP Cloud Runで実行されています。このプロジェクトは、Goプロジェクトで長年使用されている決定論的なエージェントである@gopherbotの存在も認識しており、最終的には@gabyhelpを@gopherbotにマージすることを目指しています。これは、自然言語を使用したより軽量な構成方法を模索しながら、@gopherbotをOscarエージェントとして再構築することによって行われます。