Oscar - Git en Google

Oscar es fundamentalmente un experimento, cuya dirección futura y aprendizajes aún no se han determinado por completo. El prototipo inicial, el bot @gabyhelp, ya ha demostrado numerosas interacciones exitosas dentro del rastreador de incidencias de Go. Actualmente desarrollado bajo el proyecto Go, Oscar podría potencialmente ser escindido en un proyecto separado en el futuro. Los objetivos concretos del proyecto incluyen reducir el esfuerzo de los mantenedores en la resolución de incidencias y listas de cambios (CLs/pull requests), disminuir el esfuerzo requerido para abordar preguntas de foros y permitir que más personas se conviertan en mantenedores productivos. Un objetivo clave no es automatizar la codificación; el enfoque sigue siendo automatizar la carga de trabajo de los mantenedores.

El enfoque se centra en construir una arquitectura reutilizable y extensible que cualquier proyecto de software pueda adaptar para crear agentes personalizados. Oscar tiene como objetivo abordar la carga de trabajo de los mantenedores, que no es exclusiva del proyecto Go. Las capacidades identificadas clave incluyen indexar y presentar el contexto relevante del proyecto durante las interacciones de los contribuyentes, usar lenguaje natural para controlar herramientas deterministas y analizar informes de incidencias, CLs/PRs y discusiones grupales para mejorarlos en tiempo real, etiquetarlos y dirigirlos adecuadamente. Los LLM son integrales para estas capacidades debido a su fortaleza en el procesamiento del lenguaje natural, mientras que el código determinista maneja la ejecución. El proyecto enfatiza el uso de LLM para el análisis semántico y la traducción de lenguaje natural a programa, confiando en código determinista para el resto.

Una capacidad crucial es indexar y presentar el contexto relacionado del proyecto. Los proyectos de software son complejos y los mantenedores no siempre pueden retener todos los detalles relevantes. Oscar utiliza incrustaciones de LLM para crear un motor de búsqueda de proyectos, indexando documentación, incidencias y discusiones. Cuando surge una nueva incidencia, un agente puede usar este índice para encontrar contexto relacionado, como incidencias pasadas similares o documentación relevante, y responder con enlaces. Esto ha mostrado beneficios como la presentación de incidencias duplicadas, la provisión de contexto a los contribuyentes y el ahorro de tiempo a los mantenedores al dirigirlos a discusiones pasadas o informes de errores relevantes. La interacción inmediata del agente después de que se presenta un informe también es vital para involucrar a los informantes mientras aún están disponibles y comprometidos.

Otra capacidad clave es usar lenguaje natural para controlar herramientas deterministas. A medida que los proyectos crecen, el número de herramientas aumenta, lo que dificulta su seguimiento y uso. Oscar prevé instalaciones para editar comentarios de incidencias, agregar etiquetas o asignar personas basándose en solicitudes de lenguaje natural. Los LLM son expertos en traducir intenciones de lenguaje natural a formas ejecutables como invocaciones de herramientas. Los experimentos preliminares con Gemini muestran promesas en la selección e invocación de herramientas. Este enfoque, que utiliza LLM para convertir lenguaje natural en uso de herramientas deterministas, se considera más efectivo que un enfoque de "varita mágica" de LLM puro, ya que permite la ejecución determinista y una verificación más fácil.

La tercera capacidad importante implica analizar informes de incidencias y CLs/PRs. Más allá de vincular incidencias relacionadas, Oscar planea incorporar análisis semántico, como identificar el tema principal de una incidencia para un etiquetado apropiado (por ejemplo, "rendimiento"). También tiene como objetivo determinar si se necesita más información para que un informe sea útil, como solicitar un enlace de programa de reproducción o incrustar código. El agente podría potencialmente ejecutar herramientas de ejecución en sandbox para identificar lanzamientos que contienen errores o usar git bisect para identificar commits que introducen errores. Estos análisis son más efectivos cuando se realizan inmediatamente después de que se presenta un informe, aprovechando la disponibilidad 24/7 del agente.

El primer prototipo, Gaby ("Go AI bot"), opera dentro del rastreador de incidencias de Go, publicando como @gabyhelp. Su código fuente está en internal/gaby. Gaby indexa contenido de incidencias de Go, documentación de Go, revisiones de código de Gerrit y discusiones de proyectos de Go/golang-nuts, lo que le permite responder a nuevas incidencias con enlaces relevantes. La arquitectura de Gaby está diseñada para la flexibilidad, lo que le permite ejecutarse en varios servicios de alojamiento, usar diferentes LLM, capas de almacenamiento y bases de datos vectoriales. El prototipo actual utiliza GCP Cloud Run con el LLM Gemini de Google y Google Cloud Firestore. El proyecto también reconoce la existencia de @gopherbot, un agente determinista de larga data en el proyecto Go, y tiene como objetivo fusionar eventualmente @gabyhelp en @gopherbot reconstruyendo @gopherbot como un agente Oscar, buscando un método de configuración más ligero utilizando lenguaje natural.