Google lanza Modern Web Guidance 1.0 para agentes de codificación de IA

Google lanzó la versión 1.0 de Modern Web Guidance, que es un conjunto de habilidades gratuito que los equipos de desarrollo web pueden utilizar como mejora de sus herramientas de codificación de IA, para que esas herramientas escriban código basado en las funciones actuales del navegador. Las habilidades se presentan en forma de pautas empaquetadas que el agente observará mientras escribe el código. El código generado por el agente también se enviará a las mismas páginas que se evalúan en función de métricas como Pintura con contenido más grande (LCP), Interacción con la siguiente pintura (INP) y accesibilidad.

Philip Walton, ingeniero senior de relaciones con desarrolladores de Google, anunció el lanzamiento en una publicación de Chrome para desarrolladores. La versión 1.0 agrega una auditoría para el código existente y Firefox y Edge se unen al proyecto. Chrome publicó por primera vez la guía como una vista previa en Google I/O en mayo.

Los equipos pueden instalarlo ejecutando npx modern-web-guidance@latest install en un directorio de proyecto. También está disponible a través de los mercados de complementos de los agentes de codificación más populares, según la publicación.

Novedades de la versión 1.0

La auditoría de la versión 1.0 examinará los archivos HTML, CSS y JavaScript de un proyecto, así como su paquete.json, para identificar áreas donde los desarrolladores pueden actualizar su código de forma segura y luego guiar al agente a través de los cambios. Esta primera iteración de la auditoría utiliza análisis estático para observar un número limitado de patrones de código, según la publicación.

La publicación dice que la biblioteca ahora apunta a “cientos de lagunas de conocimiento de IA verificadas” en sus guías. Además, los modelos de codificación actuales siguen sin alcanzar las pruebas de accesibilidad, encabezados de seguridad y prioridad de carga de scripts e imágenes de Google.

Según Google, cada una de las guías ahora es revisada y aprobada por un líder técnico de dominio. Para las guías de funciones orientadas al usuario, existe una revisión de accesibilidad dedicada realizada por expertos que utilizan tecnologías de asistencia a diario.

El 9 de noviembre se subió un documento de gobernanza al repositorio GitHub del proyecto que describe seis puestos de propietario para el proyecto. Dos de esos puestos pertenecen a Chrome, Microsoft Edge y Mozilla tienen uno cada uno, y dos se otorgan a expertos independientes en plataformas web. Actualmente hay un puesto independiente abierto y ningún puesto pertenece a Apple.

Lo que miden las evaluaciones de Google

El anuncio de Google enlaza con un panel de evaluación público donde los agentes de codificación de Anthropic, OpenAI y Google ejecutan el mismo conjunto de tareas todas las noches, con y sin orientación. Luego, un navegador real verifica el DOM, los estilos y el código fuente de cada aplicación terminada.

Cuando revisé el martes por la mañana, las ejecuciones guiadas pasaron el 88% de las comprobaciones automáticas, mientras que las ejecuciones no guiadas pasaron el 56%. Estas cifras se basan en los resultados combinados de cada agente para los recorridos nocturnos completados el 8 de noviembre; el rango es de 199 a 215 tareas por agente. El panel proporciona una revisión limitada (no una auditoría WCAG completa, dice) de las funciones de accesibilidad, como la compatibilidad con teclados, enfoque y etiquetas de formulario.

Sus indicaciones de tareas no mencionan la guía, por lo que cada agente tiene que resolver por su cuenta cuándo se aplica una guía. En la mayoría de las suites enumeradas recientemente, las ejecuciones guiadas fueron más lentas y quemaron más tokens.

El consultor de accesibilidad Adrian Roselli evaluó la vista previa en mayo dándole a Antigravity (la herramienta de codificación de inteligencia artificial de Google) un mensaje de acordeón animado que se encuentra en la documentación. Sin embargo, según Roselli, la salida no cumplía con las WCAG y su animación no funcionaba en Firefox. Tampoco encontró garantías de que los agentes pudieran seguir las pautas. Esto fue para la vista previa, no para la versión 1.0.

Lo que informaron los primeros usuarios

Las nuevas pautas fueron probadas por la plataforma de creadores de Japón, note inc. utilizando dos agentes de codificación que ejecutaron seis tareas de interfaz de usuario (UI) en 180 ejecuciones de prueba en versiones clonadas del código base de producción de note inc. Como se explica en un blog de Chrome, las puntuaciones de ambos agentes en 19 comprobaciones del navegador aumentaron después de instalar la habilidad sin nombrarla en las indicaciones, y luego nuevamente una vez que las indicaciones la nombraron. El Agente Uno pasó del 60,8% al 76,5% y al 94,0%. De manera similar, el Agente Dos obtuvo puntuaciones de 75,8%, 86,2% y 90,0% en las mismas tres condiciones de prueba.

Una de las tareas de Note comprobaba si la imagen más grande a la vista en la página de un artículo tenía alta prioridad y no estaba cargada de forma diferida. La tabla de comparación en la publicación muestra que los agentes no guiados escribieron el código de la imagen principal usando carga diferida y de alta prioridad.

MetaMask ejecuta la guía, como parte de un proceso de revisión automática para cada solicitud de extracción enviada a su extensión de navegador de código abierto, según una segunda publicación de Chrome. Hasta el 21 de octubre (las primeras cinco semanas), el bot identificó 102 problemas en 57 funciones y solucionó solicitudes de extracción. Los ingenieros resolvieron completamente 43 de ellos y parcialmente tres de ellos. Otros 16 fueron rechazados o dieron falsos positivos. Veinte de ellos quedaron sin resolver. Se desconoce el resultado de los otros 20.

Por qué esto importa

Modern Web Guidance proporciona un medio sin costo para que los equipos alienten a los agentes que escriben código a utilizar las capacidades nativas del navegador y eso incluye código en bases de código heredadas existentes. La mayoría de los resultados que se han publicado se basan en pruebas realizadas por Google, así como en pruebas de clientes que Google destacó. Note Inc. probó a los dos agentes usando el mismo mensaje con y sin decirles que usaran la guía; Ambos se desempeñaron mejor cuando el mensaje les indicó que usaran la guía. El equipo también puede etiquetar sus indicaciones para incluir la orientación y mantener los datos de campo y las pruebas de accesibilidad manual en la revisión.

Mirando hacia el futuro

Google dice que planea expandir este proceso de auditoría del código existente en algún momento, así como realizar auditorías en las que el agente razona sobre el código real que se está auditando.

La compañía sugiere combinar la guía con Chrome DevTools para que los agentes le permitan ejecutar su propio código creado y probarlo dentro del navegador. Los usuarios de vista previa pueden usar el comando npx modern-web-guidance@latest update.

Imagen de portada: Accogliente Design/Shutterstock

Fuente: Google.