Sabía cada palabra
En Estaba ahí hace un minutoMencioné que leer artículos de investigación se había convertido en una especie de pasatiempo… Es casi un masoquismo. Seguí adelante, trabajando en artículos y documentos técnicos y tratando de conectar los puntos entre los experimentos. Lo que me interesa es cómo un hallazgo en un estudio cambia la forma en que leo otro.
La última vez analicé lo que nos permite diagnosticar una respuesta faltante. Esta vez quiero observar el éxito aparente: el modelo parece haber aprendido el material y estamos listos para felicitarnos.
Un modelo puede llegar a ser extremadamente bueno a la hora de predecir los hechos de una biografía y aun así tener dificultades cuando se le pregunta dónde trabaja la persona. Los investigadores documentaron esa brecha. La lectura había ido muy bien. Las preguntas fueron un poco problemáticas.
Pensemos en un alumno que puede recitar un pasaje del libro de texto, hasta la puntuación. Haga una pregunta que requiera sacar un hecho de ese pasaje y la interpretación cambia. Probablemente querríamos ver los resultados del examen antes de declarar que la revisión fue un éxito.
Ésa es la distinción que sigo señalando cuando la gente habla de introducir una marca en la memoria del modelo. La frase hace que la parte difícil parezca terminada. Una vez que el modelo ha encontrado su nombre durante el entrenamiento, se supone que lo conoce lo suficientemente bien como para seguir las recomendaciones. Muy eficiente, si eso es todo lo que se necesita.
Hay muchas cosas escondidas en “saber”.
La lección volvió, las respuestas no
Física de los modelos del lenguaje: Parte 3.1 utiliza biografías ficticias para separar la memorización de texto de la extracción de sus hechos. Los investigadores entrenaron previamente pequeños modelos sobre las biografías, luego los ajustaron con preguntas sobre algunas personas y probaron preguntas sobre otras.
Aquí, la formación previa significa aprender de las biografías desde cero; El ajuste es el entrenamiento posterior en la tarea de preguntas y respuestas. Ambos cambian los parámetros o pesos aprendidos del modelo. La información que puede utilizar de esos pesos, sin buscar una fuente, es lo que aquí entendemos por memoria paramétrica.
El modelo había visto la biografía de cada persona de la prueba, pero nunca había sido entrenado para responder preguntas sobre esa persona. El fracaso no se puede descartar como si nunca se hubiera recibido el material.
La comparación de alumnos ayuda con la diferencia entre recitación y respuesta. No nos dice nada acerca de si un modelo entiende algo en el sentido humano. La pregunta es si puede utilizar hechos aprendidos de una forma para responder preguntas formuladas de otra.
Un modelo que completa la descripción de su producto, cuando se le da el principio, ha superado una prueba particular. Un comprador que pregunta qué producto se adapta a sus necesidades le ha preguntado otro. Sería cauteloso con una afirmación de memoria que se desliza entre ellos sin decirlo.
La respuesta obvia es más repetición. Vuelve a darle la lección, hasta que se pegue.
En Cuantificación de la memorización a través de modelos de lenguaje neuronalla duplicación en el corpus de entrenamiento aumenta la extracción palabra por palabra: proporcione el comienzo de un pasaje de entrenamiento y es más probable que el modelo reproduzca la continuación.
Por lo tanto, la cómoda contraargumento de que las copias no le enseñan nada a un modelo es demasiado amplia. La repetición puede mejorar un resultado medido. La pregunta es: ¿Qué resultado?
Un periódico más nuevo, ¡No lo olvides! Descomponiendo la dinámica de entrenamiento de la memorización en modelos lingüísticospregunta qué sucede con un pasaje memorizado a medida que continúa el entrenamiento. Los investigadores utilizaron versiones guardadas de los modelos de Pythia para simular actualizaciones de entrenamiento y cambios en los pesos aprendidos.
En esas simulaciones, aprender de otros datos funcionó más contra la predicción de pasajes memorizados repetidos con frecuencia que los raros, especialmente en el modelo con mil millones de parámetros. Los investigadores sugieren que la repetición puede ayudar a mantener esos pasajes reproducibles a pesar de esa interferencia.
No variaron la repetición y los datos del entrenamiento competitivo por separado para probar esa explicación. Y probaron la continuación palabra por palabra, no las respuestas sobre los hechos.
Volviendo a nuestra analogía, el alumno también tiene que afrontar el resto del programa de estudios. Un recuento de menciones no puede indicarle cómo el aprendizaje de otro material afecta el resultado que desea.
Ser capaz de terminar el pasaje aún deja abierto si el modelo puede usar sus hechos para responder un tipo diferente de pregunta. Una recitación más exitosa no puede resolver esto por sí sola. Una publicación repetida tampoco es automáticamente una exposición repetida al entrenamiento. El proveedor del modelo aún tiene que recopilar la copia, conservarla después del filtrado y utilizarla en el entrenamiento.
Puedo ver por qué contar las apelaciones de menciones. Puedes contarlos antes de saber qué te enseñarán.
Los mismos hechos, enseñados de manera diferente
En el experimento de la biografía, los investigadores variaron la redacción, cambiaron el orden de las oraciones y repitieron el nombre completo de cada persona a lo largo de su biografía. La precisión en preguntas fácticas sobre el grupo de prueba aumentó del 9,7% al 96,2% en un modelo GPT-2 de 124 millones de parámetros. Esos fueron hechos sintéticos en un experimento de entrenamiento de modelo pequeño, no recomendaciones de marcas comerciales.
El resultado me brinda una mejor manera de pensar en un hecho de marca que simplemente preguntar con qué frecuencia aparece la oración. Consideremos una empresa de pagos inventada. Una descripción explica cómo su función de pago ayuda a los vendedores del mercado; otro explica cómo la misma función maneja el problema de pago de un cliente. Las descripciones se refieren al mismo producto, pero podrían ayudar a responder preguntas diferentes.
Eso me da una razón para probar descripciones claras de un producto en diferentes situaciones. No me dice que publicar esas descripciones hará que un modelo comercial recuerde mejor el producto.
Los investigadores eligieron su material de formación y entrenaron el modelo ellos mismos. Un editor puede poner páginas en línea, pero el proveedor del modelo decide si esas páginas entran en capacitación, qué copias conservar y cómo usarlas.
Si utiliza ese resultado para vender un paquete de páginas web, está prometiendo una mejora que los investigadores nunca probaron. Incluir el documento en la propuesta no llena ese vacío.
Mejores descripciones aún podrían ayudar. Me gustaría tener pruebas de que el trabajo editorial mejoró el recuerdo antes de prometerlo a un cliente. Y la gran ganancia en este modelo de pequeña biografía no nos dice qué mejora esperar de un modelo comercial mucho más grande.
Alguien más hizo la tarea
Los investigadores también mantuvieron sin cambios las biografías de un grupo y agregaron biografías variadas para otro grupo. La precisión de las preguntas sobre el grupo sin cambios aumentó del 4,4% al 86,8%.
Para la capacitación posterior de preguntas y respuestas, utilizaron ejemplos solo sobre el grupo agregado. Las biografías del grupo de prueba no obtuvieron versiones adicionales y sus pares de preguntas y respuestas nunca se utilizaron en el entrenamiento. La capacitación sobre material sobre otras personas había ayudado al modelo a responder preguntas sobre este grupo. La transferencia dependió de material suficientemente similar.
De vuelta en el aula, el alumno mejora en el uso de una lección porque la enseñanza ha mejorado en otros lugares. Su propio pasaje no ha adquirido ni un párrafo más.
Este es el hallazgo que hace que una explicación clara del contenido de la marca me parezca incompleta. La calidad de todo lo que se escribe sobre una marca puede ser importante. Lo mismo puede decirse de la capacidad del modelo para utilizar información de ese tipo, desarrollada mediante el entrenamiento con otros ejemplos.
Si una transferencia similar es importante para hechos comerciales, su marca podría volverse más fácil de recordar después de un cambio de modelo sin que nadie haya reescrito el material de su marca. Ésta es una hipótesis sobre los sistemas de producción, no un resultado que midieron estos investigadores.
Mejores respuestas sobre su empresa, dadas sin recuperación, no significarían necesariamente que su último programa de contenido le haya enseñado al modelo algo nuevo sobre usted. Es posible que el proveedor haya cambiado la forma en que el modelo aprende a utilizar lo que encuentra.
He estado tentado de explicar un mejor recuerdo mediante descripciones más variadas de cada marca. Esto puede ayudar, pero no puede ser la única explicación: las biografías analizadas no obtuvieron versiones adicionales. Si mi explicación necesita páginas adicionales sobre la empresa, no puede explicar este resultado.
Me gusta la hipótesis de la diversidad de contenidos. Prefiero mantenerlo como una hipótesis que hacer que el artículo diga que es el mecanismo completo.
Un mejor aprendizaje todavía tiene que responder a la pregunta
Un estudio separado, ¿Ajuste o recuperación?también encuentra beneficios en el material de capacitación parafraseado. En su prueba de opción múltiple de hechos nuevos, Mistral-7B obtuvo una puntuación del 50,4% después de la capacitación con los documentos originales y del 58,8% con material parafraseado.
Darle pasajes relevantes con la pregunta obtuvo mejores resultados: 87,5%. Se trata de generación de recuperación aumentada, o RAG, que proporciona evidencia en el momento de la respuesta.
Las preguntas se generaron a partir de los mismos fragmentos de texto que podía proporcionar el sistema de recuperación. Esto favorece la recuperación: las preguntas se refieren a hechos contenidos en el material de que dispone. La prueba también proporcionó opciones de respuesta, por lo que midió el reconocimiento en lugar de producir una respuesta sin opciones o recomendar un producto.
Para mí, esa es otra razón para decir lo que se supone que debe mejorar el trabajo. Una ganancia en reconocimiento, una ganancia en respuestas objetivas y un cambio en las recomendaciones de productos necesitan evidencia diferente.
El nombre que aparece en el resultado de una búsqueda también puede afectar la elección. En Preferencia de fuente en la naturalezalos investigadores mantuvieron fijos los títulos y fragmentos, cambiaron la fuente que se muestra junto a ellos y vieron cambiar las opciones de los modelos. Los modelos eligieron entre fragmentos sin abrir las páginas.
Los investigadores también entrenaron modelos en pares de selecciones mejores y peores, una forma de entrenamiento de preferencias. Hicieron que una fuente acompañara al mejor artículo con más frecuencia durante el entrenamiento. Posteriormente, los modelos favorecieron esa fuente incluso cuando los elementos de prueba cumplían los mismos requisitos medidos.
Esto muestra una forma en que la capacitación puede crear una preferencia de fuente. No explica cómo los agentes de búsqueda adquirieron sus preferencias existentes. Su producto puede pasar una prueba de retirada mientras se selecciona un resultado competitivo por una razón que la prueba nunca examinó.
Mi interés aquí también es comercial. Trabajo en geoSurge, donde la memoria del modelo es fundamental para el enfoque. Un mejor recuerdo es un resultado que vale la pena perseguir. Una receta editorial que promete aún debe establecer la conexión entre el trabajo realizado y el resultado reivindicado.
Los experimentos de entrenamiento me dan razones para tomarme en serio la memoria modelo. Cambiar el material y las tareas de formación puede mejorar las respuestas objetivas. Éste es un punto de partida útil para seguir trabajando.
Lo incómodo es quién controla el entrenamiento. Los editores pueden hacer que la información esté disponible y describirla claramente. Los proveedores deciden qué se incluye en la capacitación y cómo se utiliza. El experimento de la biografía muestra por qué el material sobre otra persona también puede importar.
Si un modelo comienza a responder mejor las preguntas sobre una empresa, me gustaría entender qué cambió en el modelo y qué cambió en el sitio web de la empresa.
El proveedor puede cambiar el plan de estudios mientras su calendario de contenido cambia el material de lectura que se ofrece. Confunda esos poderes y podrá seguir asignando tareas mucho después de que el alumno pueda recitar la lección.
Más recursos:
Esta publicación se publicó originalmente en The Inference.
Imagen de portada: Olese4ka87/Shutterstock
