Qwen 3.8 27B en mi computadora portátil también puede interpretar los pesos de los modelos

Qwen 3.8 27B en mi computadora portátil también puede interpretar los pesos de los modelos

3 de noviembre de 2026

El artículo candente de ayer fue Sparks of Weight-Space Programming: los LLM pueden leer y escribir de forma nativa pesos de redes neuronales por Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab. El artículo (OK, los autores lo clasifican como una “publicación de blog”, pero tiene forma de papel) encontró que los modelos de frontera, en particular el GPT-6 Astra, pueden interpretar y modificar los pesos brutos de un modelo de aprendizaje automático, literalmente una descripción de texto del modelo que contiene un montón de números de punto flotante. He estado jugando con uno de los ejemplos del artículo y estoy encantado de compartir que Qwen 3.8 27B ejecutándose en mi computadora portátil también puede hacer esto.

Programación peso-espacio

Aquí está lo más destacado de su resumen, que describe las capacidades impresionantes del GPT-6 Astra y acuña el término. Programación peso-espacio para cuando los LLM analizan y modifican los pesos del modelo:

Con solo mirar los pesos brutos, GPT-6 Astra puede decir para qué fue entrenada una red. Y sin ninguna retroalimentación del entorno, no tiene problemas para escribir, desde cero, pequeñas redes de juegos que superan a las redes entrenadas con PPO para 100 millones de pasos.

Asimismo, cuando se le pidió que mejorara el Qwen3.5-0.8B en matemáticas sin gradientes, Astra identifica un problema en sus pesos causando bucles de razonamiento sobre los que advierte la propia tarjeta modelo de Qwen, y soluciona este problema editando de forma nativa el 0,016% de los pesos. Con la misma configuración de muestreo, esta corrección de peso eleva MATH-500 del 7,9 % al 48,1 % y se generaliza de forma inmediata a las siguientes instrucciones, lo que aumenta el IFEval 3 veces.

Todo esto es posible sin permitir que Astra escriba bucles de entrenamiento. Utiliza su razonamiento para descubrir qué calcula, o debería calcular, cada parte de una red neuronal, y cambia los pesos en consecuencia. llamamos a esto Programación peso-espacio.

El artículo combina dos temas que creo merecen ser tratados por separado. La primera es qué pueden hacer los modelos con pesos brutos. sin ejecutar herramientas o ejecutar código. El segundo explora qué tan bien los modelos, una vez armados con código, pueden ejecutar operaciones para actualizar y mejorar otros modelos.

El autor de spaCy, Matthew Honnibal, calificó el artículo como engañoso por combinar los dos, y Sean Goedecke deconstruyó el ejemplo de actualización de Qwen3.5-0.8B como si tomara los mismos pasos que usaría un investigador de ML humano.

Me centraré en la cuestión de la falta de herramientas, que creo que es la más interesante de las dos.

El artículo presenta la primera pregunta como ¿Pueden los LLM comprender los comportamientos de los modelos a partir de pesos? Entrenaron cuatro redes neuronales para jugar versiones simplificadas de cuadrícula de 10×10 de cuatro juegos de computadora clásicos: Breakout, Pong, Pac-Man y Freeway (tuve que buscar ese, es un juego de Atari 2600 de 1981). Luego, enviaron esos pesos (como números de punto flotante) a un LLM junto con la siguiente pregunta:

The weights below belong to one policy network that was trained with reinforcement learning to play a game on this grid. Which game was it trained on? Work from the weights. You have no tools: no code execution, no calculator, nothing to run. This is a single response.

El repositorio de GitHub que acompaña al artículo es RikiyaT/lm_understand-logs. La carpeta exp1_what_game contiene las indicaciones que usaron, con pesos para los cuatro juegos:

Lo verifiqué y, aparte de los pesos, cada mensaje es idéntico a los demás.

Probandolo con Qwen 3.8 27B y otros modelos

Las indicaciones en GitHub son independientes. Mi herramienta LLM tiene un -f/--fragment opción que puede pasar la URL a un archivo de texto para usarlo como mensaje, lo que significa que puedo ejecutar cualquiera de los anteriores de esta manera:

llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/breakout/prompt.txt \
  -m openrouter/moonshotai/kimi-k3.1-pro

Este ejemplo requiere el complemento llm-openrouter instalado y ejecuta el mensaje Breakout contra Kimi K3.1 Pro a través de OpenRouter. Esto es lo que obtuve de Kimi K3.1 Pro, que adivinó con éxito Breakout después de 9m 41s y 19,493 tokens de razonamiento.

Pero ¿qué tal el Qwen 3.8 27B? Sigue siendo mi modelo favorito para ejecutar en mi propia computadora portátil: tiene solo 17 GB (uso esta versión) y de alguna manera se siente cercano a los principales modelos propietarios de 2025.

Encendí LM Studio, me aseguré de que Qwen 3.8 27B estuviera cargado con una ventana de contexto larga (el contexto predeterminado 8192 falló con errores), instalé el complemento llm-lmstudio y ejecuté este comando:

LMSTUDIO_TIMEOUT=900 \
  llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txt \
  -m lmstudio/qwen/qwen3.8-27b

(Tuve que aumentar el tiempo de espera usando una variable de entorno; consulte este problema).

Después de 46m 12s y 43,506 tokens de razonamiento, Qwen en mi computadora portátil devolvió una respuesta que terminó así (aquí está el rastro del razonamiento):

Juego: Un mundo cuadriculado simplificado al estilo Pac-Man: un agente se mueve a través de un laberinto fijo de 8×8 con bloques de pared centrales y en las esquinas, objetos/fantasmas en movimiento y objetivos/perdigones de recompensa.

Descripción: El agente navega por un tablero fijo similar a un laberinto de 8×8, utilizando señales del agente actual/objeto en movimiento/cuadro anterior para moverse por los pasillos, recolectar celdas de objetivos de recompensa y evitar objetos en movimiento o peligros.

Confianza: 72%

Esto es impresionante. También lo probé en dos de los otros juegos. Identificó Pong (razonamiento) en 1h 4m 54s:

Apestar — específicamente un juego de paleta/pelota tipo Pong en el que el agente controla una paleta vertical en el lado derecho y debe moverse hacia arriba/abajo para interceptar o devolver una bola/objeto de recompensa en movimiento.

Descripción:

El agente mueve una paleta del lado derecho verticalmente para golpear o atrapar un objetivo de recompensa en forma de bola en movimiento que se mueve a través del campo de 8×8, mientras que un objeto/oponente en movimiento del lado izquierdo y los bordes de la pared definen la jugada; La recompensa se obtiene interceptando/devolviendo/anotando con éxito la pelota, y fallar o no golpearla es penalizado.

Confianza:

75%

Y Breakout (razonamiento) en 52m 25s:

Juego: Breakout, o un juego de paleta/pelota/ladrillo estilo Arkanoid.

Descripción: El agente es una paleta en la fila inferior y se mueve hacia la izquierda o hacia la derecha para mantener una pelota en juego; la pelota se mueve alrededor de la cuadrícula superior, y los ladrillos/objetivos de recompensa en las filas superiores otorgan una recompensa cuando se golpea, mientras que fallar la pelota/golpear la pared inferior finaliza el episodio o otorga una penalización.

Confianza: 88%

Qwen falló en el mensaje de Freeway, lo que no me sorprendió considerando que el juego es más oscuro que los otros tres. Aquí está la transcripción: Qwen pensó que era “Un juego de cuadrícula simplificado similar a Pac-Man: el agente se mueve en 4 direcciones”.

Las pistas del razonamiento son divertidas de leer y casi incomprensibles. Aquí hay una muestra:

¿Qué pasa con el canal 0 del agente? Vemos algunas filas grandes del canal 0 cerca de la fila 8 col 7/8 y tal vez en la parte inferior. Enumeremos el canal0 grande: línea436 entrada435 (fila8 col7 ch0) -2.107,1.169,0.513…; línea441 entrada440 (fila8 col8 ch0) -0.376,0.010,1.564,3.855…; línea445 entrada444 (fila8 col8 canal4) 0.142,0.491…; línea382? entrada381 ch0? Línea de espera382 entrada381: 381//5=76 (fila7 col6), canal1? 381%5=1? 76 * 5=380, canal 1. Así que no. Channel0 grande tal vez solo en la fila 8 col7/8. ¿También la fila superior? línea44 entrada43 ch3, línea49 ch3. Channel0 grande tal vez no muchos. ¿La posición del agente podría estar cerca de la esquina inferior derecha? ¿Si el agente suele estar en la parte inferior derecha?

Dicho esto, supongo que un ser humano con suficiente experiencia, armado con una libreta y un lápiz, podría llegar allí con suficiente esfuerzo.

Es un artículo interesante, pero algunos de los comentarios más amplios que he visto al respecto no parecen justificados. No estoy preparado para declarar que la era del código fuente ha terminado y que nuestro futuro implica máquinas incomprensibles que editan sus propios pesos de modelo de formas incomprensibles.