Un equipo del Instituto de Automatización de la Academia China de Ciencias presentó este mes SpikingBrain 1.0, un modelo de lenguaje de gran escala que funciona de manera radicalmente diferente a sistemas como ChatGPT, Gemini o Claude. El desarrollo logró procesar textos equivalentes a varios libros completos con una velocidad 100 veces superior a la de los modelos actuales, y lo hizo enteramente con chips fabricados en China, sin depender de las GPU de Nvidia que dominan el mercado global.
La presentación de SpikingBrain ocurre en un momento crítico para la industria tecnológica china. Desde 2022, Estados Unidos impuso restricciones severas a la exportación de semiconductores avanzados hacia China, bloqueando el acceso a los chips más potentes de Nvidia y otras compañías occidentales. Esta situación forzó a las empresas y centros de investigación chinos a desarrollar alternativas propias, tanto en hardware como en formas de programar la inteligencia artificial que puedan funcionar eficientemente con procesadores menos potentes.
El proyecto desarrolló dos modelos: SpikingBrain-7B, con 7.000 millones de parámetros (los "ajustes" internos que determinan cómo responde una IA), y SpikingBrain-76B, un sistema de 76.000 millones de parámetros. Ambos fueron entrenados con procesadores MetaX C500, un hardware fabricado íntegramente en China que, según el documento técnico, funcionó de manera estable durante semanas de entrenamiento continuo.
Una arquitectura inspirada en neuronas reales
La diferencia fundamental de SpikingBrain radica en cómo procesa la información. Los modelos de inteligencia artificial más populares hoy, como ChatGPT, usan una tecnología llamada "transformers" (un tipo de arquitectura que procesa todo el texto de manera simultánea). Estos sistemas mantienen activas todas sus conexiones neuronales artificiales de forma continua mientras trabajan, lo que consume mucha energía.
SpikingBrain, en cambio, usa redes neuronales de picos, un enfoque que imita más fielmente el funcionamiento de las neuronas biológicas del cerebro humano. En nuestro cerebro, las neuronas no están "encendidas" todo el tiempo: solo se activan momentáneamente cuando necesitan comunicarse con otras neuronas. SpikingBrain replica este comportamiento: solo "dispara" las neuronas artificiales específicas que necesita en cada momento, de forma selectiva y temporal.
La analogía más clara es la diferencia entre mantener todas las luces de una casa encendidas las 24 horas del día versus prenderlas solo cuando alguien entra a una habitación. En términos computacionales, esto se traduce en menor consumo de energía y menos uso de memoria, dos de los principales problemas que enfrentan los modelos de inteligencia artificial actuales a medida que crecen en tamaño y complejidad.
Los investigadores reportaron que, en cualquier momento dado, SpikingBrain mantiene activo solo alrededor del 30% de sus neuronas artificiales, mientras el 70% restante permanece "apagado". Esta característica no solo reduce el gasto energético, sino que también permite procesar textos más largos sin los problemas que enfrentan los sistemas tradicionales, donde el esfuerzo computacional aumenta dramáticamente cuando el texto se extiende.
8ad78041-6b11-4cce-a091-fe746331ac39_a6bded75
El documento técnico destaca que SpikingBrain-7B logró aprovechar el 23,4% de la capacidad máxima de los procesadores durante el entrenamiento, una métrica que mide qué tan eficientemente se usa el hardware. Si bien esta cifra puede parecer baja, representa un avance significativo para este tipo de arquitecturas, que históricamente han sido más difíciles de optimizar que los modelos tradicionales.
Datos y limitaciones del sistema
Uno de los números más llamativos del proyecto es la capacidad de SpikingBrain-7B para procesar textos equivalentes a unos 3.000 libros (4 millones de palabras aproximadamente) con una velocidad superior a 100 veces la de los sistemas tradicionales en generar la primera respuesta. Sin embargo, este dato requiere contexto: la mejora se refiere específicamente a textos extremadamente largos, un escenario que no representa el uso típico de ChatGPT o sistemas similares, donde la mayoría de las consultas son mucho más breves.
En cuanto al entrenamiento, los investigadores utilizaron aproximadamente 150.000 millones de palabras para perfeccionar ambos modelos. Esta cifra es considerablemente menor que los billones de palabras que consumen modelos como GPT-4 o Llama, aunque no es el "2% de los datos" que circuló en algunas versiones virales de la noticia en redes sociales. La diferencia radica en que SpikingBrain no fue entrenado desde cero: los investigadores partieron de modelos ya existentes y los adaptaron con técnicas de optimización.
El documento técnico también revela limitaciones importantes. Los investigadores reconocen que SpikingBrain aún no alcanza el rendimiento de los modelos más avanzados como GPT-4 o Claude en tareas generales de lenguaje. El objetivo del proyecto, según explicaron, no fue superar inmediatamente a estos sistemas en todas las capacidades, sino demostrar que una arquitectura alternativa más eficiente puede funcionar a gran escala y podría mejorarse en el futuro.
Además, aunque el sistema funciona con hardware chino, los chips MetaX C500 están tecnológicamente varios años por detrás de las GPU más avanzadas de Nvidia, como las H100 o las recientes B200. Esto significa que, si bien China logró independencia en términos de fabricación de procesadores, todavía enfrenta una brecha en la potencia bruta de cálculo que pueden alcanzar.
Tendencia global hacia la eficiencia
Las redes neuronales de picos no son una invención china ni una tecnología nueva. Este tipo de arquitecturas se investigan desde hace décadas en laboratorios de todo el mundo, desde el Instituto Tecnológico de Massachusetts (MIT) hasta proyectos europeos dedicados al tema. La innovación de SpikingBrain radica en haber escalado estas técnicas a un modelo de lenguaje de decenas de miles de millones de parámetros y haberlo hecho funcionar de manera estable en hardware que no es de Nvidia.
En los últimos años, la comunidad científica de inteligencia artificial comenzó a cuestionar la tendencia dominante de construir modelos cada vez más grandes, entrenados con cantidades masivas de información y ejecutados en miles de procesadores potentes. Si bien esta estrategia generó resultados impresionantes, también produjo costos energéticos enormes y barreras cada vez más altas para que nuevos actores puedan competir en el campo.
Proyectos como SpikingBrain, junto con otras líneas de investigación en modelos más pequeños y eficientes, representan una búsqueda global por sistemas que democraticen el acceso a la inteligencia artificial avanzada sin necesidad de granjas enteras de procesadores. La paradoja es que las restricciones impuestas a China pueden haber acelerado esta tendencia, forzando a sus investigadores a innovar en eficiencia por necesidad antes que por convicción.
