"El mundo está en peligro": qué dice la aterradora carta que publicó el exjefe de seguridad de IA en Antropic
El texto, dado a conocer en sus redes sociales tras la renuncia formalizada durante el fin de semana, hace hincapié en “una serie de crisis interconectadas” que podrían desarrollarse en el corto plazo.
El investigador y exlíder de seguridad en Anthropic, Mrinank Sharma, publicó el lunes una carta dirigida a sus entonces compañeros de la firma creada por exintegrantes de OpenAI, en la que advirtió sobre el impacto de la inteligencia artificial (IA) y múltiples factores del desarrollo tecnológico que podrían poner en peligro al mundo.
El texto, dado a conocer en sus redes sociales tras la renuncia formalizada durante el fin de semana, hace hincapié en lo que bautizó como “una serie de crisis interconectadas” que podrían desarrollarse en el corto plazo.
“Parece que nos estamos acercando a un umbral en el que nuestra sabiduría debe crecer en igual medida que nuestra capacidad para afectar al mundo; de lo contrario, enfrentaremos las consecuencias”, alertó Sharma, quien obtuvo el doctorado en Machine Learning en la Universidad de Oxford.
Encargado del emplazamiento de defensas contra el bioterrorismo asistido por IA e impulsor de investigaciones sobre la denominada “AI sycophancy”, el experto subrayó las dificultades con las que se topó para sostener valores “propios de una industria que corre a contrarreloj”.
image
Mrinank Sharma
"Quiero contribuir de una manera que sienta plenamente alineada con mi integridad y que me permita expresar mis particularidades" - Mrinank Sharma
La salida Sharma se suma a otras renuncias recientes en Anthropic, reviviendo el debate sobre ética y seguridad en la IA. La compañía logró posicionarse como líder en enfoques responsables a partir de empleo de mecanismos contra riesgos como el bioterrorismo y la pérdida de control humano. Su CEO, Dario Amodei, advirtió públicamente sobre los peligros de avanzar sin marcos éticos sólidos.
La carta completa de Mrinank Sharma
Estimados colegas:
He decidido dejar Anthropic. Mi último día será el 9 de febrero.
Gracias. Hay muchísimo aquí que inspira y que me ha inspirado. Por mencionar solo algunas cosas: un sincero deseo y compromiso de dar la cara en una situación tan desafiante, y de aspirar a contribuir de manera impactante y con una integridad elevada; la disposición a tomar decisiones difíciles y a defender lo que es correcto; una cantidad irrazonable de brillantez intelectual y determinación; y, por supuesto, la consideración y amabilidad que impregnan nuestra cultura.
He logrado lo que quería lograr aquí. Llegué a San Francisco hace dos años, luego de finalizar mi doctorado, con la intención de contribuir a la seguridad en IA. Me siento afortunado de haber podido aportar a aquello que esperaba: comprender la sinofobia en IA y sus causas; desarrollar defensas para reducir riesgos derivados del bioterrorismo asistido por IA; llevar efectivamente esas defensas a la práctica; y escribir uno de los primeros casos de seguridad en IA. Me siento especialmente orgulloso de mis esfuerzos recientes por ayudarnos a vivir nuestros valores mediante mecanismos internos de transparencia, así como de mi proyecto final sobre la comprensión de cómo los asistentes de IA podrían volvernos menos humanos o distorsionar nuestra humanidad. Gracias por su confianza.
No obstante, para mí está claro que ha llegado el momento de seguir adelante. De manera constante me encuentro reflexionando sobre nuestra situación. El mundo está en peligro. Y no solo por la IA o las armas biológicas, sino por toda una serie de crisis interconectadas que se están desarrollando en este mismo momento. Nos acercamos a un umbral en el que nuestra sabiduría debe crecer en igual medida que nuestra capacidad de afectar al mundo, para afrontar las consecuencias. Además, a lo largo de mi tiempo aquí he visto repetidamente lo difícil que es permitir que nuestros valores gobiernen nuestras acciones. Lo he visto dentro de mí, dentro de la organización, donde constantemente enfrentamos presiones para dejar de lado lo que más importa, y en la sociedad en general también.
Es al sostener esta situación y escuchar lo mejor que puedo que lo que debo hacer se vuelve claro. Quiero contribuir de una manera que se sienta plenamente íntegra para mí y que me permita poner en juego más de mis particularidades. Quiero explorar las preguntas que para mí se sienten verdaderamente esenciales, aquellas que David Whyte diría que “no tienen derecho a desaparecer”, las preguntas que Rilke nos implora a “vivir”. Para mí, eso significa irme.
Lo que viene después, no lo sé. Pienso con cariño en la célebre cita zen: “no saber es lo más íntimo”. Mi intención es crear espacio para dejar de lado las estructuras que me han sostenido estos últimos años y ver qué podría emerger en su ausencia. Me siento llamado a escribir aquello que aborde y se comprometa plenamente con el lugar en el que nos encontramos, y que ubique la verdad poética junto a la verdad científica como formas igualmente válidas de conocimiento, ambas con algo esencial que aportar al desarrollo de nuevas tecnologías. También espero explorar una formación en poesía y dedicarme a la práctica de una palabra valiente. Además, me entusiasma profundizar mi práctica de facilitación, coaching, construcción de comunidad y trabajo grupal. Veremos qué se despliega.
Gracias, y adiós. He aprendido muchísimo estando aquí y les deseo lo mejor. Los dejo con uno de mis poemas favoritos, “The Way It Is”, de William Stafford.
