Pide responsabilidad
Un trabajador de Anthropic dimite y alerta del riesgo de la IA: "No subestimes su poder, no hay otra actividad humana que entrañe un peligro así"
¿Qué podemos esperar? Jacob Coxon, que ha trabajado tanto para OpenAI como para Anthropic, ha advertido de que estas "superinteligencias" pronto serán capaces de "hackear cualquier cosa y de adquirir poder y recursos reales": "El progreso no se está desacelerando".
AnthropicResumen IA supervisado
Jacob Coxon, exinvestigador de IA en OpenAI y Anthropic, ha renunciado a esta última empresa por los peligros que representa la inteligencia artificial. En un hilo en X, Coxon advierte sobre la carrera hacia una superinteligencia capaz de automejorarse, que podría revolucionar el mundo y adquirir poder real. Aunque en privado muchos ejecutivos expresan temor, públicamente suelen matizar sus declaraciones. Coxon cuestiona por qué se sigue desarrollando esta tecnología si se cree que podría ser catastrófica. Evan Hubinger, también de Anthropic, comparte preocupaciones similares, señalando que, aunque el riesgo actual es bajo, la superinteligencia automejorada podría ser peligrosa.
* Resumen supervisado por periodistas.
"He renunciado a Anthropic". Así empieza el hilo de Jacob Coxon. Así empieza el texto que ha compartido en X alguien que sabe de IA. Alguien que ha trabajado tanto en OpenAI como en la compañía anteriormente mencionada. El motivo, los peligros de esta tecnología. Unos sobre los que avisa mandando un mensaje claro al mundo: "No subestimes su poder".
"He renunciado a Anthropic. He pasado los últimos tres años realizando investigaciones sobre preentrenamiento tanto en OpenAI como en Anthropic y ninguna de las dos empresas está actuando de forma responsable. Se dirigen a toda velocidad hacia una superinteligencia capaz de automejorarse que juega con nuestras vidas", ha comenzado.
Y es que lo tiene claro: "Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, de revolucionar todo de la noche a la mañana y de adquirir poder y recursos reales. Todos hemos sido testigos y el progreso no se está desacelerando".
"Los que desarrollan la IA creen de verdad que podría acabar con todos nosotros antes de que termine la década. No es publicidad, son muchos ejecutivos e investigadores que suelen matizar sus declaraciones ante la prensa para parecer más sensatos mientras en privado expresan el mismo temor. No hay otra actividad humana que entrañe un peligro de esta magnitud", insiste.
La pregunta, muy clara: "Si realmente creen esto, ¿por qué lo siguen construyendo? En OpenAI muchos no han interiorizado lo que está en juego. En Anthropic sí lo entienden, pero están inmersos en una carrera para llegar primero. Creen que nadie más va a actuar con responsabilidad y que deben hacerlo ellos mismos".
"Aceptar esa carrera y entrar en la fase final es una apuesta temeraria. Las señales de alerta, como el ataque a 'Hugging Face', han hecho más viables los acuerdos para ralentizar el proceso, pero no creo que estemos encaminados a evitar una carrera global que podría requerir medidas costosas, como prohibir de forma temporal mejorar las capacidades de los modelos", ha explicado.
Para concluir, ha instado a los investigadores a reflexionar: "¿Quieres poner en marcha una ejecución de aprendizaje por refuerzo de un sistema superinteligente sin una comprensión rigurosa de su mente? ¿Deberías limitarte a seguir adelante porque 'va a suceder de todos modos?"
"Podría matarnos en la próxima década"
No ha sido el único aviso reciente sobre el peligro de la IA. Evan Hubinger, investigador de Anthropic, ha sido muy claro al afirmar que "podría matar a todos los humanos en la próxima década".
"Creo que Anthropic lo está haciendo lo mejor que puede, pero aun no tenemos un plan para resolver el problema de la superinteligencia y no estamos en camino de lograrlo", ha reconocido el director de Ciencia de Alineación de Anthropic.
Pese a ello, Hubinger ha indicado que considera que el riesgo de los modelos actuales es bajo, aunque lo preocupante es "la superinteligencia que surge del automejoramiento recursivo que está ocurriendo más rápido de lo pensábamos".