El peligro de la IA
Anthropic dice haber frenado posibles complots para usar sus modelos de IA en el desarrollo de armas biológicas
Los detalles La compañía ha publicado un informe en el que detalla las medidas de seguridad que ha tomado al detectar posibles usos maliciosos de su tecnología.
AnthropicResumen IA supervisado
La empresa de inteligencia artificial Anthropic ha revelado que ha frustrado varios intentos de usar sus modelos de IA para investigaciones potencialmente relacionadas con el desarrollo de armas biológicas. En un informe, la compañía detalló que detectó y bloqueó estos usos indebidos durante este año, optando por la precaución ante la incertidumbre sobre las intenciones detrás de dichos estudios. Anthropic subraya que, aunque sus evaluaciones no pueden confirmar el uso de sus modelos para crear armas biológicas, han implementado sistemas de detección para prevenir riesgos. La empresa destaca casos de uso indebido en China, Rusia y Yemen, generando preocupación por el uso dual de la IA.
* Resumen supervisado por periodistas.
La empresa de inteligencia artificial Anthropic ha informado este jueves que ha frustrado varios posibles complots en los que se utilizaron sus modelos de Inteligencia Artificial (IA) para realizar investigaciones que podrían haber contribuido al desarrollo de armas biológicas.
La compañía ha indicado en un informe que detectó y bloqueó estos usos indebidos durante este año. Aunque no pudo determinar si los estudios tenían fines legítimos o maliciosos, optó por bloquearlos ante el riesgo de que sus modelos pudieran contribuir al desarrollo de patógenos peligrosos.
"Si bien las evaluaciones son útiles porque proporcionan evidencia de capacidad, no pueden demostrar concretamente que dicha capacidad se utilizaría alguna vez para desarrollar armas biológicas en el mundo real", explica la empresa en el documento.
Hasta el momento, la corporación californiana había negado que tuviera constancia de que alguna empresa privada hubiese compartido públicamente "evidencia del posible mal uso de sus plataformas para el desarrollo de armas biológicas".
Anthropic ha incluido además en otro comunicado una extensa lista de casos detectados en los últimos ocho meses en los que se habían usado sus modelos de IA de manera indebida, incluido el 'chatbot' Claude, en China, Rusia y Yemen.
Este informe surge entre crecientes preocupaciones de expertos en el sector tecnológico por el uso dual de la IA, ya que los modelos capaces de ayudar en investigaciones biológicas también pueden servir para actividades peligrosas. También hay voces que alertan de los peligros derivados de la creciente autonomía de estos modelos.
La empresa tecnológica ha asegurado haber desarrollado sistemas de detección para identificar y bloquear los usos que puedan suponer un riesgo en sus modelos de IA.
Esta misma semana, se ha puesto en cuestión los usos que se dan de la inteligencia artificial, después de que un trabajador de la compañía haya renunciado por los peligros que genera esta tecnología.