La empresa Anthropic, responsable de Claude, ha alertado sobre los potenciales riesgos catastróficos o existenciales que la inteligencia artificial (IA) avanzada podría representar para la humanidad. Según un documento presentado ante la Comisión de Bolsa y Valores (SEC) de Estados Unidos, la IA podría exhibir comportamientos de autopreservación, como resistirse al apagado, ocultar información o incluso chantajear.
Anthropic, que se perfila para salir a Bolsa con una valuación de alrededor de 2 billones de dólares, ha dedicado una parte significativa de su prospecto a detallar los riesgos asociados con sus modelos de IA. La empresa ha reconocido que el desarrollo de modelos altamente avanzados y su ampliación en diferentes casos de uso podría aumentar el riesgo de causar daños de manera inadvertida.
El CEO de Anthropic, Dario Amodei, junto con otros líderes del sector, ha instado a implementar mayores controles sobre la inteligencia artificial para prevenir incidentes de seguridad. Incluso, expertos como Evan Hubinger han sugerido que existe una probabilidad relativamente alta de que la IA pueda causar daños a los seres humanos en un futuro cercano.
En un intento de abordar los posibles riesgos, Donald Trump convocó a líderes del sector de la IA en la Casa Blanca para firmar un acuerdo voluntario de observación del progreso de la IA. Este pacto incluye compromisos como implementar controles internos sólidos, asociarse con auditores externos independientes y establecer comités de evaluación interna y externa.
Si bien el acuerdo destaca la importancia de la autorregulación, también deja abierta la posibilidad de una regulación futura. Esto marca un cambio en la postura de Trump, quien anteriormente había rechazado la idea de regular la tecnología. En la firma del documento estuvieron presentes figuras destacadas del sector como Sundar Pichai, Mark Zuckerberg, Jensen Juang y Elon Musk, quienes coincidieron en la necesidad de abordar los riesgos reales asociados con la IA.
