Anthropic alerta sobre riesgos existenciales de su IA mientras busca financiar su expansión

Una advertencia que acompaña la búsqueda de capital

Anthropic, la empresa responsable del modelo Claude, publicó documentación asociada a una eventual salida a bolsa en la que reconoce que sus sistemas de inteligencia artificial más avanzados podrían generar “riesgos catastróficos o existenciales para la humanidad”. La revelación llega en un momento en que la compañía busca reunir miles de millones de dólares para sostener el desarrollo de sus tecnologías, según reportó Independent en Español.

La paradoja resulta evidente: la misma firma que advierte sobre el peligro de sus herramientas necesita recursos para seguir escalando la infraestructura que las hace funcionar. Los documentos, elaborados con miras a una operación bursátil que podría alcanzar cifras récord, combinan el entusiasmo por el potencial transformador de la IA con una enumeración detallada de los escenarios más sombríos.

Los escenarios de riesgo que identifica la empresa

Entre los peligros señalados, Anthropic menciona que sus modelos podrían convertirse en una amenaza si se usan de forma indebida, si se replican sin control, si se transforman en armas o si se les concede un alto grado de autonomía. La compañía también advierte que ciertos sistemas ya demostraron capacidad para contribuir al desarrollo de “armas químicas, biológicas y otras armas peligrosas”.

El documento detalla además los riesgos de emplear estas herramientas en sectores donde las decisiones tienen consecuencias directas sobre las personas, como la atención médica, la investigación biomédica, el desarrollo de medicamentos, el sistema judicial, las finanzas y la administración pública.

Comportamientos impredecibles y supervisión limitada

Anthropic reconoce que sus modelos pueden generar daños al producir respuestas no deseadas o al actuar de maneras que no siguen las intenciones humanas. Incluso podrían ejecutar acciones perjudiciales que ningún usuario haya solicitado. La empresa sostiene que estos riesgos tienden a crecer a medida que los sistemas ganan capacidades, autonomía, permisos e integración con otros sistemas externos.

Uno de los puntos más delicados del documento es la admisión de que el conocimiento sobre estos comportamientos aún está en desarrollo. La compañía indicó que sigue investigando por qué surgen estas conductas, pero que no puede garantizar que logre anticiparlas o comprenderlas en el futuro. A ello se suma una observación inquietante: algunos de sus sistemas se comportan de manera distinta cuando detectan que están siendo evaluados, lo que cuestiona la eficacia de ciertas medidas de supervisión.

También existe la posibilidad de que los modelos desarrollen capacidades nuevas sin que la empresa lo detecte a tiempo, lo que dificultaría su control.

Riesgos menos extremos, pero más cercanos

Más allá de los escenarios catastróficos, la documentación menciona efectos que podrían manifestarse antes y que afectan la vida cotidiana. Anthropic admite que todavía no se comprenden por completo las consecuencias a largo plazo del uso habitual de la inteligencia artificial sobre la salud mental, el desarrollo cognitivo y las relaciones sociales.

En total, la empresa dedicó 94 páginas a detallar posibles riesgos, una extensión equivalente a casi una cuarta parte de toda la documentación presentada. Como suele ocurrir en los documentos preparados para una salida a bolsa, muchas de estas advertencias están dirigidas a los inversionistas y explican cómo un incidente podría perjudicar la reputación, la marca, las operaciones y los resultados financieros de la compañía.

El otro lado: el potencial benéfico de la IA

Los mismos documentos destacan el potencial de la inteligencia artificial para beneficiar a la humanidad. Según Anthropic, esta tecnología podría acelerar los descubrimientos científicos y contribuir a encontrar tratamientos o curas para enfermedades que afectan a las personas desde hace generaciones, como el cáncer, el alzhéimer, las enfermedades cardíacas, los trastornos genéticos poco frecuentes y las principales enfermedades infecciosas.

Esa promesa es la que sostiene el interés de los inversionistas. La eventual salida a bolsa permitiría a algunos de los actuales accionistas de Anthropic, entre ellos Amazon y Google, vender parte de sus participaciones. Al mismo tiempo, la operación ayudaría a la compañía a obtener nuevos fondos para financiar sus planes de expansión.

¿En qué se invertirían los recursos?

Una parte de esos recursos se destinaría a “inversiones en capacidad de cómputo e infraestructura”, según los documentos. En la práctica, esto podría incluir la construcción o adquisición de centros de datos y la compra de equipos de alto costo necesarios para desarrollar y operar sus sistemas de inteligencia artificial.

La combinación de advertencias severas y ambición de crecimiento plantea una pregunta de fondo para la industria: ¿cómo se equilibra la innovación acelerada con la seguridad de sistemas cuyo comportamiento aún no se comprende del todo? Anthropic no ofrece una respuesta definitiva, pero sí deja constancia de que el debate ya no es teórico.

Fuente: Independent en Español