Breaking
USNFL Week 1 Prediction Markets Highlight Rams vs. 49ers Game in AustraliaRUIn Shebekino, a Ukrainian Armed Forces drone hit a car: a man was killed, a woman was injuredTRFire on Milan-Prague plane, passengers were evacuated immediatelyINTLUPS Worker Fatally Struck by Vehicle Days Before Retirement After 44 Years of ServiceFRSuspected feminicide near Toulouse: a woman shot dead, her husband seriously injuredDEFire in an apartment building in Lörrach: Several people rescued, extensive property damageRUThe fire in the warehouse in Navlya has been localized, there are no casualtiesTR109 thousand 300 synthetic pharmaceutical pills were seized in Istanbul, 1 suspect was arrestedINTLOracle shares rise 7% after strong quarterly resultsARPSV Eindhoven and Shakhtar draw 1-1 in the opening of the Champions League, and Fenerbahce and Roma as wellUSNFL Week 1 Prediction Markets Highlight Rams vs. 49ers Game in AustraliaRUIn Shebekino, a Ukrainian Armed Forces drone hit a car: a man was killed, a woman was injuredTRFire on Milan-Prague plane, passengers were evacuated immediatelyINTLUPS Worker Fatally Struck by Vehicle Days Before Retirement After 44 Years of ServiceFRSuspected feminicide near Toulouse: a woman shot dead, her husband seriously injuredDEFire in an apartment building in Lörrach: Several people rescued, extensive property damageRUThe fire in the warehouse in Navlya has been localized, there are no casualtiesTR109 thousand 300 synthetic pharmaceutical pills were seized in Istanbul, 1 suspect was arrestedINTLOracle shares rise 7% after strong quarterly resultsARPSV Eindhoven and Shakhtar draw 1-1 in the opening of the Champions League, and Fenerbahce and Roma as well
BackAnthropic bloquea cinco intentos de usar su IA para desarrollar armas biológicas y convencionales
Anthropic bloquea cinco intentos de usar su IA para desarrollar armas biológicas y convencionales
Developing
El País Tecnología1 hour agoTech2 min readSpainView translation

Anthropic bloquea cinco intentos de usar su IA para desarrollar armas biológicas y convencionales

Quick Look

Anthropic publica un informe revelando que bloqueó cinco casos de uso malicioso de sus modelos de IA para desarrollar armas biológicas y convencionales, incluyendo intentos de crear virus más peligrosos y misiles guiados, realizados por actores estatales, mafiosos e individuos usando métodos oscuros para acceder a Claude.

AI-generated summary

Why It Matters

Anthropic ha publicado previamente tres informes similares sobre usos peligrosos de su IA. Este es el cuarto, enfocado en casos ocurridos este año usando modelos anteriores a Fable o Mythos, que tienen salvaguardas más sofisticadas.

Font size

Anthropic ha publicado un nuevo informe donde explica que ha bloqueado cinco casos en los que se quisieron usar de sus modelos de inteligencia artificial (IA) para desarrollos de laboratorio que podrían haber llevado a la fabricación de armas biológicas. “Estos ejemplos ilustran las tareas para las que se utilizan nuestros modelos, y los juicios que debemos tomar al evaluar si un determinado uso biológico es peligroso”, escribe la compañía.

El informe incluye otros usos peligrosos de la IA, como la ciberseguridad, las armas convencionales y operaciones de influencia. Es el cuarto texto de estas características que publica la compañía. En este reporte, todos los ejemplos sucedieron este año y se realizaron usando modelos anteriores, menos potentes que el más nuevo de la familia Fable o Mythos, que cuenta con salvaguardas más sofisticadas: en principio, no permite que se realice un uso malicioso con facilidad. Los actores que estuvieron detrás de estas operaciones van desde grupos con apoyo gubernamental a bandas mafiosas o individuos con motivaciones políticas.

Uno de los usos de Claude para armas convencionales es en el norte de Yemen, que apunta a algún grupo terrorista que pretendía, según el informe, usar la IA para lograr tres tipos de armas: “Un cohete guiado que usaba como ordenador de vuelo un chip de teléfono móvil” y dos tipos de misiles, uno con un alcance de más de 2.000 kilómetros. El uso de estas herramientas por parte de grupos terroristas es uno de los más citados como peligro inminente.

Las armas biológicas son de todos modos el mayor peligro de los que incluye el informe de Anthropic. En estos casos, la compañía no cita los autores de las consultas a Claude, en parte porque no sabe si su uso es realmente malicioso. Estas situaciones se dieron en países donde Anthropic no presta sus servicios, por lo que los actores accedían al programa Claude a través de métodos oscuros, como revendedores o cuentas falsas.

En uno de los ejemplos, Anthropic decidió bloquear las consultas porque se hacían desde un instituto de investigación militar. Esas consultas eran de un científico que pedía ayuda a Claude para escribir una petición de becas para investigar el virus chikungunya, una enfermedad transmitida por mosquitos. Este tipo de investigación puede ser legítima en el desarrollo de vacunas, por ejemplo, pero también puede crear versiones superdesarrolladas de los patógenos. En este caso, el científico quería diseñar mutaciones en el virus que lo hicieran más dañino a medida que infectara repetidamente a animales vivos. “Este tipo de investigación podría emplearse para desarrollar mejores vacunas y tratamientos contra el virus, pero también podría utilizarse para hacer el patógeno más peligroso”, deduce el informe.

El resto de casos incluyen investigaciones para hacer más contagiosa la gripe aviar, para analizar el virus de la viruela más resistente al sistema inmune o la creación de un catálogo de toxinas de animales venenosos para desarrollar nuevos fármacos o posibles armas.

La publicación del informe se produce un día después de que un joven empleado de Anthropic dimitiera y alertara públicamente en la red social X del peligro de extinción civilizatoria para la humanidad que puede provocar la IA en los próximos años. Una de las opciones es, precisamente, este uso malicioso por parte de humanos.

Este tipo de informe que ha presentado Anthropic es similar al que Facebook y otras redes sociales publicaban hace unos años sobre la circulación de operaciones encubiertas o información peligrosa en sus plataformas por parte de actores malintencionados que pretendían socavar instituciones y procesos democráticos. Con la IA, el daño potencial sería mucho mayor.

What to Watch

AI outlook — possibilities, not facts

  • Anthropic mejorará los mecanismos de detección de uso malicioso en sus próximos modelos para bloquear accesos mediante cuentas falsas o revendedores.

    Likely · Within months

Open Questions

  • ¿Cuántos intentos totales de uso malicioso ha detectado Anthropic?
  • ¿Qué medidas específicas tienen los modelos Fable y Mythos para bloquear estos usos?
  • ¿Cómo planea Anthropic mejorar la detección de accesos mediante cuentas falsas o revendedores?

Related Topics

This article was originally published by El País Tecnología.

Related Stories

More on this topicanthropic