Apenas un mes después de que Jacob Coxon, investigador especializado en entrenar nuevos modelos de IA, abandonase Anthropic por temor a que el sector no sea capaz de controlar la tecnología que está creando, una nueva dimisión ha puesto el foco sobre las tecnológicas y su enfoque en el crecimiento de esta tecnología. En esta ocasión se trata de David Robinson, que dirigía el trabajo de transparencia en el equipo de seguridad de OpenAI.
Robinson ha explicado sus motivos en una carta abierta publicada en The Atlantic y, si bien tal vez no es tan catastrofista como Coxon, denuncia que el camino actual de la industria es "inaceptable".
En una reflexión titulada "Dejé OpenAI porque su cultura empresarial está rota" (aunque el broken que utiliza Robinson también se puede entender como "profundamente deteriorada" o, sencillamente, como que no funciona), el directivo ironiza con el cliché que empieza a suponer dejar una empresa de IA. "Me uno al desfile de antiguos compañeros, tanto de OpenAI como de otras empresas líderes del sector, que han decidido que el camino actual es inaceptable", detalla
Robinson explica que, al igual que otros antes que él, opina que "las compañías que desarrollan esta tecnología no están siendo ni de lejos lo suficientemente cuidadosas". El matiz está en que, en su caso, cree que el problema va más allá de normativa o legislación, sino de la propia cultura empresarial.
"El futuro depende de una sabiduría de la que Silicon Valley carece", llega a afirmar el antiguo directivo. Se refiere al conocimiento necesario para entender "cómo gestionar tecnologías peligrosas", pero también, "más fundamentalmente", sabiduría "sobre lo que significa cuidar de las personas". Y aquí carga contra el sector, especialmente los directivos tecnológicos, pues cree que el contexto actual "exige un grado de humildad que no resulta natural para quienes han triunfado gracias a una confianza extrema en sí mismos".
En este sentido, Robinson recuerda que para alcanzar los logros tecnológicos de los últimos años, ha sido necesario pagar "un coste enorme", con ritmos de trabajo inasumibles. "El enfoque de seguridad que surge de una cultura así parte de un optimismo sin trabas respecto a la capacidad de resolver los problemas a medida que aparezcan", indica. La propia OpenAI, ilustra, ha ido resolviendo problemas a medida que los detectaba, pero este enfoque "garantiza fallos periódicos" y, además, "la magnitud de esos fallos aumenta a medida que los sistemas adquieren más capacidades". Aquí Robinson menciona el famoso incidente de Hugging Face, cuando una serie de agentes hackearon de forma autónoma la plataforma. La empresa, detalla, respondió mejorando la seguridad. "Sin embargo, incluso después de esos cambios, OpenAI informó de que sus controles de seguridad volvieron a fallar cuando un modelo en entrenamiento sorteó las restricciones de acceso a internet: un sistema de monitorización alertó al personal humano, pero no apagó automáticamente el modelo como debía haber hecho", expone.
Robinson no señala únicamente a su antigua empresa. Anthropic tuvo un caso similar, por ejemplo, pero el investigador cree que el problema es que "este tipo de errores son habituales en la industria, dada la rapidez y flexibilidad con las que trabaja la gente". "Un entorno en el que pueden ocurrir cosas así no es un lugar adecuado para desarrollar mentes artificiales que podrían llegar a ser más inteligentes que nosotros y que quizá no hagan lo que queremos que hagan", insiste antes de advertir que "las personas no estarán seguras si dependemos de actos heroicos individuales para resolver los problemas una vez ocurridos".
Con todo, Robinson reconoce que "esta tecnología puede ser útil y valiosa" y que sus antiguos compañeros "son inteligentes, trabajan duro y tratan de tomar buenas decisiones", una visión algo más optimista que la de Coxon. En cualquier caso, considera que se necesitan con urgencia dos cambios. Primero, "las empresas de IA deben apoyarse más en la experiencia en seguridad que ya existe en otros sectores". Por otro lado, cree que antes de crear "sistemas significativamente más capaces que los actuales", necesitamos garantizar que los modelos más avanzados y sus sucesores "tomarán decisiones seguras cuando no estemos observándolos". El sector, insiste, debería funcionar como lo hacen las centrales nucleares o los aeropuertos de gran actividad, "con capas de redundancia y una planificación cuidadosa y laboriosa, de forma que los errores humanos ocasionales e inevitables no abran la puerta al desastre". Y ahora mismo, "las empresas de IA no saben cómo hacerlo, pero otras personas sí".
