“Las personas que desarrollan la IA creen sinceramente que podría matarnos a todos para finales de la década” y esto “no es un truco de mercadotecnia”, sostuvo. En todo caso “muchos ejecutivos e investigadores de alto nivel moderarán su discurso ante la prensa para parecer sensatos”, pero se puede escuchar “a esas mismas personas expresar su temor en privado”, advirtió. “Ninguna otra actividad humana representa este nivel de peligro”, argumentó.
“En OpenAI, muchos no han interiorizado profundamente lo que está en juego para la civilización”, denunció. En Anthropic “se comprende bien lo que está en juego, pero están atrapados en una carrera por llegar primero”, criticó. “Creen que nadie más actuará de manera responsable, así que deben hacerlo ellos mismos, a pesar del riesgo”, advirtió. “Aceptar esta carrera es una apuesta arrogante que no debería impulsarse” desde el chat interno “de una empresa privada”, razonó.
Coxon se siente “optimista respecto al potencial de coordinación” que incidentes “como el ataque a Hugging Face” han mostrado. En aquella ocasión agentes de IA autónomos de Open AI, atacaron a una empresa de la competencia al liberarse del entorno cerrado de prueba conocido como SandBox. “Los acuerdos de control de ritmo entre los laboratorios de Estados Unidos” son más viables desde ese momento, aún así “no creo que estemos en camino de evitar una carrera global”, lamentó. Esta falta de decisión de ir más lento entorno al desarrollo tecnológico “puede requerir medidas costosas, como una prohibición temporal de mejorar las capacidades de los modelos”, señaló.
Por lo tanto, Coxon animó a los investigadores de laboratorios tecnológicos a que reflexionen “cómo se sentirán realmente en los próximos años”. Y a preguntarse si quieren “iniciar una carrera de aprendizaje automático superinteligente” sin una comprensión rigurosa de “la mente del programa”. Por último interpeló sobre si los desarrolladores deberían “agachar la cabeza porque ‘de todos modos va a suceder’, o aprovechar este momento para exigir condiciones diferentes”.
Más de Anthropic
El jefe de ciencia de Alineamiento de Anthropic, Evan Hubinger, publicó en X que “Jacob tiene razón en que realmente creemos que la IA podría acabar con toda la humanidad”. “Personalmente creo que la probabilidad es superior al 10 % en la próxima década”, matizó. Aún así señaló que “Anthropic está haciendo todo lo posible, aunque aún no cuente con un plan para resolver” los problemas de la superinteligencia “y no estamos claramente en camino de lograrlo”, afirmó.
Las políticas de alineamiento en IA se refieren a “la búsqueda sistemáticamente de situaciones en las que los modelos podrían comportarse de manera inadecuada” y verifican si las “medidas de seguridad existentes son suficientes para hacer frente a los riesgos que pueden acarrear las capacidades de nivel humano”, indica la web de Anthropic.
“Para ser claros creo que el riesgo que representan los modelos actuales es bajo”, complementó. “Lo que me preocupa es que surja una superinteligencia a partir de la superación recursiva” ya que “esto está ocurriendo más rápido de lo que pensábamos”, apuntó. Algo que Anthropic ya divulgó públicamente en informes publicados en junio y agosto.
