Dario Amodei, CEO de Anthropic, ha declarado públicamente que la inteligencia artificial podría ser "una de las tecnologías más transformadoras y potencialmente peligrosas de la historia de la humanidad". En la misma entrevista describió a Claude como "el producto de IA más seguro del mercado". Y luego siguió construyéndolo.
Esa paradoja —creer sinceramente en el peligro y seguir adelante igualmente— define a Anthropic de una manera que no define a sus competidores. OpenAI habla de seguridad pero su discurso corporativo enfatiza el "beneficio para la humanidad" a través del progreso. Google DeepMind tiene un historial de investigación en seguridad sólido pero está integrado en la estructura de incentivos de una empresa de publicidad. Meta simplemente no pretende que su motivación principal sea la seguridad.
La lógica del "si no lo hacemos nosotros"
El argumento más común que esgrimen los investigadores de seguridad que trabajan en laboratorios de IA de frontera es lo que podríamos llamar la tesis del "actor responsable en la carrera": si los sistemas más avanzados van a existir de todas formas —porque China, porque OpenAI, porque la presión del capital— es mejor que los construyan personas que se tomen en serio la alineación.
Es una posición filosóficamente respetable. También es la misma lógica que usaron los físicos nucleares en Los Álamos. Y el resultado de Los Álamos fue que existieron las bombas atómicas, que las construyeron actores menos cuidadosos, y que el mundo lleva ochenta años gestionando ese riesgo existencial con un éxito que podríamos calificar como "accidentalmente bueno".
Constitutional AI y los límites del alineamiento técnico
La contribución técnica más interesante de Anthropic al campo es Constitutional AI (CAI): una técnica en la que el modelo es entrenado para autoevaluar sus respuestas contra un conjunto de principios, reduciendo la necesidad de retroalimentación humana en el proceso de RLHF. Es elegante y genuinamente útil.
Pero la constitución que define esos principios la escribe un equipo de personas con sus propios sesgos, valores y puntos ciegos. La pregunta de a quién le corresponde escribir la constitución ética de los sistemas de IA que usarán mil millones de personas no tiene respuesta técnica. Es una pregunta política, y Anthropic —como todos los laboratorios líderes— la responde unilateralmente.
Por qué importa de todas formas
A pesar de mis reservas, creo que Anthropic hace algo valioso: mantiene vivo en el discurso público la posibilidad de que los riesgos de la IA sean reales y merrezcan atención seria. En un ecosistema dominado por el entusiasmo desenfrenado y el optimismo de producto, esa voz tiene valor.
La paradoja no se resuelve. Pero nombrarla con honestidad es mejor que ignorarla.
Comentarios
Deja tu comentario
No hay comentarios aprobados todavía. ¡Sé el primero en comentar!