Explora La Vanguardia
Apariencia
A
Contraste
Al MinutoInternacionalPolíticaOpiniónSociedadDeportesEconomíaCiudadesPopCulturaSucesosLa Contra
Suscríbete
Cultura Entrevista

Isaac Marcet: “La IA no tiene moral, es capaz de matar sin ningún tipo de titubeo”

El escritor y pensador de la tecnología alerta en 'Espiral' del “impulso de autopreservación” de la inteligencia artificial y urge a tomar medidas antes de que tome el control

Isaac Marcet: “La IA no tiene moral, es capaz de matar sin ningún tipo de titubeo”
Isaac Marcet, pensador, autor de 'Espiral, el poder oculto de la IA. 'Ana Jiménez
Escucha este artículo
0:00 7:42
Actualizado hace 3 d Contrastado por la redacción Cómo lo hemos informado

Esta información ha sido elaborada por la redacción de La Vanguardia a partir de fuentes propias y verificadas.

Sugerir una corrección Política de correcciones de La Vanguardia
4 puntos clave Ver
  • 01Al menos hasta en cuatro ocasiones una inteligencia artificial salida de OpenAI ha sido noticia en las últimas semanas por protagonizar ataques a sistemas protegidos.
  • 02Algunos gubernamentales -Austràlia-, y algunas de estas intrusiones actuando la IA de manera autónoma.
  • 03Anthropic y Gemini -de Google- también están detrás de otros casos.
  • 04Pero la alarma sonó con toda su potencia tras un tuit de un ex trabajador de Anthropic, Jacob Coxon, que avisó de que la humanidad podría desaparecer  antes del 2030.  Sus palabras fueron en parte corroboradas por el director ejecutivo de OpenAI, Sam Altman, que advirtió en la ONU del peligro de la inteligencia artificial y reclamó “supervisión democrática”.

Al menos hasta en cuatro ocasiones una inteligencia artificial salida de OpenAI ha sido noticia en las últimas semanas por protagonizar ataques a sistemas protegidos. Algunos gubernamentales -Austràlia-, y algunas de estas intrusiones actuando la IA de manera autónoma. Anthropic y Gemini -de Google- también están detrás de otros casos. Pero la alarma sonó con toda su potencia tras un tuit de un ex trabajador de Anthropic, Jacob Coxon, que avisó de que la humanidad podría desaparecer antes del 2030.  Sus palabras fueron en parte corroboradas por el director ejecutivo de OpenAI, Sam Altman, que advirtió en la ONU del peligro de la inteligencia artificial y reclamó “supervisión democrática”. En este contexto, el que fuera fundador de Playground -medio digital de renombre durante años hasta su desaparición-, escritor y pensador de la tecnología, Isaac Marcet, ha publicado Espiral, el poder oculto de la IA (DeConatus), un breve ensayo que maduró antes de estallar la polémica con Coxon, y en el que alerta de los peligros de la IA. 

¿Cuánto hay de verosímil en las palabras de Jacob Coxon?

Que existe un riesgo existencial se lleva diciendo casi desde hace un siglo. Norbert Wiener, el fundador de la cibernética, es decir, de máquinas capaces de aprender y de adaptarse, ya nos avisó que ocurrirían cosas completamente inesperadas. También Geoffrey Hinton, premio Nobel de Física en el 2024 por las redes neuronales en la inteligencia artificial, lleva muchísimo tiempo diciendo que existe un problema existencial grave. Hasta hoy esto era teoría, pero ahora se está comprobando que dentro de estas estrategias está emergiendo en las IA una especie de impulso de autopreservación. Y esto es un desastre para la humanidad.

Sigue leyendo con toda la información

Accede al artículo completo, al análisis de nuestros especialistas y a todo el contenido premium de La Vanguardia.

  • Artículos premium sin límite y sin publicidad intrusiva
  • Newsletters exclusivas y la edición impresa en PDF
  • Cancela cuando quieras
Suscríbete por 1€/mes
↓ Vista de revisión · contenido bajo el muro (oculto en producción)

¿Autopreservación?

La IA tiene la capacidad de buscar estrategias evolutivas y de preservación.

Pero si como dice usted en Espiral, la IA no tiene consciencia, ni moral, ni sentimientos, ¿cómo puede tener impulso de autopreservación?

Como los virus: no son conscientes, no sienten, pero hay un impulso evolutivo inevitable que les lleva a adaptarse al entorno.  En la IA también hay un instinto de autopreservación evidente, y para conseguirlo está manipulando a gente y está cogiendo el control psicológico y a muchos niveles.

Musk o Altman no me resultan ni inteligentes;  no son sabios, no son modelos de vida para nadie, solamente para cuatro colgados en el mundo de los negocios y de la tecnología”

¿La inteligencia artificial es capaz de planificarlo?

No podemos responderlo, porque incluso Dario Amodei [director ejecutivo de Anthropic] dice que solamente conocemos hasta un 3% de lo que ocurre dentro de la IA. Es decir, no podemos saber exactamente qué piensa.

Otro ex investigador de Anthropic dijo que existía una probabilidad superior al 10% de que la inteligencia artificial extinga a la humanidad en los próximos diez años.

Hinton, el premio Nobel, hace muchos años dijo que había un 50% de posibilidades. En Silicon Valley usan un concepto que se llama P-Doom, que viene a ser un porcentaje de extinción, y actualmente la media ahí está entre el 10% y el 25%. Gente muy buena en alineamiento de IA como Daniel Kokotajlo [ex ingeniero en OpenAI] dice que hay hasta un 70% de posibilidades. Es decir, este tema no viene de nuevas, no ha nacido con Coxon. Él ha sido el vocero.

Muy al principio del libro afirma usted que la humanidad está ahora mismo al servicio de las máquinas, y no al revés.

Mi propósito con este libro, desde un punto de vista filosófico y también moral, es hacer una defensa de la humanidad. Desde el comienzo del capitalismo, hay una automatización progresiva y cada vez más poderosa que saca de la ecuación al humano y pone en el control a las máquinas. Y suscribo al cien por cien la idea filosófica de Mark Fisher y de Nick Land de que la IA es igual a capitalismo y el capitalismo es igual a la IA. 

Hay una plaga de depresiones, ansiedad y ataques de pánico de  trabajadores de IA, porque sienten de verdad que van a acabar con el mundo”

¿Hay falsedad en los máximos directivos de compañías como Open, Anthropic o xAi cuando secundan a Coxon y piden frenar la evolución de las IA?

Defiendo a la humanidad e incluso me atrevo a defender, pese a todas sus responsabilidades, a los creadores y a los propios directivos de estas compañías, pero deberíamos trabajar para exigir responsabilidades legales directas a esta gente, no solamente a las compañías. Los propios creadores están parasitados por la inteligencia artificial. Cuando escucho a cualquiera de estos, especialmente a Elon Musk o Sam Altman pienso: pobres ilusos. No me resultan ni inteligentes. No son sabios, no son modelos de vida para nadie, solamente para cuatro colgados en el mundo de los negocios y de la tecnología. Y en el fondo los veo como unas pobres víctimas de un sistema que de alguna manera los ha utilizado.

¿Qué quiere decir con parasitados?

El capitalismo genera una serie de incentivos sociales que penetran en toda la sociedad y sobre todo en el individuo. Y en ese juego de incentivos en el que tiene que haber un crecimiento por el beneficio y la automatización continua, todos somos, sin saberlo, mecanismos dentro de esta gran máquina. Y hay gente, que se da cuenta de que somos parte de esta máquina y que hay que salir de ella. Y luego hay gente que son sus víctimas más ignorantes, y los creadores de estas últimas máquinas lo son.

¿Pero estos creadores realmente apoyan detener el progreso de la IA? ¿O hay otras intenciones?

Cada cual tiene su intención. Dario Amodei quiere frenar. Me lo creo. Pero como es una pobre víctima dentro de un sistema capitalista con inversores y demás, no va a conseguirlo, porque la compañía tiene que generar beneficios, por tanto estaría fuera como CEO. Es un pobre iluso dentro de un sistema que al final va a acabar ganándole. Por eso yo decía que al final estamos parasitados. Decir no a la IA es salir del sistema capitalista.

¿Y Sam Altman, de OpenAI?

Sam Altman no quería hacer el ridículo saliendo a bolsa ahora mismo porque no llegaría al trillón de dólares que se esperaba.

¿Y Elon Musk?

Creo que quiere frenar a la competencia. Por ejemplo, el Muse de Mark Zuckerberg [director ejecutivo de Meta], que es alucinante.

Tengo la fe, la esperanza y el convencimiento de que va a haber una respuesta humana, que nos vamos a organizar”

¿Qué es Muse?

Es un un asistente agéntico, un asistente IA que conoce toda tu vida a través de WhatsApp e Instagram. Y tú le puedes ordenar, por ejemplo, comprar billetes, o cualquier otra cosa, o le puedes decir: mira, mañana quiero que me des las noticias informativas del día resumidas. Es básicamente tu asistente para todo.

El progreso...

Pero bueno, dentro de la mente de estos tech CEO y de sus consejos de administración hay tantos y tantos detalles y tantos claroscuros que no podemos determinar con exactitud cuáles son sus intereses. A quienes hay que escuchar es a los trabajadores de esas compañías. Están acojonados. 

¿Por qué?

Kevin Bruce, un periodista del New York Times, ha escrito un libro sobre la creación de la superinteligencia que va a salir pronto. Asegura que lo que están diciendo públicamente es mucho menos de lo que dicen en privado . La preocupación es mayor de lo que relatan públicamente. Y dos, ha salido ya a la palestra que empieza a haber una plaga de depresiones, ansiedad y ataques de pánico en estas compañías de los trabajadores porque sienten de verdad que van a acabar con el mundo. 

Isaac Marcet, autor de 'Espiral, el poder oculto de la IA '
Isaac Marcet, autor de 'Espiral, el poder oculto de la IA 'Ana Jiménez

Espiral tiene un aire apocalíptico y parece prefigurar que por naturaleza la IA es maligna.

Por su naturaleza no consciente es mucho más peligrosa que un hombre, sobre todo cuando le das el poder de actuar autónomamente, porque no tiene moral, aunque haga ver que sí tiene... Si en sus cálculos matemáticos entiende que para conseguir un objetivo tiene que eliminar un obstáculo, y ese obstáculo es Àlex Tort, y tiene la forma de eliminarlo, lo va a eliminar. Y se ha visto en pruebas, las IA son capaces de matar sin ningún tipo de titubeo.

Entonces, ¿caminamos hacia la extinción humana?

Hay mucha gente en Silicon Valley, muchísima gente que he entrevistado, que ven clarísimo que nos vamos a extinguir, porque viene algo que es mejor que nosotros. Yo no lo creo: yo creo que lo que viene no es mejor que nosotros, es mucho peor que nosotros. Tendrá más poder, será más listo en muchas cosas, pero no más inteligente en su sentido etimológico. No será sabio, no estará vivo y no será capaz de amar. Por tanto, no es una evolución, sino una involución. ¿Y qué quiero decir con esto? Que tengo al menos la fe y la esperanza y el convencimiento de que va a haber una respuesta humana, que nos vamos a organizar.

En el libro habla de algunos casos de personas que fueron manipuladas por la IA hasta tal punto que padecieron psicosis. ¿Tan convincentes son?

Los chatbot se adaptan a tus creencias. He estado leyendo y leyendo sus conversaciones y  pueden convencer a cualquiera. Es más, a día de hoy, una IA que lee tu perfil en Facebook o en redes sociales es capaz de manipular más a un humano que un humano a otro humano. Estas máquinas te pueden persuadir a unos niveles exagerados. El libro se llama Espiral porque se entra en una especie de bucle cibernético que poco a poco se va agrandando, y lo que el primer día te parece imposible que pueda ocurrir, de repente entras en la espiral y acabas en lugares que nunca jamás hubieras pensado. Muchos de estos casos que han terminado en esta espiral son gente que programa la IA, y de tanto utilizar la IA entran en esa puta locura de que la IA es consciente y de alguna manera los parasita y acaba brotando la psicosis.

Trump no es partidario de ralentizar el crecimiento de la IA, e incluso propone llamarla superinteligencia.

Fue un discurso histórico, porque el hecho de querer renombrar la inteligencia artificial como superinteligencia denota que claramente todos los incentivos van a la superinteligencia y que esto no va de regular la inteligencia artificial. Como Trump es el gran presidente capitalista por excelencia y todo lo hace por esa gran máquina capitalista, pues está diciendo que con la superinteligencia no vamos a parar, que el capitalismo tiene que seguir, porque si no sigue el capitalismo no es capitalismo. Capitalismo es velocidad, es progreso económico, tecnológico y de automatismos que llega hasta la destrucción de la humanidad.

Àlex Tort
Àlex Tort
Redactor

Redactor de Cultura. Estuvo en Política del 2014 al 2025. En La Vanguardia desde el 2007, anteriormente colaboró en El País. Licenciado en Humanidades y en Periodismo por la UPF

Ver comentarios 3
Las normas de la comunidad aplican.
ML
Marta L.Suscriptorhace 12 min

Buen análisis, ayuda a entender el contexto de la noticia.

JP
Joan P.Suscriptorhace 28 min

Se agradece el rigor y las fuentes contrastadas.

RV
Roberto V.hace 1 h

Excelente trabajo de la redacción, como siempre.