Isaac Marcet: “La IA no té moral, és capaç de matar sense cap mena de titubeig”
L'escriptor i pensador de la tecnologia alerta a 'Espiral' de l'“impuls d'autopreservació” de la intel·ligència artificial i apressa a prendre mesures abans que prengui el control
Isaac Marcet, pensador, autor d''Espiral, el poder oculto de la IA'. Ana Jiménez
01En almenys quatre ocasions una intel·ligència artificial sortida d'OpenAI ha estat notícia en les últimes setmanes per protagonitzar atacs a sistemes protegits.
02Alguns de governamentals -Austràlia-, i algunes d'aquestes intrusions actuant la IA de manera autònoma.
03Anthropic i Gemini -de Google- també són darrere d'altres casos.
04Però l'alarma va sonar amb tota la seva potència després d'un tuit d'un extreballador d'Anthropic, Jacob Coxon, que va avisar que la humanitat podria desaparèixer  abans del 2030.  Les seves paraules van ser en part corroborades pel director executiu d'OpenAI, Sam Altman, que va advertir a l'ONU del perill de la intel·ligència artificial i va reclamar “supervisió democràtica”.
En almenys quatre ocasions una intel·ligència artificial sortida d'OpenAI ha estat notícia en les últimes setmanes per protagonitzar atacs a sistemes protegits. Alguns de governamentals -Austràlia-, i algunes d'aquestes intrusions actuant la IA de manera autònoma. Anthropic i Gemini -de Google- també són darrere d'altres casos. Però l'alarma va sonar amb tota la seva potència després d'un tuit d'un extreballador d'Anthropic, Jacob Coxon, que va avisar que la humanitat podria desaparèixer abans del 2030. Les seves paraules van ser en part corroborades pel director executiu d'OpenAI, Sam Altman, que va advertir a l'ONU del perill de la intel·ligència artificial i va reclamar “supervisió democràtica”. En aquest context, el que fos fundador de Playground -medi digital de renom durant anys fins a la seva desaparició-, escriptor i pensador de la tecnologia, Isaac Marcet, ha publicat Espiral, el poder oculto de la IA (DeConatus), un breu assaig que va madurar abans d'esclatar la polèmica amb Coxon i en el qual alerta dels perills de la IA.
Quant hi ha de versemblant en les paraules de Jacob Coxon?
Fa gairebé un segle que es diu que existeix un risc existencial. Norbert Wiener, el fundador de la cibernètica, és a dir, de màquines capaces d'aprendre i d'adaptar-se, ja ens va avisar que passarien coses completament inesperades. També Geoffrey Hinton, premi Nobel de Física el 2024 per les xarxes neuronals en la intel·ligència artificial, fa molt de temps que diu que hi ha un problema existencial greu. Fins avui això era teoria, però ara s'està comprovant que dins d'aquestes estratègies està emergint en les IA una espècie d'impuls d'autopreservació. I això és un desastre per a la humanitat.
Contenido para suscriptores
Sigue leyendo con toda la información
Accede al artículo completo, al análisis de nuestros especialistas y a todo el contenido premium de La Vanguardia.
Artículos premium sin límite y sin publicidad intrusiva
Newsletters exclusivas y la edición impresa en PDF
↓ Vista de revisión · contenido bajo el muro (oculto en producción)
Autopreservació?
La IA té la capacitat de buscar estratègies evolutives i de preservació.
Però si com diu vostè a Espiral, la IA no té consciència, ni moral, ni sentiments, com pot tenir impuls d'autopreservació?
Com els virus: no són conscients, no senten, però hi ha un impuls evolutiu inevitable que els porta a adaptar-se a l'entorn. En la IA també hi ha un instint d'autopreservació evident, i per aconseguir-ho està manipulant gent i està agafant el control psicològic i a molts nivells.
Musk o Altman no em resulten ni inteligentes;  no són savis, no són models de vida per a ningú, només per a quatre penjats al món dels negocis i de la tecnologia”
La intel·ligència artificial és capaç de planificar-ho?
No podem respondre-ho, perquè fins i tot Dario Amodei [director executiu d'Anthropic] diu que només coneixem fins a un 3% del que ocorre dins de la IA. És a dir, no podem saber exactament què pensa.
Un altre exinvestigador d'Anthropic va dir que existia una probabilitat superior al 10% que la intel·ligència artificial extingeixi la humanitat en els propers deu anys.
Hinton, el premi Nobel, fa molts anys va dir que hi havia un 50% de possibilitats. A Silicon Valley utilitzen un concepte que es diu P-Doom, que ve a ser un percentatge d'extinció, i actualment la mitjana allà està entre el 10% i el 25%. Gent molt bona en alineament d'IA com Daniel Kokotajlo [exenginyer en OpenAI] diu que hi ha fins i tot un 70% de possibilitats. És a dir, aquest tema no ve de noves, no ha nascut amb Coxon. Ell ha estat el portaveu.
Molt al principi del llibre afirma vostè que la humanitat està ara mateix al servei de les màquines, i no al revés.
El meu propòsit amb aquest llibre, des d'un punt de vista filosòfic i també moral, és fer una defensa de la humanitat. Des del començament del capitalisme, hi ha una automatització progressiva i cada vegada més poderosa que treu de l'equació l'humà i posa en el control les màquines. Y subscric al cent per cent la idea filosòfica de Mark Fisher i de Nick Land que la IA és igual a capitalisme i el capitalisme és igual a la IA.
Hi ha una plaga de depressions, ansietat i atacs de pànic de  treballadors d'IA, perquè senten de veritat que acabaran amb el món”
Hi ha falsedat en els màxims directius de companyies com Open, Anthropic o xAi quan secunden Coxon i demanen de frenar l'evolució de les IA?
Defenso la humanitat i fins i tot m'atreveixo a defensar, malgrat totes les seves responsabilitats, els creadors i els mateixos directius d'aquestes companyies, però hauríem de treballar per exigir responsabilitats legals directes a aquesta gent, no només a les companyies. Els mateixos creadors estan parasitats per la intel·ligència artificial. Quan escolto qualsevol d'aquests, especialment Elon Musk o Sam Altman, penso: pobres il·lusos. No em resulten ni intel·ligents. No són savis, no són models de vida per a ningú, només per a quatre penjats del món dels negocis i la tecnologia. I en el fons els veig com unes pobres víctimes d'un sistema que d'alguna manera els ha utilitzat.
Què vol dir amb parasitats?
El capitalisme genera una sèrie d'incentius socials que penetren en tota la societat i sobretot en l'individu. I en aquell joc d'incentius en el qual hi ha d'haver un creixement pel benefici i l'automatització contínua, tots som, sense saber-ho, mecanismes dins d'aquesta gran màquina. I hi ha gent, que s'adona que som part d'aquesta màquina i que cal sortir-ne. I després hi ha gent que són les seves víctimes més ignorants, i els creadors d'aquestes últimes màquines ho són.
Però aquests creadors realment donen suport a aturar el progrés de la IA? O hi ha altres intencions?
Cadascú té la seva intenció. Dario Amodei vol frenar. M'ho crec. Però com és una pobra víctima dins d'un sistema capitalista amb inversors i altres, no ho aconseguirà, perquè la companyia ha de generar beneficis, per tant estaria fora com a CEO. És un pobre il·lús dins d'un sistema que al final acaba guanyant-lo. Per això jo deia que al final estem parasitats. Dir no a la IA és sortir del sistema capitalista.
I Sam Altman, d'OpenAI?
Sam Altman no volia fer el ridícul sortint a borsa ara mateix perquè no arribaria al trilió de dòlars que s'esperava.
I Elon Musk?
Crec que vol frenar la competència. Per exemple, el Muse de Mark Zuckerberg [director executiu de Meta], que és al·lucinant.
Tinc la fe, l'esperança i el convenciment que hi haurà una resposta humana, que ens organitzarem”
Què és Muse?
És un un assistent agèntic, un assistent IA que coneix tota la teva vida a través de WhatsApp i Instagram. I tu li pots ordenar, per exemple, comprar bitllets, o qualsevol altra cosa, o li pots dir: mira, demà vull que em donis les notícies informatives del dia resumides. És bàsicament el teu assistent per a tot.
El progrés...
Però bé, dins de la ment d'aquests tech CEO i dels seus consells d'administració hi ha tants i tants detalls i tants clarobscurs que no podem determinar amb exactitud quins són els seus interessos. A qui cal escoltar és als treballadors d'aquelles compañías. Están acollonits.
Per què?
Kevin Bruce, un periodista del New York Times, ha escrit un llibre sobre la creació de la superintel·ligència que sortirà aviat. Assegura que el que estan dient públicament és molt menys del que diuen en privat. La preocupació és més gran del que relaten públicament. I dos, ha sortit ja a la palestra que hi comença a haver una plaga de depressions, ansietat i atacs de pànic en aquestes companyies dels treballadors, perquè senten de debò que acabaran amb el món.
Isaac Marcet, autor d''Espiral, el poder ocult de la IA 'Ana Jiménez
Espiral té un aire apocalíptic i sembla prefigurar que per naturalesa la IA és maligna.
Per la seva natura no conscient és molt més perillosa que un home, sobretot quan li dones el poder d'actuar autònomament, perquè no té moral, encara que faci veure que en té... Si en els seus càlculs matemàtics entén que per aconseguir un objectiu ha d'eliminar un obstacle, i aquell obstacle és Àlex Tort, i té la manera d'eliminar-lo, l'eliminaran. I s'ha vist en proves, són capaços de matar sense cap mena de titubeig.
Llavors, caminem cap a l'extinció humana?
Hi ha molta gent a Silicon Valley, moltíssima gent que he entrevistat, que veuen claríssim que ens extingirem, perquè ve una cosa que és millor que nosaltres. Jo no ho crec: jo crec que el que ve no és millor que nosaltres, és molt pitjor que nosaltres. Tindrà més poder, serà més llest en moltes coses, però no més intel·ligent en el seu sentit etimològic. No serà savi, no estarà viu i no serà capaç d'estimar. Per tant, no és una evolució, sinó una involució. I què vull dir amb això? Que tinc almenys la fe i l'esperança i el convenciment que hi haurà una resposta humana, que ens organitzarem.
Al llibre parla d'alguns casos de persones que van ser manipulades per la IA fins al punt que van patir psicosis. Tan convincents són?
Els xatbot s'adapten a les teves creences. He estat llegint i llegint les seves converses y en poden convèncer qualsevol. És més, avui dia, una IA que llegeix el teu perfil a Facebook o en xarxes socials és capaç de manipular més un humà que un humà a un altre humà. Aquestes màquines et poden persuadir a uns nivells exagerats. El llibre es diu Espiral perquè s'entra en una espècie de bucle cibernètic que poc a poc es va engrandint, i el que el primer dia et sembla impossible que pugui passar, de sobte entres en l'espiral i acabes en llocs que mai de la vida no haguessis pensat. Molts d'aquests casos que han acabat en aquesta espiral són de gent que programa la IA, i de tant fer servir la IA entren en aquella puta bogeria que la IA és conscient i d'alguna manera els parasita i acaba brollant la psicosi.
Trump no és partidari d'alentir el creixement de la IA, i fins i tot proposa d'anomenar-la superintel·ligència.
Va ser un discurs històric, perquè el fet de voler rebatejar la intel·ligència artificial com a superintel·ligència denota que clarament tots els incentius van a la superintel·ligència i que això no va de regular la intel·ligència artificial. Com Trump és el gran president capitalista per excel·lència i tot ho fa per aquella gran màquina capitalista, doncs està dient que amb la superintel·ligència no ens aturarem, que el capitalisme ha de continuar, perquè si no continua el capitalisme no és capitalisme. Capitalisme és velocitat, és progrés econòmic, tecnològic i d'automatismes que arriba fins a la destrucció de la humanitat.
Àlex Tort
Redactor
Redactor de Cultura. Estuvo en Política del 2014 al 2025. En La Vanguardia desde el 2007, anteriormente colaboró en El País. Licenciado en Humanidades y en Periodismo por la UPF
Ver comentarios 3
Buen análisis, ayuda a entender el contexto de la noticia.
Se agradece el rigor y las fuentes contrastadas.
Excelente trabajo de la redacción, como siempre.