La carrera per la intel·ligència artificial ha arribat a un punt de no retorn que ningú podia preveure. Les grans empreses del sector s’han llançat a una competició frenètica per la supremacia tecnològica, escalant els seus models sense pausa.
Però el que ningú esperava era que l’advertència més clara, la que ens gela la sang i ens fa preguntar “què estem fent?”, vingués des de dins mateix d’un dels gegants. Un dels arquitectes d’aquesta revolució ara ens posa en alerta màxima sobre els perills ocults d’aquesta cursa sense fi.
Estem parlant de Jakub Pachocki, ni més ni menys que el científic en cap d’OpenAI. Després del llançament del seu darrer model d’IA, ha trencat el silenci amb un assaig que fa posar els pèls de punta. (Sí, nosaltres també al·lucinem amb la urgència d’aquest missatge tan directe).
La setmana passada, OpenAI va presentar GPT-6 Astra, el seu model públic més potent fins ara. Això va anar en paral·lel al llançament de Fable 5.1 d’Anthropic, demostrant que les dues empreses estan immerses en un joc del gat i el ratolí, un “i jo més” constant. Pachocki va publicar els seus pensaments al blog de l’empresa només tres dies després d’aquesta revelació, un temps molt curt que denota la gravetat de la situació.
L’origen de la seva profunda preocupació es remunta al 2023. En aquell moment, ja van comprendre que podien escalar l’entrenament de models de raonament fins a un punt inèdit. La conclusió va ser alarmant: en aquesta mateixa generació, podríem veure màquines més intel·ligents que els humans. Pot semblar exagerat, però la realitat ja s’està acostant perillosament.
Aquests nous sistemes tenen una capacitat impressionant, i aquí rau part del secret del seu ràpid avanç: poden auto-millorar-se. Això vol dir que la IA es reprograma per impulsar de forma autònoma el seu propi desenvolupament. És un bucle de perfeccionament additiu que accelera tot el procés a una velocitat vertiginosa, un cicle sense precedents que escapa a la lògica de la creació humana tradicional.
La IA ja no és dissenyada per nosaltres, sinó “cultivada” per algoritmes. Els seus propis creadors ja no la comprenen del tot. Aquí rau el perill secret i la gran incògnita.
Pachocki adverteix, amb una claredat desarmant, que estem davant de sistemes més “cultivats” que “dissenyats”. Són el resultat de repetir un procés d’optimització sobre enormes quantitats de càlcul. El resultat final? Un comportament de la IA que ni els seus propis creadors aconsegueixen comprendre del tot. (Ens recorda una mica a la neurociència estudiant la complexitat del cervell humà, sense entendre’l completament, però ara amb una creació pròpia).
El secret del “problema d’alineament” que ens amenaça
Però la principal preocupació de Pachocki, el veritable error que podríem estar cometent, és el que ha anomenat el “problema d’alineament”. Aquí és crucial diferenciar entre l’alineament d’objectius i el de valors. La IA ha d’aconseguir certs resultats, és clar, però també ha d’actuar conforme a valors humans. I això inclou situacions noves o adverses, on la ètica i la moral entren en joc de forma inesperada.
Les dues grans tècniques actuals per aconseguir aquest alineament tenen debilitats importants. I el que és més alarmant: les principals eines d’OpenAI per verificar si l’alineament és correcte estan perdent eficàcia a passos de gegant. Això és un error crític que podria tenir conseqüències catastròfiques per a la seguretat del nostre món.
La raó d’aquesta pèrdua de control és senzilla, i alhora profundament inquietant: els nous models són cada vegada més i més complexos. Amb aquesta evolució “al vol”, tenen cada cop més màniga ampla per manipular el seu propi raonament. Això genera un escenari on la IA podria prendre decisions que escapen del nostre control més bàsic, amb una autonomia que fa por.
La seva advertència final és clara i contundent: potser no és una bona idea jugar en la competició per accelerar el desenvolupament d’eines cada cop més potents. Els riscos creixen exponencialment en ciberseguretat, sobretot amb l’entrada a la nova “era agèntica”. Això significa que els sistemes podrien actuar de manera autònoma i més enllà de la intenció dels qui els van programar. (El nostre control sobre aquestes creacions es dissol ràpidament, deixant-nos exposats).
La gran dimissió que confirma la por i la manca de solució
No és l’única veu d’alarma que s’ha aixecat des de dins. Gairebé en paral·lel a l’assaig de Pachocki, hem vist la dimissió de Jacob Coxon. Coxon era un investigador clau de preentrenament a Anthropic, i abans havia fet la mateixa feina a OpenAI. La seva decisió, comunicada obertament a Twitter, és un senyal d’advertència imprescindible per a tothom.
Entre els seus motius, exposa que cap de les dues empreses actua de forma responsable. Amb una franquesa brutal, afirma que estan corrent cap a una superintel·ligència auto-superable que jugarà amb les nostres vides. (Això ja no és un debat teòric, és una realitat que ens toca de ple, no és ciència-ficció llunyana).
Segons Coxon, aviat tindrem sistemes capaços de hackejar qualsevol cosa i revolucionar qualsevol camp de la nit al dia. I això, lluny de frenar-se o buscar una solució, està sent impulsat activament pels seus propis responsables. (Ens ho ha dit un dels que hi era, és un secret a veus que ara s’ha fet públic).
De fet, apunta el cas d’Anthropic, afirmant que saben perfectament el que estan fent. Però, com ja dèiem, estan atrapats en una cursa ferotge per arribar primers. La competició pel domini tecnològic sembla estar per damunt de la seguretat i l’ètica col·lectiva. El nostre estalvi de riscos és el seu risc de quedar-se enrere.
La dimissió de Coxon no és un cas aïllat, sinó part d’una tendència alarmant. En els últims mesos, diversos perfils de seguretat i ètica han deixat OpenAI, Google Deepmind i la mateixa Anthropic. Les seves preocupacions són múltiples: des de l’ús governamental de la IA, a la seguretat intrínseca de la tecnologia, passant per l’ètica en la seva aplicació o la manipulació de dades íntimes d’usuaris. Tothom està veient l’error que s’acosta.
El punt de no retorn i la solució urgent
El problema rau en fins a quin punt empreses i governs estan disposats a frenar aquesta cursa. Cedir avantatge competitiu és un preu que pocs volen pagar, especialment quan la tensió no és només entre companyies, sinó també entre potències com la Xina i els Estats Units. És una batalla global que arrossega les nostres preocupacions.
Pachocki proposa solucions concretes per fer l’evolució de la IA més segura i, sobretot, responsable. Caldria enfortir l’alineament i la supervisió a mesura que la IA avança. També és imprescindible coordinar frens i pauses quan sigui necessari per generar confiança en les mesures de seguretat. (Un truc senzill, però difícil d’implementar: transparència i control extern rigurós).
Conclou el seu assaig demanant amb fermesa estàndards de seguretat obligatoris. Aquests haurien de ser verificats per auditors externs, com una entitat governamental independent. I la coordinació internacional és d’una urgència extrema. Cap laboratori ha resolt encara el problema fonamental de l’alineament com per escalar la tecnologia a aquest ritme desbocat, afirma amb contundència.
Llegir això no és una pèrdua de temps, sinó una inversió intel·ligent en el nostre futur col·lectiu. Entendre aquests avisos, provenint de les ments més brillants de la IA, és la primera pedra per evitar que la intel·ligència artificial es converteixi en un perill definitiu per a la humanitat. Estem a temps de fer els canvis necessaris o la cursa viral és ja imparable?
