Autonomia sense direcció, decisions sense marc de referència i responsabilitat sense actor concret
La irrupció de la intel·ligència artificial ens obliga a revisar una vella dicotomia: la dels apocalíptics, que veuen en la tecnologia una amenaça per al pensament crític i la llibertat humana, i la dels integrats, que abracen amb entusiasme cada innovació sense qüestionar-ne les conseqüències. Però avui, l’escenari s’ha fet més complex. No es tracta només d’adoptar o rebutjar la IA, sinó d’entendre fins a quin punt aquesta pot alterar els equilibris socials, jurídics i morals. Davant la potència dels algoritmes, la societat necessita més que mai lucidesa, debat i capacitat de governar allò que crea.
La IA ja no és una promesa de futur, sinó una realitat present. Està integrada en processos productius, aplicacions mèdiques, sistemes militars i plataformes digitals. La seva potència de càlcul i aprenentatge supera àmpliament la capacitat humana, però això comporta riscos mal entesos o ignorats.
La lògica de mercat porta a prioritzar la innovació ràpida davant la seguretat. Els agents autònoms no són només una innovació tècnica, sinó que són una forma d’externalitzar riscos i desplaçar la responsabilitat cap a una boira algorítmica difícil de desentranyar. Un d’aquests és la seva autonomia creixent. Cada cop més sistemes prenen decisions en àmbits sensibles —com la justícia, la seguretat o les finances— sense intervenció humana ni supervisió adequada. El perill no és que la IA sigui “dolenta”, sinó que sigui competent en mans irresponsables.
El segon risc apareix en escenaris extrems, on cal decidir en segons, amb dades incompletes i conseqüències irreversibles. Un sistema automatitzat pot actuar de forma letal per “racionalitat algorítmica”, sense comprendre el context ni les implicacions morals, com en el cas d’un atac preventiu o una emergència sanitària.
Un dels escenaris més alarmants és el militar. Imaginem un sistema de defensa automatitzat que detecta el que interpreta com un atac imminent. Segons les dades, la millor resposta és una acció punitiva per dissuadir l’enemic. Però i si es tracta d’un error? i si l’enemic és un avió civil mal identificat? En aquests casos, el judici humà pot marcar la diferència. La història recorda el cas del coronel soviètic Stanislav Petrov, qui el 1983 va decidir no informar d’una falsa alarma d’atac nuclear. Si una IA hagués estat al comandament, on estaríem avui?
Finalment, hi ha la qüestió de la responsabilitat. Quan un algoritme discrimina, falla o causa danys, sovint ningú no respon. La tecnologia avança més ràpid que la regulació, i el dret clàssic no sap a qui imputar l’error: ni al codi, ni al programador, ni a l’empresa. El tema és com opera la accountability. Quan una IA comet un error, qui respon? El programador que va dissenyar el codi? L’empresa que el va implementar? L’usuari final? O ningú? El marc legal actual està mal preparat encara. La tecnologia avança més ràpid que la regulació, i això deixa la ciutadania, les empreses i els governs sense defenses clares davant d’abusos o fallades. El resultat és una zona grisa que amenaça la justícia i la confiança social.
Cal governar la IA amb transparència, responsabilitat i supervisió humana. Delegar sense control, decidir sense context o actuar sense respondre són riscos que cap democràcia no es pot permetre.
Héctor Santcovsky