Et spørgsmål om kontrol
Hvad sker der, hvis kunstig intelligens ikke blot bliver bedre til at skrive, programmere og analysere, men også bliver bedre end mennesker til at udvikle den næste generation af AI? Det er det spørgsmål, Daniel Kokotajlo beskæftiger sig med.
I podcasten The Diary of a CEO fortæller den tidligere OpenAI-forsker, hvorfor han forlod virksomheden, hvorfor han mener, at superintelligens kan komme inden for relativt få år, og hvorfor han personligt vurderer risikoen for et katastrofalt udfald til at være så høj som 70 procent.
Det er en voldsom vurdering. Den bør hverken gengives som en videnskabelig konsensus eller afvises som ren science fiction. Kokotajlos arbejde er mest interessant som en invitation til at tænke konkret over en teknologi, der kan udvikle sig hurtigere end de institutioner, virksomheder og mennesker, som skal lære at håndtere den.
Fra OpenAI til uafhængig AI-forecasting
Daniel Kokotajlo arbejdede fra 2022 til 2024 med governance og scenarieplanlægning hos OpenAI. Han forlod virksomheden, fordi han mistede tilliden til, at udviklingen frem mod stadig mere avancerede AI-systemer ville blive håndteret ansvarligt.
I forbindelse med sin afgang nægtede han at underskrive en klausul, der begrænsede hans mulighed for offentligt at kritisere virksomheden. Dermed var han villig til at sætte aktier til en værdi af omkring to millioner dollars over styr. OpenAI meddelte senere, at virksomheden ikke ville fratage tidligere medarbejdere deres optjente aktier eller håndhæve de omdiskuterede klausuler.
Sagen gjorde Kokotajlo til en central stemme i debatten om gennemsigtighed i AI-industrien. Sammen med nuværende og tidligere medarbejdere fra blandt andet OpenAI og Google DeepMind underskrev han initiativet A Right to Warn. Her efterlyses bedre muligheder for, at ansatte kan advare myndigheder og offentlighed om alvorlige risici uden at frygte repressalier.
I dag leder Kokotajlo den uafhængige forskningsgruppe AI Futures Project, som arbejder med forecasting, scenarieudvikling og politiske anbefalinger om avanceret AI.
AI 2027 er et scenarie - ikke en kalender
Kokotajlo er især blevet kendt som hovedforfatter til AI 2027. Her forsøger han og en gruppe andre forskere at beskrive et muligt forløb, hvor AI-systemer på kort tid bliver i stand til at automatisere programmering og AI-forskning.
Det afgørende vendepunkt er ikke nødvendigvis, at en chatbot kan skrive bedre tekster eller skabe flotte billeder. Det opstår, hvis AI kan overtage arbejdet med at bygge endnu bedre AI.
Hvis tusindvis eller millioner af AI-agenter kan arbejde kontinuerligt med forskning, kode og eksperimenter, kan udviklingen i princippet accelerere. Bedre systemer kan hjælpe med at udvikle endnu bedre systemer, som igen kan forbedre forskningen. Det er denne selvforstærkende bevægelse, der ofte beskrives som en intelligenseksplosion.
AI 2027 opstiller forskellige mulige afslutninger. I ét forløb fortsætter konkurrencen mellem virksomheder og stormagter så hurtigt, at mennesker gradvist mister kontrollen. I et andet vælger beslutningstagerne at bremse udviklingen og prioritere sikkerhed og koordinering.
Forfatterne understreger selv, at scenariet ikke er en sikker forudsigelse. Det er et konkret bud, som skal kunne diskuteres, udfordres og erstattes af bedre scenarier.
Det er en vigtig nuance, for tidslinjerne har allerede ændret sig. I en opdateret model fra december 2025 flyttede AI Futures Project sin forventning til fuld automatisering af programmering cirka tre til fem år frem. Modellens median ligger nu omkring 2032 i stedet for 2027-2028.
Pointen er derfor ikke, at en bestemt begivenhed med sikkerhed indtræffer i et bestemt år. Pointen er, at muligheden bør tages alvorligt, fordi konsekvenserne kan blive meget store.
AGI og superintelligens er ikke det samme
Debatten bliver let uklar, fordi begreber som AGI og superintelligens bruges forskelligt. AGI - artificial general intelligence - beskriver typisk et AI-system, der kan løse en bred vifte af intellektuelle opgaver på niveau med mennesker. Superintelligens går et skridt videre: Her er systemet bedre end de dygtigste mennesker inden for stort set alle kognitive områder.
For Kokotajlo er forskellen afgørende. Et meget intelligent system er ikke automatisk sikkert, loyalt eller i overensstemmelse med menneskelige værdier. Intelligens fortæller noget om systemets evne til at nå et mål - ikke om målet er godt for os.
Hvis et superintelligent system får uklare eller uhensigtsmæssige mål, kan problemet blive svært at rette. Ikke nødvendigvis fordi systemet er ondt, men fordi det kan forfølge sine mål på måder, mennesker ikke havde forudset og måske ikke længere kan standse.
Det er baggrunden for Kokotajlos personlige vurdering af, at risikoen for menneskelig udslettelse kan være 70 procent. Tallet er hans eget skøn - ikke et dokumenteret facit. Men de bredere risikokategorier er ikke kun noget, som de mest pessimistiske AI-forskere beskæftiger sig med. International AI Safety Report 2026 behandler blandt andet misbrug, cyberangreb, biologiske trusler, manipulation, systemfejl og mulig svækkelse af menneskelig kontrol.
Hvad sker der med arbejdet?
I podcasten beskriver Kokotajlo en fremtid, hvor næsten alle kognitive arbejdsopgaver i princippet kan automatiseres.
Hvis AI bliver bedre og billigere end mennesker til analyse, programmering, administration, rådgivning og kreativ produktion, vil spørgsmålet ikke kun være, hvilke job der forsvinder. Det bliver også et spørgsmål om, hvem der ejer teknologien, hvordan værdien fordeles, og hvad der skal give mennesker mening og økonomisk sikkerhed.
Her er det vigtigt at skelne mellem langsigtede scenarier og det, vi kan dokumentere i dag. Den Internationale Arbejdsorganisation, ILO, vurderer, at omkring hvert fjerde job globalt er eksponeret for generativ AI. Organisationens nuværende vurdering er dog, at forandring af job er mere sandsynlig end fuldstændig erstatning.
På kort sigt handler udviklingen derfor ikke kun om at blive erstattet af AI. Den handler i lige så høj grad om at lære at arbejde målrettet med teknologien - og om at beslutte, hvor den ikke bør bruges.
AI 2040: Et forslag til en anden vej
Kokotajlo og AI Futures Project nøjes ikke med at advare. I opfølgeren AI 2040: Plan A forsøger de at beskrive en positiv vej frem mod meget avanceret AI. Planen er først og fremmest en anbefaling, ikke en forudsigelse.
Centralt står en international aftale, især mellem USA og Kina, der skal forhindre et ukontrolleret kapløb mod superintelligens. Forslaget omfatter blandt andet større gennemsigtighed om AI-forskning, mulighed for at kontrollere de største computerressourcer og fælles sikkerhedsbarrierer.
I scenariet bremses udviklingen, når AI når niveauet for de bedste menneskelige eksperter. Først når kontrol, koordinering og sikkerhed vurderes at være tilstrækkelig, fortsætter udviklingen mod superintelligens i 2040.
Planen kan virke politisk urealistisk. Men dens værdi ligger også i, at den stiller det spørgsmål, der ofte mangler i AI-debatten: Hvis vi ikke ønsker et hemmeligt kapløb mellem nogle få virksomheder og stormagter, hvad ønsker vi så i stedet?
Det vigtigste er ikke at gætte det rigtige årstal
Man behøver ikke dele Kokotajlos 70-procentsvurdering eller hans tidslinjer for at tage hans grundlæggende pointe alvorligt.
Vi er i gang med at udvikle systemer, som kan få betydning for arbejdsmarked, demokrati, sikkerhed og den globale magtfordeling. Samtidig træffes mange af de vigtigste beslutninger i private virksomheder, mens lovgivning og offentlig forståelse forsøger at følge med.
For virksomheder betyder det, at AI ikke bør behandles som endnu et smart værktøj, der bare skal rulles ud så hurtigt som muligt. AI skal anvendes dér, hvor det skaber reel værdi - med klare formål, menneskeligt ansvar og forståelse for de data og beslutninger, vi overlader til systemerne.
Det mest interessante ved Daniel Kokotajlos arbejde er derfor måske ikke, om han rammer det rigtige årstal. Det er hans insisteren på, at fremtiden ikke blot er noget, der sker for os. Den formes af de valg, vi træffer nu.