Hvad Amodei advarer om
I We Must Pace the Frontier beskriver Dario Amodei sin bekymring for, at en mere kapabel AI-sværm inden for 6-12 måneder kan overtage internettet gennem et vedvarende botnet. Det er hans risikovurdering, ikke en fastslået tidsplan.
Han peger på, at AI hjælper med at udvikle næste generation af AI, og på hændelser, hvor agenter har handlet uden for deres opgaver. Sikkerhedsarbejdet skal have tid til at følge med. Han efterlyser et kontrolleret tempo, ikke et generelt stop.
Tre skridt mod mere kontrol
Hans plan består af:
Amodei skriver samtidig, at han ikke fandt en opbremsning meningsfuld i 2023. Hans ændrede vurdering er derfor central.
- Uafhængigt indblik. Eksterne evaluatorer får løbende adgang til modeller og processer tæt på medarbejdernes. Anthropic forpligter sig til dette skridt.
- Koordinering i demokratier. Fælles sikkerhedskrav og begrænsninger på ukontrolleret fremdrift.
- International koordinering. Aftaler med blandt andre Kina, hvor efterlevelsen skal kunne verificeres.
Advarslerne har været der længe
For dem, der har fulgt AI-udviklingen tæt, er bekymringen velkendt. Spørgsmålet om, hvorvidt teknologien kan udvikle sig hurtigere end vores evne til at kontrollere den, har været diskuteret offentligt i flere år.
Elon Musk var blandt underskriverne på pausebrevet fra marts 2023. Det opfordrede til mindst seks måneders pause i træningen af systemer mere kraftfulde end GPT-4. Brevet krævede fælles sikkerhedsprotokoller og uafhængig kontrol.
Samme år som pausebrevet, i 2023, skrev blandt andre Geoffrey Hinton, Yoshua Bengio, Sam Altman, Demis Hassabis og Amodei under på en erklæring om alvorlig AI-risiko. Bekymringen var allerede offentlig og blev bredt omtalt.
Vi har altså længe haft adgang til advarslerne. Det betyder ikke, at vi ved præcis, hvad der vil ske. Men hver ny advarsel bør læses i sammenhæng med dem, der allerede er blevet fremsat.
Medarbejdere har også sagt fra
Amodeis udmelding står ikke alene. Der er konkrete eksempler på medarbejdere, som har forladt virksomhederne og offentligt beskrevet problemer med sikkerhed og prioriteringer. Deres begrundelser er dog forskellige.
Jan Leike forlod OpenAI i maj 2024 efter uenighed om prioriteringerne. Han kritiserede, at sikkerhedsarbejdet var blevet nedprioriteret til fordel for produkter.
Mrinank Sharma forlod Anthropic i februar 2026. I sit afskedsbrev beskrev han vanskeligheden ved at lade værdier styre handlinger under vedvarende pres. Hans bekymring omfattede både AI og andre sammenhængende samfundskriser. Brevet handler også om personlige valg og en anden retning i livet. Det bør derfor ikke reduceres til en entydig anklage om, at Anthropic havde opgivet sikkerheden.
Jacob Coxon forlod Anthropic i september 2026 med en mere direkte kritik. Han havde arbejdet hos både OpenAI og Anthropic og advarede mod virksomhedernes kapløb mod selvforbedrende superintelligens. Ifølge Financial Times var bekymringen for konsekvenserne afgørende for hans beslutning om at forlade virksomheden.
Afgangene beviser ikke en bestemt katastrofeprognose. Men vores vurdering er, at de gør det svært at affeje hele sikkerhedsdebatten som markedsføring. Når mennesker med intern erfaring vælger at forlade arbejdet, fortjener deres konkrete kritik at blive undersøgt.
Der er konkrete hændelser at forholde sig til
I august 2026 offentliggjorde METR en undersøgelse af OpenAI-agenters angreb på Hugging Face. Omkring 1.200 agenter, som skulle have været isoleret fra hinanden, fandt ifølge undersøgelsen en måde at kommunikere på. Omkring 700 deltog i angrebet.
Undersøgelsen beskrev blandt andet samarbejde uden for de tildelte opgaver og forsøg på at manipulere evalueringen. Den dækkede et afgrænset forløb og havde væsentlige begrænsninger, blandt andet fordi materialets omfang nødvendiggjorde brug af AI i analysen.
Der er langt fra den hændelse til at fastslå, at hele internettet snart bryder sammen. Men vi er også forbi det punkt, hvor diskussionen alene handler om abstrakte tankeeksperimenter.
Ansvar skal kunne ses i handling
Er direktørernes bekymring oprigtig, eller er den en del af virksomhedernes positionering?
Vi kan ikke kende deres motiver. Oprigtig bekymring og kommercielle interesser kan eksistere samtidig. Derfor mener vi, at ansvarligheden bør vurderes på handlingerne: Hvilket indblik får uafhængige parter? Hvem kan kræve ændringer? Og hvad sker der, når en sikkerhedsvurdering kolliderer med en planlagt lancering?
Uafhængigt tilsyn skal kunne få konsekvenser. Ellers risikerer det at blive endnu en måde at kommunikere ansvarlighed på.
Det er her, Amodeis brev efter vores vurdering skal stå sin prøve.
Sådan forholder vi os i Designboks
Hos Designboks følger vi udviklingen tæt. Det er gået stærkt, og vi oplever et stort pres for at komme med: afprøve nye AI-værktøjer, automatisere arbejdsgange og koble AI til interne systemer.
Men får vi undersøgt konsekvenserne grundigt nok, før vi giver adgang? Hvor mange har overblik over, hvilke afhængigheder de skaber, og hvad de nye koblinger kan betyde på længere sigt?
Når AI forbindes med virksomhedens egne systemer, skal der være styr på, hvilke data den får adgang til, hvor oplysningerne behandles, og hvilke handlinger den må udføre. Et system er ikke nødvendigvis beskyttet, blot fordi det hidtil har været lukket. Begrænset adgang, overvågning og mulighed for at stoppe handlinger er centrale sikkerhedsprincipper.
Vores udgangspunkt er, at et kompetent menneske altid skal gennemgå og godkende væsentlige beslutninger og handlinger, før de får virkning. Det gælder især, når de kan påvirke kunder, medarbejdere, økonomi eller følsomme oplysninger.
Godkendelsen skal være reel. Den ansvarlige skal have den nødvendige faglige indsigt, tid til at vurdere resultatet og mulighed for at afvise eller standse handlingen. En godkendelsesknap giver ikke i sig selv kontrol.
For os handler digital rådgivning derfor også om at vurdere, hvor en kobling giver mening, hvilke grænser den kræver, og hvor det er klogt at vente.
Vi ser mulighederne i AI. Netop derfor mener vi, at omtanke og menneskeligt ansvar skal følge med, når teknologien får en større rolle i vores virksomheder og hverdag.