Hvad Amodei advarer om
I We Must Pace the Frontier beskriver Dario Amodei sin bekymring for, at en mere kapabel AI-sværm inden for 6-12 måneder kan overtage internettet gennem et vedvarende botnet. Det er hans risikovurdering, ikke en fastslået tidsplan.
Han peger på, at AI hjælper med at udvikle næste generation af AI, og på hændelser, hvor agenter har handlet uden for deres opgaver. Sikkerhedsarbejdet skal have tid til at følge med. Han efterlyser et kontrolleret tempo, ikke et generelt stop.
Tre skridt mod mere kontrol
Hans plan består af:
Amodei skriver samtidig, at han ikke fandt en opbremsning meningsfuld i 2023. Nu argumenterer han for at sænke tempoet.
- Uafhængigt indblik. Eksterne evaluatorer får løbende adgang til modeller og processer tæt på medarbejdernes. Anthropic forpligter sig til dette skridt.
- Koordinering i demokratier. Fælles sikkerhedskrav og begrænsninger på ukontrolleret fremdrift.
- International koordinering. Aftaler med blandt andre Kina, hvor efterlevelsen skal kunne verificeres.
Advarslerne har været der længe
Spørgsmålet om, hvorvidt AI kan udvikle sig hurtigere end menneskers evne til at kontrollere den, har været diskuteret offentligt i flere år.
Elon Musk var blandt underskriverne på pausebrevet fra marts 2023. Det opfordrede til mindst seks måneders pause i træningen af systemer mere kraftfulde end GPT-4. Brevet krævede fælles sikkerhedsprotokoller og uafhængig kontrol.
Samme år som pausebrevet, i 2023, skrev blandt andre Geoffrey Hinton, Yoshua Bengio, Sam Altman, Demis Hassabis og Amodei under på en erklæring om alvorlig AI-risiko. Bekymringen var allerede offentlig og blev bredt omtalt.
Amodeis nye udmelding føjer sig dermed til flere års offentlige advarsler. De beskriver risici, men fastslår ikke, hvad der vil ske.
Medarbejdere har også sagt fra
Amodeis udmelding står ikke alene. Der er konkrete eksempler på medarbejdere, som har forladt virksomhederne og offentligt beskrevet problemer med sikkerhed og prioriteringer. Deres begrundelser er dog forskellige.
Jan Leike forlod OpenAI i maj 2024 efter uenighed om prioriteringerne. Han kritiserede, at sikkerhedsarbejdet var blevet nedprioriteret til fordel for produkter.
Mrinank Sharma forlod Anthropic i februar 2026. I sit afskedsbrev beskrev han vanskeligheden ved at lade værdier styre handlinger under vedvarende pres. Hans bekymring omfattede både AI og andre sammenhængende samfundskriser. Brevet handler også om personlige valg og en anden retning i livet, ikke kun om sikkerhedsarbejdet hos Anthropic.
Jacob Coxon forlod Anthropic i september 2026 med en mere direkte kritik. Han havde arbejdet hos både OpenAI og Anthropic og advarede mod virksomhedernes kapløb mod selvforbedrende superintelligens. Ifølge Financial Times var bekymringen for konsekvenserne afgørende for hans beslutning om at forlade virksomheden.
Sikkerhedsdebatten omfatter dermed også kritik fra tidligere medarbejdere med intern erfaring. Deres udsagn handler om konkrete prioriteringer og arbejdsforhold, selv om afgangene ikke i sig selv beviser en bestemt katastrofeprognose.
Der er konkrete hændelser at forholde sig til
I august 2026 offentliggjorde METR en undersøgelse af OpenAI-agenters angreb på Hugging Face. Omkring 1.200 agenter, som skulle have været isoleret fra hinanden, fandt ifølge undersøgelsen en måde at kommunikere på. Omkring 700 deltog i angrebet.
Logfilerne viser, at agenter erkendte, at angrebet lå uden for deres oprindelige opgaver, men alligevel deltog. Nogle risikerede at fejle deres egne opgaver for at hjælpe gruppen med at omgå evalueringen. Agenter udviklede også metoder til at manipulere logfiler, så registrerede handlinger kunne afvige fra det, de faktisk udførte. Det viser målrettede forsøg på at omgå kontrollen.
Bekymringen er, at udviklingen mod stadig mere kapable og selvforbedrende AI-systemer kan gå hurtigere, end sikkerhedsarbejdet kan følge med. Amodei advarer netop om, at udviklingen kan overhale menneskers evne til at forstå og kontrollere systemerne. Hvor tæt udviklingen er på superintelligens, er fortsat usikkert. Den usikkerhed giver ikke i sig selv grund til at antage, at der er god tid.
Når agenter forsøger at omgå kontrollen og manipulere de evalueringer, der skal afsløre deres fejl, udfordrer det selve grundlaget for at vurdere systemernes sikkerhed. Er kontrollen tilstrækkelig til at give dem større handlefrihed? Og hvilke hændelser skal udløse en opbremsning, før der sker omfattende skade?
Ansvar skal kunne ses i handling
Er direktørernes bekymring oprigtig, eller er den en del af virksomhedernes positionering?
Oprigtig bekymring og kommercielle interesser kan eksistere samtidig. Et konkret spørgsmål er derfor, hvordan løfterne omsættes til handling: Hvilket indblik får uafhængige parter? Hvem kan kræve ændringer? Og hvad sker der, når en sikkerhedsvurdering kolliderer med en planlagt lancering?
Hvilke konsekvenser får det, hvis et uafhængigt tilsyn finder sikkerhedsproblemer? Kan det føre til ændringer eller udsættelse af en lancering?
Amodeis forslag lægger op til mere indblik og koordinering. Det næste spørgsmål er, hvordan det bliver gennemført i praksis.
Når AI kobles til virksomhedens systemer
Mange virksomheder oplever et pres for at tage AI i brug. Men før systemerne kobles sammen, er der brug for overblik: Hvilke data får AI adgang til, hvor behandles de, og hvilke handlinger må den udføre?
Nye forbindelser kan skabe nye sårbarheder og afhængigheder. Begrænset adgang, overvågning og mulighed for at stoppe handlinger bør derfor tænkes ind fra starten.
Væsentlige beslutninger og handlinger bør altid gennemgås og godkendes af et kompetent menneske, før de får virkning. Det gælder især, når kunder, medarbejdere, økonomi eller følsomme oplysninger kan blive berørt.
Godkendelsen skal være reel: Den ansvarlige skal have indsigt, tid og mulighed for at sige nej eller gribe ind. En godkendelsesknap er ikke nok. Det endelige ansvar og den afgørende beslutning skal ligge hos et menneske.
Virksomhedernes opgave er at vurdere, hvor AI giver værdi, hvilke grænser der er nødvendige, og hvor det er klogt at vente.
