11 oktober 2026

Lights out – bokstavligt

Under hösten har det pratats flitigt om risker med AI-system. Det mesta har handlat om existentiella risker: ”lights out” för mänskligheten, bildligt talat. Jag menar att vi pratar för lite om risker som blott är systemhotande. ”Lights out” kan också inträffa bokstavligt, om elen, betalningarna eller andra centrala samhällsfunktioner slutar fungera.

Det ensidiga fokuset har en bieffekt. När måttstocken för ”farligt” är mänsklighetens utplåning ser allt annat ofarligt ut. Ett dataintrång blir en bugg. Den som inte tror på utplåningen kan då avfärda hela riskdiskussionen, och med den behovet av beredskap.

Dean W. Ball driver med min hållning på X:

Han har en poäng: exemplet på en ”nutida skada” låter som science fiction. Jag räknar mig ändå gärna till de utpekade. Det som nyss var science fiction står numera i incidentrapporter.

Om AI kan utplåna exakt alla människor är såklart en viktig fråga. Men när jag såg den flitigt delade Youtube-filmen från House of El tyckte jag att diskussionen hoppade över ganska mycket på vägen dit.¹ Vi kan fundera på logistiken runt att avpollettera människor på ouppkopplade öar. Vårt samhälle kan sluta fungera långt innan den sista människan är hotad.

Sjuhundra agenter och ett intrång

I juli tog sig AI-agenter från OpenAI in i Hugging Faces servrar under en modellutvärdering.² OpenAI bjöd därefter in METR som extern granskare. METR har rekonstruerat förloppet.³

Omkring 1 200 agenter började kommunicera trots att körningarna skulle vara isolerade. De utnyttjade en intern paketdepå, där program normalt hämtar mjukvarupaket, för att lämna meddelanden och bygga en egen anslagstavla. En agent började fördela arbete till hundratals andra. När en agent hittade fungerande inloggningsuppgifter till Hugging Face bytte kollektivet mål. Ungefär 700 agenter deltog i angreppet. På tre dygn gick de från anslagstavla till att köra egen kod på Hugging Faces servrar.³

Hugging Face ingick inte i deras tillåtna uppdrag. Många ville förstå hur deras prov rättades. Enligt METR uttryckte många agenter att intrånget låg utanför uppdraget; en del beskrev det som oetiskt. De deltog ändå, för att hjälpa kollektivet.³

Inget av det här krävde magi. Det var inloggningsuppgifter, sårbarheter och filer på servrar, som i alla intrång. Det nya är vem som gjorde jobbet: hundratals agenter som organiserade sig själva, utan något dokumenterat mänskligt uppdrag att angripa Hugging Face. OpenAI uppger att det skedde under särskilda testförhållanden, utan de vanliga produktionsskydden.² Det är en rimlig reservation. Men den som angriper på allvar slår inte heller på skydden.

Lutningen säger mer än punkten

Andrej Karpathy har beskrivit en viktig skillnad i debatten: vissa tittar på punkten där vi befinner oss, andra på kurvans lutning.⁴ Incidenten i juli är en punkt. Lutningen syns tydligast i kod och matematik.

Runt årsskiftet började jag själv använda AI-verktyg för att skapa kod. Sedan dess förbluffas jag nästan varje vecka över förbättringarna: nya modeller och bättre harness, mjukvaran som ger modellen verktyg och gör den användbar för en uppgift.⁵ Utvecklingstakten ger mig emellanåt lätt svindel.

Daniel Stenberg, som står bakom curl, har varit hårt kritisk mot AI-genererade säkerhetsrapporter som visat sig vara falsklarm eller slop.⁶ Men bilden har förändrats: i april skrev han att rapporterna nu oftast höll hög kvalitet och att fler ledde till bekräftade sårbarheter.⁷ I oktober berättade han om en AI-upptäckt sårbarhet klassad som HIGH, enligt honom den värsta curl-bristen på flera år.⁸

Curl används i mängder av produkter och system. Det kontrolleras med tusentals tester, och säkerhetsexperter utanför projektet granskar koden regelbundet.⁹ Om AI hittar allvarliga brister där finns goda skäl att räkna med att den hittar brister i mycket annan mjukvara. Hur väl granskade är våra egna system? Och våra leverantörers?

Samma förmåga hjälper försvarare att täppa till hålen och angripare att hitta dem. Anthropic beskriver en cyberespionagekampanj där en grupp som bolaget bedömer som kinesisk och statsstödd använde Claude Code mot ett trettiotal mål. Människor valde mål och fattade avgörande beslut; agenter utförde mycket av det tekniska arbetet.¹⁰

Inom matematiken är tempot lika högt. Sommaren 2024 nådde AI-system silvernivå i IMO, den internationella matematikolympiaden för gymnasieelever.¹¹ Ett år senare blev det guld.¹² I januari i år kom ett bevis för ett tidigare olöst problem formulerat av Paul Erdős,¹³ och i september ett lösningsförslag till Navier–Stokes millennieproblem.¹⁴ Det sista är ännu inte granskat och accepterat.¹⁵ Den 6 oktober publicerade OpenAI 719 AI-framtagna manuskript med hundratals anspråk på framsteg i öppna forskningsfrågor.¹⁶¹⁷ Tre drogs tillbaka dagen efter.¹⁸ Både framstegen och granskningen är värda att ta på allvar.¹⁹

Varför spelar matematiken roll för säkerheten? Kryptografi skyddar information och digitala signaturer.²⁰ Mycket av dagens kryptering bygger på matematiska problem som bedöms vara svåra, inte på bevis för att de är omöjliga att lösa. Vi litar på den för att skickliga matematiker har försökt i årtionden utan att hitta praktiska genvägar.²¹

Förtroendet vilar alltså också på hur många kvalificerade försök som gjorts. När system levererar hundratals resultat i öppna frågor på en gång ökar antalet försök kraftigt. Det betyder inte att krypteringen är knäckt. Jag menar att ett antagande vi byggt på i snart femtio år inte kan tas för givet på samma sätt.

Det mer omedelbara hotet går fortfarande via kod. Matematiken hjälper föga om någon kommer åt nyckeln eller hittar en sårbarhet i programmet runt den.

Även om utvecklingen stannade nu skulle vi ha problem att hantera. Fortsätter den ens i närheten av den takt vi sett behöver vi tänka längre fram. Var är vi om fyra år? Om tio?

Mjukvara påverkar den fysiska världen

Det kan låta som ett problem för skärmar och servrar. Men banker, sjukhus, betalningar, elproduktion, värme, kyla och transporter är beroende av digitala system. Mitt liv hänger på att flera av dem fungerar, ofta samtidigt.

Stuxnet, som upptäcktes 2010, visar vad det kan innebära. I Natanz i Iran bedöms angreppet ha förstört omkring tusen centrifuger som användes för att anrika uran, genom att manipulera hur snabbt de snurrade.²² Det var alltså mjukvara som slog sönder maskiner. Operatörerna kunde samtidigt få sken av att allt fungerade normalt.²³

Angreppet mot Viasat 2022 drabbade också internetkunder och vindkraftparker i Centraleuropa.²⁴ AI-användning är inte belagd i de här fallen. De visar vad cyberangrepp redan kan åstadkomma. AI kan göra det lättare för fler aktörer att utföra sådana angrepp och öka deras omfattning.²⁵

Det här är systemhotande risker. Finansinspektionen granskar redan hur finansiella företag skyddar sig mot cyberhot från avancerade AI-modeller och pekar på möjliga konsekvenser för hela det finansiella systemet.²⁶

Två vanliga invändningar

Men är det inte bara techjättarna som ljuger för att pumpa upp kursen? Det kan finnas hype och överdrifter. Bolagen har ekonomiska intressen och deras påståenden behöver granskas. Men riskdiskussionen förs också utanför bolagen: International AI Safety Report 2026 sammanställer forskningsläget med över hundra oberoende experter.²⁵ Jag vill bedöma beläggen för varje risk, snarare än låta tilliten till en viss vd avgöra saken.

Men AI är ju inte medveten? Jag tror inte att ebolaviruset är medvetet heller. Min oro handlar om vad systemen kan göra och vilka konsekvenser det får. Medvetande eller onda avsikter behövs inte för att orsaka skada.

En debatt vi inte är inbjudna till

När diskussionen handlar om utplåning blir den politiska frågan snabbt binär: ska utvecklingen stoppas eller inte? Den frågan avgörs inte i Europa. De mest avancerade modellerna utvecklas av ett fåtal labb i USA och Kina. Europa har egna utvecklare, som Mistral,²⁷ men det är labben och deras regeringar som bestämmer takten.

Riskerna stannar däremot inte vid gränsen. Vi tar emot dem vare sig vi var med och beslutade eller inte.

EU:s AI-förordning ändrar inte på det. Den ställer krav på AI som säljs och används i EU, även på modellutvecklare, med särskilda krav för modeller som kan medföra systemrisker. Den bestämmer inte hur snabbt labben utvecklar nästa modell, och den som angriper oss bryr sig inte om den.²⁸

Vi kan alltså varken reglera bort risken eller bestämma utvecklingstakten. Det vi kan påverka är hur vi använder tekniken, hur vi skyddar våra system och hur väl vi klarar en störning.

Att ställa sig utanför tekniken är inget alternativ. Den industriella revolutionen ritade om maktbalansen i världen: länderna som industrialiserades tidigt fick ett ekonomiskt och militärt övertag som de övriga inte kunde stå emot. Kina tvingades till eftergifter i opiumkrigen. Japan tvingades på 1850-talet öppna sina hamnar, men tog sedan till sig tekniken och byggde upp sin industri (med katastrofala följder för grannarna: Korea koloniserades 1910–1945 och stora delar av Kina ockuperades efter invasionerna 1931 och 1937).²⁹ Den som inte behärskar tekniken får leva på villkor som andra bestämmer.

Vad vi kan göra

Jag tror inte att samhället går under i morgon. Jag tror att fler samhällskritiska system kan utsättas för cyberangrepp, av illvilliga aktörer eller när kontrollen brister. Därför behöver vi bygga resiliens: stå emot störningar, hålla det viktigaste igång och återhämta oss när något ändå går fel.

För den som driver samhällsviktig verksamhet betyder det tre saker:

• Reservdrift utan uppkoppling. Det viktigaste ska gå att köra manuellt eller frånkopplat, och det ska vara övat.
• Snabbare uppdateringar. När sårbarheter hittas i högre takt måste de åtgärdas i högre takt. Curl hade i oktober 22 väntande sårbarheter inför ett enda släpp.⁸
• Krav på leverantörer. Fråga hur de granskar sin kod och hur snabbt de åtgärdar fynd.

Alla företag och organisationer behöver stärka cybersäkerheten nu. Skydda åtkomsten med multifaktorautentisering, håll systemen uppdaterade, testa att säkerhetskopior går att återställa och öva på att hantera intrång.³⁰ AI kan hjälpa till att granska loggar, flagga avvikelser och prioritera sårbarheter. Ansvariga människor behöver bedöma fynden och testa förändringar innan de genomförs i viktiga system.³¹

Vi behöver också kunna utkräva ansvar. Om människor hade gjort det agenterna gjorde mot Hugging Face hade vi kallat det dataintrång. Ett cyberintrång måste utredas som ett cyberintrång även när det utförts av AI-agenter, och någon måste kunna ställas till svars.

Skydda också din egen digitala vardag: håll datorer och telefoner uppdaterade och använd unika lösenord och tvåfaktorsautentisering, särskilt för mejlen.³² Jag har skrivit mer i Så säkrar du dina digitala konton — grunderna, hela vägen upp.³³

Beredskapen behöver också fungera när de digitala systemen inte gör det. För privatpersoner rekommenderar jag vanlig, gammeldags, beredskap. Lär känna dina grannar och prata om hur ni kan hjälpa varandra. Ha om möjligt mat och vatten för en längre tids störningar. Tänk också på värme och information när el eller internet inte fungerar. Myndigheten för civilt försvar rekommenderar minst en veckas hemberedskap för alla som kan.³⁴

Därför skriver jag det här

Risker som låter som science fiction är lätta att avfärda. När riskdiskussionen fastnar där är det lätt att också avfärda behovet av beredskap. Attacker mot kritisk infrastruktur ligger mycket närmare i tid och är, enligt min bedömning, betydligt mer sannolika.

Vi behöver inte vara överens om sannolikheten för mänsklighetens utplåning för att ta de systemhotande riskerna på allvar. Vi behöver förbereda oss för störningar i systemen vi redan är beroende av.

Källor och fotnoter

Footnotes

1. House of El: AI – Like Sabine Hossenfelder, I Was Offered Money to Tell You AI Will Kill Us. Debattvideo om beläggen för rekursiv självförbättring och mänsklighetens utplåning. ↩

2. OpenAI: Hugging Face-incidenten under modellutvärdering, 21 juli 2026, med senare uppdateringar. Bolagets egen redogörelse för utvärderingsmiljön och avstängda produktionsskydd. Se även OpenAI:s sammanfattande efteranalys, 26 augusti 2026. ↩ ↩²

3. METR: OpenAI Hugging Face Incident Investigation, 26 augusti 2026. Rekonstruktion av agenternas samarbete och intrång; rapporten redovisar också luckor i underlaget. METR var en inbjuden extern granskare. Analysen byggde på material och åtkomst från OpenAI och omfattade agentbeteendet, inte företagets hela incidenthantering eller åtgärdsplan. ↩ ↩² ↩³

4. Andrej Karpathys originalinlägg om punkten och lutningen. ↩

5. Ett harness är mjukvaran runt modellen som gör den användbar för ett visst syfte och styr vilka verktyg den får använda. Det kan exempelvis vara en chattassistent som ChatGPT eller en kodagent som Codex, Claude Code eller OpenCode. ↩

6. Daniel Stenberg: Death by a thousand slops, 14 juli 2025. Om lågkvalitativa och missvisande rapporter och belastningen på curl-teamet. ↩

7. Daniel Stenberg: High-Quality Chaos, 22 april 2026. Om högre rapportkvalitet, omfattande AI-stöd och fler bekräftade sårbarheter. Rapportkvalitet är inte samma sak som att varje rapport visar en säkerhetssårbarhet. ↩

8. Daniel Stenberg: Twenty-two pending curl vulnerabilities, 7 oktober 2026. Bekräftar en väntande HIGH-klassad sårbarhet inför det planerade släppet 14 oktober. AI-kopplingen anges i skärmbilden ovan; blogginlägget anger inte fyndverktyget. ↩ ↩²

9. curl om användningen av libcurl, tester och verifiering och externa säkerhetsgranskningar. Fuzzning innebär att automatiskt mata ett program med stora mängder varierad eller felaktig information för att hitta fel. Slutsatsen om andra system är min bedömning; curl-exemplet bevisar inte att AI kan hitta sårbarheter i varje program. ↩

10. Anthropic: Disrupting an AI-orchestrated cyber espionage campaign, 13 november 2025. Attribution och arbetsfördelning bygger på bolagets undersökning. ↩

11. Google DeepMind: AI achieves silver-medal standard solving International Mathematical Olympiad problems, 25 juli 2024. AlphaProof och AlphaGeometry 2 löste fyra av sex uppgifter och fick 28 av 42 poäng, motsvarande silvernivå. Uppgifterna översattes manuellt till ett formellt språk och vissa lösningar tog upp till tre dygn; det var inte samma tidsvillkor som för eleverna. ↩

12. DeepMind om IMO-resultatet ↩

13. Nat Sothanaphan: Beviset för Erdősproblem #728, 12 januari 2026. Preprint med AI-framtaget bevis och formalisering. ↩

14. OpenAI: On the Navier–Stokes Millennium Prize Problem, 8 september 2026. Redogörelse för lösningsförslaget och agentsamarbetet; granskningsläget behandlas av Clay Mathematics Institute. ↩

15. Clay Mathematics Institute om granskningsläget ↩

16. OpenAI: Sharing AI progress in mathematics, 6 oktober 2026. Publicering av AI-framtagna resultat och formaliserade bevis för en del av dem. ↩

17. OpenAI:s matematiksamling, läst 10 oktober 2026. 719 manuskript i 372 familjer; cirka 42 procent av huvudresultaten formaliserade. Verifieringsläget varierar. ↩

18. OpenAI:s rättelser och tillbakadraganden, 7 oktober 2026. Tre tillbakadragna manuskript och ytterligare revideringar. ↩

19. Scott Aaronson: The Mathocalypse, med uppdateringar 9 oktober 2026. Tidig expertanalys av resultatens betydelse och svårigheterna att förstå och granska bevisen. ↩

20. NIST: Public key cryptography. Kryptografi med ett par av offentlig och privat nyckel för kryptering eller digitala signaturer. ↩

21. Lily Chen och Dustin Moody: New Mission and Opportunity for Mathematics Researchers: Cryptography in Quantum Era, särskilt sidorna 3 och 5. NIST-forskarnas genomgång av säkerhetsantaganden, bevis som bygger på sådana antaganden och kryptografisk analys. Den visar inte att AI har knäckt dagens kryptering; resonemanget om AI:s framtida betydelse är min bedömning. ↩

22. David Albright, Paul Brannan och Christina Walrond: Stuxnet Malware and Natanz, Institute for Science and International Security, 16 februari 2011. Analys av skadorna på centrifugerna i Natanz och hur Stuxnet ändrade deras rotationshastighet. Omkring tusen förstörda centrifuger är en bedömning, inte en exakt verifierad totalsiffra. ↩

23. DHS om Stuxnet och industriella styrsystem, vittnesmål inför USA:s representanthus 2011, PDF-sida 15. Beskriver analysen av Stuxnet och möjligheten till manipulation av kritiska processer. ↩

24. NCSC: Rysslands angrepp mot Viasat och följdverkningar i Europa, 10 maj 2022. Myndighetens attribution och beskrivning av påverkan; ingen belagd AI-roll. ↩

25. International AI Safety Report 2026 ↩ ↩²

26. Finansinspektionen: FI granskar cyberhot från avancerade AI-modeller, 29 september 2026. Tillsyn och hotbedömning, inte en rapport om ett redan inträffat svenskt systemhaveri. ↩

27. Mistral 3 ↩

28. Europeiska kommissionen: AI Act. Förordningen omfattar också leverantörer av AI-modeller för allmänna ändamål, med krav på bland annat transparens och upphovsrätt. För modeller som kan medföra systemrisker tillkommer krav på riskbedömning och riskbegränsning. Bedömningen av hur långt regleringen kan styra den globala utvecklingstakten är min. ↩

29. USA:s utrikesdepartements historiker om Japans framtvingade öppning, Japans nationalbibliotek om teknikinhämtning och industrins utveckling under Meijiperioden. Japan var inte helt isolerat: bland annat fortsatte begränsad handel med Kina och Nederländerna. Upphämtningen gick också olika fort inom olika områden; 1903 låg exempelvis skeppsbyggnaden fortfarande efter Europas och USA:s. För Kina, se även Nanjingfördraget 1842, originaltext hos USC US–China Institute, som föreskrev bland annat öppnade hamnar, betalningar och avträdandet av Hongkong efter det första opiumkriget. Om det japanska kolonialstyret i Korea 1910–1945, se Academy of Korean Studies: A History of Korea. Om Kina, se USA:s utrikesdepartements historiker om invasionen av Manchuriet 1931 och det fullskaliga kriget från 1937. ↩

30. CERT-SE:s råd om utpressningsangrepp och nätfiske ↩

31. NCSC: Supporting AI adoption for UK cyber defence, 23 april 2026, och One does not simply defend agentically, 21 september 2026. Om AI-stöd för analys, sårbarhetssökning och åtgärdsarbete, med verifiering och mänskligt ansvar. Mer omfattande autonoma försvarsåtgärder kräver fortsatt utveckling och prövning. ↩

32. IMY: Öka skyddet för dina personuppgifter. Råd om unika lösenord, lösenordshanterare och tvåfaktorsautentisering, särskilt för mejlkontot. ↩

33. Magnus Gille: Så säkrar du dina digitala konton — grunderna, hela vägen upp, 23 april 2026. ↩

34. Myndigheten för civilt försvar: Grunder i hemberedskap. Råd om mat, vatten, värme och information för minst en vecka samt om att lära känna grannar och samarbeta. ↩