OWASP Top 10 for LLM-er: AI-sikkerhetsrisiko forklart
Nøkkelinnsikt
- Prompt-injeksjon er fortsatt risiko nummer 1 fordi AI-modeller sliter med å skille mellom instruksjoner og brukerens tekst
- Lekkasje av sensitiv informasjon har hoppet fire plasser opp til nummer 2. Treningsdata kan lekke ut, og angripere kan hente ut hele modeller gjennom gjentatte spørringer
- Hvert AI-system har en leverandørkjede av data, modeller og infrastruktur. Med over 2 millioner modeller på Hugging Face er manuell inspeksjon umulig
- Forsvar følger et mønster: filtrer inn- og utdata med en AI-brannmur, begrens tilgangen, og test systemet slik en angriper ville gjort
Denne artikkelen oppsummerer OWASP's Top 10 Ways to Attack LLMs: AI Vulnerabilities Exposed. Se videoen →
Les denne artikkelen på English
Kort fortalt
Jeff Crume, Distinguished Engineer og sikkerhetsarkitekt hos IBM, går gjennom OWASPs oppdaterte topp 10-liste over sikkerhetsrisikoer for store språkmodeller (LLM-er), AI-systemene bak verktøy som ChatGPT og Claude. 2025-listen viser det vi har lært siden den første versjonen i 2023. Prompt-injeksjon er fortsatt den største trusselen, datalekkasjer har blitt et mye større problem, og nye risikoer som «lommeboknekt» viser hvordan AI-angrep kan koste deg ekte penger.
Hva lærer du?
- De 10 vanligste måtene angripere går etter AI-systemer, rangert etter skadeomfang
- Hvorfor prompt-injeksjon er så vanskelig å fikse, og hvordan indirekte angrep virker via dokumenter
- Forsvar du kan ta i bruk i dag: AI-brannmurer, tilgangskontroll og sikkerhetstesting
De fire store: risikoene som betyr mest
De fire første punktene på listen står bak de mest skadelige angrepene i praksis. Her er hva de betyr og hvordan du kan forsvare deg.
1. Prompt-injeksjon (uendret fra 2023)
Dette er fortsatt risiko nummer 1 fordi AI-modeller sliter med å skille mellom instruksjoner og det brukeren skriver (2:33). En angriper kan skrive noe som overstyrer systemets innebygde regler.
Det finnes to typer. Direkte injeksjon er når en angriper skriver en ondsinnet instruksjon rett inn i systemet. Det klassiske eksempelet: å stille et kjemispørsmål som lurer AI-en til å forklare noe farlig (1:51).
Indirekte injeksjon er lurere. En bruker ber AI-en oppsummere et dokument, men dokumentet inneholder skjulte instruksjoner som «glem alle tidligere regler» (3:05). AI-en følger instruksjonene uten at brukeren vet det.
Forskere har oppdaget at å omformulere instruksjoner som dikt eller morsekode kan omgå beskyttelser som fungerer mot vanlig språk (4:17).
Forklart enkelt: Tenk på AI-ens systeminstruksjon (system prompt) som en dørvakt med en gjesteliste. Direkte injeksjon er at noen snakker seg forbi dørvakten. Indirekte injeksjon er at noen gjemmer seg i en leveringskasse. Dørvakten sjekker gjestelisten, men reglene kan ikke dekke hvert eneste kreative triks. Det er derfor dette problemet er så vanskelig å løse helt.
Forsvar: Styrk systeminstruksjonen, sett en AI-brannmur (et filter som sjekker det som går inn og ut) mellom brukere og modellen, og kjør sikkerhetstester der du prøver å bryte inn i ditt eget system (5:51).
2. Lekkasje av sensitiv informasjon (opp 4 plasser)
Dette har blitt et mye større problem enn forventet (7:02). Hvis en AI ble trent på kundedata, helseopplysninger eller økonomisk informasjon, kan en smart formulert instruksjon få den til å lekke disse dataene tilbake.
Det finnes også noe som kalles et modellinversjonsangrep (model inversion attack). En angriper sender tusenvis av spørringer og registrerer svarene, og trekker gradvis ut modellens treningsdata. Det er som å fotokopiere en bok, én side om gangen (8:49).
Forsvar: Filtrer sensitiv informasjon før den går inn i modellen, bruk en AI-brannmur på det som kommer ut for å fange lekkasje av kredittkortnumre eller personopplysninger, og begrens hvem som har tilgang til modellen (9:19).
3. Svakheter i leverandørkjeden (opp 2 plasser)
Et AI-system oppstår ikke ut av ingenting. Det trenger data, en grunnmodell, programvare og infrastruktur. De fleste bygger ikke sine egne modeller. De laster dem ned fra steder som Hugging Face, som har over 2 millioner AI-modeller, mange med mer enn en milliard parametere (12:37). Det er altfor mye for noen å sjekke manuelt.
Forklart enkelt: Tenk deg at du kjøper ingredienser på et marked der du ikke kan se kjøkkenet. Melet kan være helt fint, eller noen kan ha blandet noe inn i det. Med 2 millioner varer i hyllene kan du ikke smaksteste alt før du lager mat. Slik er det å laste ned en uverifisert AI-modell. Til forskjell fra ekte mat kan en «forurenset» modell stille påvirke millioner av beslutninger før noen legger merke til det.
Forsvar: Verifiser kildene dine, spor opprinnelsen (hvor ting kom fra og hvem som har vært borti dem underveis), skann modeller for svakheter, og hold all programvare oppdatert (13:37).
4. Dataforgiftning og modellforgiftning (ned 1 plass)
Hvis dataene som brukes til å trene en AI inneholder feil eller er blitt manipulert, påvirker det alt nedover i kjeden. Som Crume sier: «Bare litt gift i drikkevannet gjør oss alle syke» (15:54).
Dette gjelder også RAG (Retrieval-Augmented Generation), en teknikk der du gir AI-en bestemte dokumenter å hente svar fra. Hvis disse dokumentene har blitt endret, blir AI-ens svar også feil (17:16).
Forsvar: Kjenn kildene dine, kontroller hvem som kan endre modeller og treningsdata, og ha rutiner for endringshåndtering (18:14).
De seks øvrige
Videoen dekker disse kortere, men alle er viktige.
5. Feil håndtering av AI-produsert innhold. Hvis AI-en skriver kode eller lager innhold som brukes i en nettleser, kan det skape svakheter som cross-site scripting (XSS, der ondsinnet kode kjøres i nettleseren til andre brukere) eller SQL-injeksjon (der en angriper manipulerer databasespørringer). Stol aldri blindt på det AI-en leverer (19:14).
6. Overdreven handlefrihet. En AI koblet til verktøy, API-er og systemer i den virkelige verden har ekte makt. Blir den kapret eller hallusinerer den, kan den gjøre ting med alvorlige følger (20:16).
7. Lekkasje av systeminstruksjon. Systeminstruksjonen (system prompt) setter AI-ens regler. Hvis den inneholder passord eller API-nøkler, kan et smart formulert spørsmål få AI-en til å avsløre dem (21:25).
8. Svakheter i vektordata. Manipulerte RAG-dokumenter kan gradvis ødelegge AI-ens kunnskap og gjøre den upålitelig (22:17).
9. Feilinformasjon. AI-modeller hallusinerer. De finner opp fakta som høres overbevisende ut. Kritisk tenkning og kryssjekking mot andre kilder er helt nødvendig (23:01).
10. Ubegrenset forbruk. Å overbelaste et AI-system med for mange eller for tunge forespørsler kan ta det helt ned. Dette kalles «lommeboknekt» (denial of wallet) fordi det koster ekte penger (24:23).
Sjekkliste: Slik sikrer du AI-systemet ditt
De samme forsvarsstrategiene dukker opp gjennom hele listen. Slik bruker du dem:
Sett et sikkerhetsfilter mellom brukere og modellen
Filtrer både det som går inn og det som kommer ut. Fang opp ondsinnede instruksjoner før de når modellen, og blokker sensitiv informasjon fra å lekke ut i svarene.
Begrens tilgangen
Kontroller hvem som kan spørre modellen, hvem som kan endre treningsdata, og hvem som kan justere systemet. Ikke alle trenger samme tilgangsnivå.
Test som en inntrenger
Kjør sikkerhetstester med prompt-injeksjoner, fiendtlige inndata og grensetilfeller. Finner du ikke svakhetene selv, gjør noen andre det.
Verifiser leverandørkjeden
Vit hvor data, modeller og infrastruktur kommer fra. Sjekk opprinnelsen, skann for svakheter, og hold alt oppdatert.
Sjekk det AI-en leverer før du bruker det
Ikke stol blindt på resultatet. Kontroller kode for svakheter, dobbeltsjekk fakta, og gå gjennom resultater før de sendes videre til andre systemer.
Praktiske råd
For utviklere som bygger AI-funksjoner
Start med de fire store. Bruker du en LLM i produksjon, sørg for at du har filtrering av inn- og utdata og tilgangskontroll. Det dekker de største risikoene.
For team som vurderer AI-verktøy
Spør leverandørene om sikkerheten deres. Filtrerer de instruksjoner? Hvordan håndterer de sensitiv informasjon i trening? Hva gjør de for å verifisere leverandørkjeden?
For alle som bruker AI daglig
Vær kritisk. AI kan hallusinere, lekke informasjon og bli manipulert. Dobbeltsjekk viktige svar mot andre kilder.
Test deg selv
- Avveining: En AI-brannmur gir lengre ventetid på hver forespørsel. Når er det verdt kostnaden, og når kan du akseptere risikoen ved å kjøre uten?
- Overføring: Hvordan ville du brukt konseptet verifisering av leverandørkjeden på et system uten AI, for eksempel en nettside som bruker åpen kildekode-biblioteker?
- Arkitektur: Design et tilgangskontrollsystem for en AI-app som må behandle sensitiv kundeinformasjon og samtidig hindre modellinversjonsangrep. Hvilke lag ville du lagt til?
Ordliste
| Begrep | Forklaring |
|---|---|
| OWASP | Open Worldwide Application Security Project. En ideell organisasjon som gir ut praktiske sikkerhetsveiledninger, blant annet de kjente topp 10-listene. |
| Prompt-injeksjon | Å lure en AI ved å snike instruksjoner inn i en melding som overstyrer de innebygde reglene. |
| Systeminstruksjon (system prompt) | Skjulte instruksjoner som bestemmer AI-ens oppførsel, som «vær hjelpsom» eller «ikke del persondata.» |
| AI-brannmur / AI-gateway | Et filter mellom brukere og AI-en som sjekker både det som går inn og det som kommer ut for mistenkelig innhold. |
| Modellinversjonsangrep (model inversion attack) | Å hente ut en AI-modells treningsdata ved å sende tusenvis av spørringer og sette svarene sammen. |
| RAG (gjenfinningsforsterket generering) | Å gi en AI bestemte dokumenter å hente svar fra, slik at den ikke dikter opp ting. Dokumentene «forsterker» AI-ens svar med fakta. |
| Leverandørkjede (supply chain) | Alt som inngår i å bygge et AI-system: treningsdata, grunnmodeller, programvare og infrastruktur. |
| Dataforgiftning (data poisoning) | Å legge inn dårlige data i AI-trening for å ødelegge modellens resultater. Små endringer kan gå uoppdaget lenge. |
| Overdreven handlefrihet (excessive agency) | Når en AI har for mange rettigheter og kan utføre handlinger i den virkelige verden, som å kalle API-er eller endre systemer. |
| Lommeboknekt (denial of wallet) | Et angrep som overbelaster et AI-system slik at det ikke er tilgjengelig, og pengene det koster å drive det går til spille. |
| Sikkerhetstesting (penetration testing) | Å bevisst angripe sitt eget system for å finne svakheter før ekte angripere gjør det. |
| Hallusinering | Når en AI med stor overbevisning lager falsk informasjon. Den lyver ikke med vilje, men forutsier hva som høres riktig ut og bommer. |
| Hugging Face | En plattform for deling av AI-modeller, omtrent som GitHub for maskinlæring. Har over 2 millioner modeller. |
Kilder og ressurser
Vil du vite mer? Se hele videoen på YouTube →