Börja med informationskontroll
AI behöver omfattas av samma strukturerade cybersäkerhetsarbete som andra verksamhetskritiska IT-system – kompletterat med skydd mot de nya risker som tekniken introducerar.
Den kanske mest omedelbara säkerhetsrisken är också den enklaste att förstå: medarbetare får aldrig skicka information till en AI-tjänst som organisationen normalt aldrig skulle dela med en extern part. Det kan handla om kundinformation, personuppgifter, avtal, källkod, interna strategier eller teknisk säkerhetsinformation. Särskilt höga krav behöver självklart ställas i verksamheter som hanterar känslig, reglerad eller säkerhetskritisk information, exempelvis inom försvar, rättsväsende och hälso- och sjukvård.
Frågan är därför inte bara vilka AI-tjänster som är tillåtna, utan också vilken information som får behandlas i dem.
Organisationen behöver veta var informationen behandlas, hur länge den sparas, vilka avtalsvillkor som gäller och om den kan användas för andra ändamål. Samma informationsklassning som gäller för e-post, molntjänster och andra system behöver även gälla AI.
När instruktionen blir en attack
Generativ AI skapar också en säkerhetsutmaning som traditionella applikationer normalt inte har på samma sätt: prompt injection.
En angripare kan försöka formulera indata till systemet som får AI-modellen att bortse från sina ursprungliga instruktioner eller bete sig på ett sätt som systemets utvecklare inte avsett.
Manipulationen behöver inte heller komma direkt via användaren. Skadliga instruktioner kan även finnas i exempelvis dokument, webbinnehåll eller andra informationskällor som AI-systemet behandlar.
Konsekvensen kan exempelvis bli att modellen lämnar ut information som inte borde exponeras, avslöjar interna instruktioner eller producerar ett resultat som kringgår applikationens tänkta begränsningar.
Prompt injection ska därför behandlas som en faktisk säkerhetsrisk, inte som något som kan lösas enbart genom att skriva en bättre systemprompt.
Skydda modeller och data
AI-system består av fler säkerhetskritiska tillgångar än själva applikationen. Modeller, träningsdata, finjusteringsdata, systemprompts, konfigurationer och loggar kan alla innehålla information som är känslig eller värdefull för organisationen. Dessa tillgångar behöver därför skyddas med åtkomstkontroll, versionshantering, säker lagring, säkerhetskopiering och övervakning.
Datans integritet är dessutom avgörande. Om en angripare kan manipulera träningsdata eller annan information som används för att anpassa ett AI-system kan även modellens resultat påverkas. Så kallad data poisoning är därför en relevant risk för organisationer som tränar, finjusterar eller på annat sätt anpassar egna AI-lösningar.
AI har också en leverantörskedja
De flesta företag bygger inte AI från grunden. En AI-plattform kan kombinera en extern modell, API:er, mjukvarubibliotek, databaser och andra komponenter från flera olika leverantörer. Det betyder att säkerheten i leverantörskedjan även behöver omfatta AI. Vilken leverantör står bakom modellen? Hur hanteras sårbarheter? Vilka komponenter används? Var behandlas informationen? Vad händer om en tjänst förändras eller försvinner?
