När AI ges faktisk makt
Ett traditionellt generativt AI-system kan ge ett felaktigt svar. Ett agentiskt system kan dessutom omsätta det felaktiga svaret i en handling. Ju större handlingsutrymme agenten får, desto större kan konsekvensen av ett fel bli.
Behandla AI-agenten som en privilegierad användare
När en människa loggar in i ett system vill vi veta vem personen är. Samma princip måste även gälla AI-agenter.
En agent som får åtkomst till verksamhetssystem behöver kunna identifieras och kontrolleras precis som andra privilegierade identiteter. Undvik att låta agenten använda en människas konto eller en gemensam identitet som gör aktiviteter svåra att spåra.
En AI-agent bör ha en egen, livscykelhanterad identitet – inte låna en människas.
Tillämpa samtidigt “least privilege”-principen. En agent som behöver läsa information i CRM-systemet ska inte automatiskt få rätt att radera kunder eller ändra ekonomiska uppgifter. Agentens identitet, uppdrag och behörigheter bör därför vara tydligt avgränsade.
En agent som sammanställer information från ett CRM-system behöver exempelvis sannolikt endast läsrättighet – inte rätt att radera kunder eller ändra ekonomiska uppgifter.
När prompt injection får verkliga konsekvenser
Prompt injection är ett problem även i vanlig generativ AI. Men konsekvensen ökar ytterligare när systemet får möjlighet att agera. Om ett AI-system manipuleras till att producera ett felaktigt svar kan en människa fortfarande upptäcka felet innan något händer. Om samma manipulerade system själv kan publicera information på hemsidan eller i sociala medier, skicka e-post, eller anropa andra system kan resultatet bli en allvarlig säkerhetsincident.
Den praktiska frågan blir därför inte enbart om någon kan manipulera AI:n, utan även vad AI:n kan göra om någon lyckas manipulera den.
Låt inte AI fatta alla beslut själv
Autonomi behöver inte vara binär – av eller på. En agent kan exempelvis tillåtas att själv läsa information och generera ett förslag, men kan behöva mänskligt godkännande innan den t.ex.:
- genomför en betalning
- raderar information
- skapar eller ändrar behörigheter
- skickar känslig information externt
- förändrar produktionssystem.
Ju större möjlig verksamhetspåverkan, desto högre bör kraven vara på både mänskligt godkännande och agentens tekniska begränsningar.
Agentens minne är också en attackyta
Agentiska system kan använda persistent minne och tidigare kontext för att arbeta över längre tid. Om felaktig eller manipulerad information sparas kan den därför påverka agentens framtida handlingar långt efter den ursprungliga attacken. Organisationen behöver veta vad som lagras, hur länge det sparas och hur komprometterad information kan identifieras och tas bort.
Ni måste kunna se vad agenten har gjort
Generativa AI-modeller bygger på sannolikhet, och deras beteende är ofta inte lika förutsägbart och reproducerbart som traditionell deterministisk affärslogik. När AI dessutom får möjlighet att agera blir därför spårbarhet särskilt viktig.
Organisationen bör kunna svara på: Vem startade agenten? Vilket mål fick den? Vilka system använde den? Vilken information läste den? Vilka beslut fattade den? Vilka förändringar genomförde den?
Att endast logga slutresultatet räcker inte.
Spårbarheten är avgörande för incidenthantering, felsökning, revision och ansvarsfördelning.
