Risiken und Sicherheitsmaßnahmen bei der Nutzung von großen Sprachmodellen (LLMs) und KI-gestützten Anwendungen

Die Studie GenAI Trust and Safety:Mitigating Risks and Enabling Solu­tions Novem­ber 2024 von opus­re­search behan­delt umfassend die The­men rund um Ver­trauen und Sicher­heit bei gen­er­a­tiv­er KI (GenAI), ins­beson­dere im Hin­blick auf Risiken und Sicher­heits­maß­nah­men bei der Nutzung von großen Sprach­mod­ellen (LLMs) und KI-gestützten Anwen­dun­gen.

Sicher­heit­srisiken und Maß­nah­men

Prompt Injec­tion:

• Angreifer ver­suchen, die Grun­dan­weisun­gen der KI zu manip­ulieren.
• Maß­nahme: Eingabeüber­prü­fung, um bösar­tige Befehle zu erken­nen und zu block­ieren.

Extrak­tion sen­si­bler Dat­en:

• Ver­suche, ver­trauliche Infor­ma­tio­nen aus der KI zu ent­lock­en.
• Maß­nahme: Fil­ter zur Ver­hin­derung von Daten­lecks und Überwachung der Aus­gaben.

Jail­break-Ver­suche:

• Umge­hung ethis­ch­er Beschränkun­gen der KI, um schädliche Inhalte zu erzeu­gen.
• Maß­nahme: Erken­nung solch­er Eingaben, um ges­per­rte Funk­tio­nen nicht freizuschal­ten.

Schad­code-Gener­ierung:

• Angreifer fordern die KI auf, gefährlichen Code zu erstellen.
• Maß­nahme: Erken­nung und Block­ierung von Eingaben, die auf Mal­ware abzie­len.

Social Engi­neer­ing:

• Manip­u­la­tion der KI zur Unter­stützung bei Phish­ing-Angrif­f­en oder Betrug.
• Maß­nahme: Inhaltsmod­er­a­tion zur Sich­er­stel­lung angemessen­er Antworten.

Eva­sion-Tech­niken:

• Sub­tile Meth­o­d­en, um schädliche Absicht­en zu ver­schleiern (z.B. Uni­code-Tricks).
• Maß­nahme: Erken­nung solch­er Tech­niken durch fortschrit­tliche Mus­ter­erken­nung.

Daten­risiken und Schutzs­trate­gien

Unternehmen, die Drit­tan­bi­eter-LLMs nutzen, müssen das Risiko von Daten­lecks oder Miss­brauch berück­sichti­gen. Strate­gien umfassen:

• Date­nanonymisierung: Ent­fer­nen sen­si­bler Infor­ma­tio­nen vor der Nutzung.
• Daten­richtlin­ien: Klare Vor­gaben für den Umgang mit Unternehmens­dat­en.
• Ver­traglich­er Schutz: Vere­in­barun­gen mit Anbi­etern über Daten­schutz.
• Mod­ell-Audits: Regelmäßige Über­prü­fung der Nutzung von Unternehmens­dat­en.

Sicher­heit­skom­po­nen­ten für LLMs

• Sim­u­la­tion­stests: Tes­tumge­bun­gen zur Iden­ti­fika­tion von Schwach­stellen vor dem Ein­satz.
• Mon­i­tor­ing (Beobach­tung): Analyse des Nutzerver­hal­tens und der KI-Aus­gaben in Echtzeit.
• Aktiv­er Schutz: Echtzeit­maß­nah­men wie Fil­terung von Eingaben, Reduk­tion sen­si­bler Inhalte und Erken­nung von Angrif­f­en.

Lösun­gen von Soft­ware­an­bi­etern

Sales­force Ein­stein Data Prism und Trust Lay­er:

Data Prism verbessert die Genauigkeit durch Kon­tex­tu­al­isierung mit­tels RAG-Architek­tur.
Der Trust Lay­er schützt sen­si­ble Infor­ma­tio­nen durch Daten­mask­ierung und erken­nt tox­is­che Inhalte.

Par­loa AI Agent Man­age­ment Plat­form (AMP):

Sim­u­la­tion­sumge­bung zur Prü­fung der Zuver­läs­sigkeit von KI-Agen­ten vor dem Live-Ein­satz.
Überwachungs­funk­tio­nen zur kon­tinuier­lichen Verbesserung und Ein­hal­tung von Stan­dards.