Risiken und Sicherheitsmaßnahmen bei der Nutzung von großen Sprachmodellen (LLMs) und KI-gestützten Anwendungen

Die Studie GenAI Trust and Safety:Mitigating Risks and Enabling Solutions November 2024 von opusresearch behandelt umfassend die Themen rund um Vertrauen und Sicherheit bei generativer KI (GenAI), insbesondere im Hinblick auf Risiken und Sicherheitsmaßnahmen bei der Nutzung von großen Sprachmodellen (LLMs) und KI-gestützten Anwendungen. 

Sicherheitsrisiken und Maßnahmen

Prompt Injection: Angreifer versuchen, die Grundanweisungen der KI zu manipulieren.
Maßnahme: Eingabeüberprüfung, um bösartige Befehle zu erkennen und zu blockieren.

Extraktion sensibler Daten: Versuche, vertrauliche Informationen aus der KI zu entlocken.                                   Maßnahme: Filter zur Verhinderung von Datenlecks und Überwachung der Ausgaben.

Jailbreak-Versuche: Umgehung ethischer Beschränkungen der KI, um schädliche Inhalte zu erzeugen.
Maßnahme: Erkennung solcher Eingaben, um gesperrte Funktionen nicht freizuschalten.

Schadcode-Generierung: Angreifer fordern die KI auf, gefährlichen Code zu erstellen.
Maßnahme: Erkennung und Blockierung von Eingaben, die auf Malware abzielen.

Social Engineering: Manipulation der KI zur Unterstützung bei Phishing-Angriffen oder Betrug.
Maßnahme: Inhaltsmoderation zur Sicherstellung angemessener Antworten.

Evasion-Techniken: Subtile Methoden, um schädliche Absichten zu verschleiern (z.B. Unicode-Tricks).               Maßnahme: Erkennung solcher Techniken durch fortschrittliche Mustererkennung.

Datenrisiken und Schutzstrategien

Unternehmen, die Drittanbieter-LLMs nutzen, müssen das Risiko von Datenlecks oder Missbrauch berücksichtigen. Strategien umfassen:

• Datenanonymisierung: Entfernen sensibler Informationen vor der Nutzung.
• Datenrichtlinien: Klare Vorgaben für den Umgang mit Unternehmensdaten.
• Vertraglicher Schutz: Vereinbarungen mit Anbietern über Datenschutz.
• Modell-Audits: Regelmäßige Überprüfung der Nutzung von Unternehmensdaten.

Sicherheitskomponenten für LLMs

• Simulationstests: Testumgebungen zur Identifikation von Schwachstellen vor dem Einsatz.
• Monitoring (Beobachtung): Analyse des Nutzerverhaltens und der KI-Ausgaben in Echtzeit.
• Aktiver Schutz: Echtzeitmaßnahmen wie Filterung von Eingaben, Reduktion sensibler Inhalte und Erkennung von Angriffen.

Lösungen von Softwareanbietern

Salesforce Einstein Data Prism und Trust Layer:

Data Prism verbessert die Genauigkeit durch Kontextualisierung mittels RAG-Architektur.
Der Trust Layer schützt sensible Informationen durch Datenmaskierung und erkennt toxische Inhalte.

Parloa AI Agent Management Platform (AMP):

Simulationsumgebung zur Prüfung der Zuverlässigkeit von KI-Agenten vor dem Live-Einsatz.
Überwachungsfunktionen zur kontinuierlichen Verbesserung und Einhaltung von Standards.