RisikomanagementKI-Agenten einsetzen – was ist rechtlich zu beachten?

Immer mehr Unternehmen setzen KI-Agenten ein, um standardisierte Prozesse zu automatisieren. Doch auch wenn hohe Effizienzgewinne Vorteile versprechen, werden Risiken bei der Umsetzung leicht unterschätzt.

Denn KI-Agenten sind keine gewöhnliche Software: Sie handeln eigenständig, greifen auf sensible Unternehmensdaten zu und treffen Zwischenentscheidungen – oft über externe Plattformen von Drittanbietern.

Entscheider und Projektverantwortliche müssen sich insbesondere folgende Fragen stellen:

• Wer trägt die Verantwortung?
• Welche Datenschutzpflichten gelten?
• Welche Anforderungen aus der KI-Verordnung müssen berücksichtigt werden?
• Und wer haftet, wenn etwas schiefläuft?

Warum sind KI-Agenten rechtlich besonders riskant?

Ein KI-Agent verfolgt ein Ziel über mehrere Schritte, trifft eigenständig Zwischenentscheidungen und nutzt externe Werkzeuge: Er verschickt E-Mails, liest Datenbanken, löst Bestellprozesse aus und aktualisiert das CRM-System.

In der Praxis sind fertige Agenten-Funktionen wie Microsoft 365 Copilot verbreitet, aber auch Automatisierungsplattformen wie n8n, Make oder Zapier sowie Entwicklerframeworks wie LangChain.

Auch Open-Source-Lösungen wie OpenClaw erfreuen sich zunehmender Beliebtheit. OpenClaw läuft lokal auf eigenen Systemen und bietet damit Datenschutzvorteile, birgt durch seinen umfassenden Systemzugriff aber Sicherheitsrisiken.

All diese Agenten können auf eine unbestimmte Anzahl von Tools und Datenquellen zugreifen und mit anderen KI-Agenten interagieren.

Rechtlich besonders heikel sind Agenten, die vollständig im Hintergrund laufen und ohne menschliche Interaktion handeln, weil hier keine natürliche Kontrollmöglichkeit durch den Nutzer besteht.

Je nach Plattform verarbeitet ein Agent Daten lokal, in der EU-Cloud oder auf US-Servern. Das macht die Wahl der Plattform zur Datenschutzentscheidung.

Ein weiteres Risiko, das speziell bei KI-Agenten entsteht, ist die sogenannte Prompt-Injection-Attacke. Angreifer können durch manipulierte Eingaben – etwa in E-Mails oder auf Webseiten – den Agenten zu ungewollten Aktionen verleiten.

Da KI-Agenten häufig umfassenden Zugriff auf Systeme, Daten und externe Dienste haben, kann ein solcher Angriff erhebliche Schäden verursachen.

Unternehmen sollten daher Berechtigungen gezielt einschränken und dem Agenten nur den Zugriff gewähren, den er für seine Aufgabe tatsächlich benötigt.

Welche Datenschutzanforderungen müssen Unternehmen vor dem Einsatz prüfen?

Da KI-Agenten häufig große Mengen personenbezogener Daten verarbeiten, sollte der Datenschutz von Anfang an berücksichtigt werden. Nur so lassen sich spätere Nachbesserungen und Compliance-Risiken vermeiden.

Unternehmen bleiben dabei stets Verantwortliche im Sinne der DSGVO, unabhängig davon, welche Tools oder Plattformen eingesetzt werden.

Rechtsgrundlage

Für jeden Verarbeitungsschritt muss eine wirksame Grundlage bestehen. In der Praxis kommen die in der DSGVO geregelten Rechtsgrundlagen, Vertragsdurchführung, berechtigtes Interesse oder Einwilligung in Betracht.

Bei sensiblen Daten, etwa Gesundheitsdaten, gelten jedoch strengere Anforderungen. So ist es etwa unzulässig, wenn ein KI-Agent Gesundheitsdaten von Mitarbeitenden auswertet und dies mit einem berechtigten Interesse begründet wird.

Transparenz über Datenflüsse

Ebenso wichtig ist ein klarer Überblick über die Datenflüsse:

• Welche Daten werden verarbeitet,
• aus welchen Quellen stammen sie,
• welche Drittanbieter sind eingebunden und
• wo findet die Verarbeitung statt?

Gerade bei cloudbasierten Lösungen ist zu prüfen, ob Daten in Drittstaaten übertragen werden und ob dafür geeignete Garantien nach der DSGVO bestehen.

Sobald externe Dienstleister personenbezogene Daten verarbeiten, müssen entsprechende Auftragsverarbeitungsverträge abgeschlossen werden – nicht nur mit dem Hauptanbieter, sondern auch mit weiteren angebundenen Diensten.

Datenschutzhinweise

Zudem müssen Betroffene transparent über die Datenverarbeitung informiert werden. Dies erfolgt in der Regel über Datenschutzhinweise mit Angaben zu Verarbeitungszweck, Rechtsgrundlage, Empfängern und Löschfristen.

Kein Training der KI-Modelle

Ein kritischer Punkt ist, dass die Nutzung von Daten für das Training von KI-Modellen technisch und vertraglich ausgeschlossen sein muss.

Viele Anbieter behalten sich in ihren Nutzungsbedingungen vor, Eingabedaten für Trainingszwecke zu verwenden. Vor dem Go-live sollte daher geprüft werden, ob eine Verarbeitung zu Trainingszwecken technisch ausgeschlossen ist oder der Ausschluss vertraglich zugesichert wird.

Datenschutz-Folgenabschätzung

Schließlich ist in der Regel eine Datenschutz-Folgenabschätzung (DSFA) durchzuführen, etwa wenn ein KI-Agent umfangreiche Daten analysiert oder Entscheidungen mit erheblichen Auswirkungen trifft.

In diesem Zusammenhang sind auch die Grenzen automatisierter Entscheidungen zu beachten: Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung dürfen nicht vollständig automatisiert erfolgen, sondern erfordern eine tatsächliche menschliche Kontrolle.

Typische Beispiele, die für Betroffene nachteilige Folgen haben, sind:

• automatisierte Entscheidungen über die Kreditvergabe,
• die Ablehnung von Bewerbungen, 
• den Abschluss von Verträgen oder Bonitätsbewertungen.

Welche Pflichten ergeben sich aus dem EU AI Act?

Der EU AI Act schafft erstmals einen einheitlichen Rechtsrahmen für den Einsatz von KI-Systemen. Auch wenn die Regulierung ursprünglich nicht speziell für KI-Agenten entwickelt wurde, gelten die Vorgaben uneingeschränkt für deren Einsatz.

Unternehmen haben auch als Anwender eigene Pflichten, unabhängig davon, ob sie das System selbst entwickeln oder eine bestehende Lösung nutzen.

Risikoklasse

Wichtig ist zunächst die Einordnung in eine Risikoklasse. Der AI Act unterscheidet zwischen Systemen mit unannehmbarem Risiko (verboten), hohem Risiko sowie begrenztem und minimalem Risiko.

Beispiele: Ein KI-Agent im Kundenservice wird in der Regel als niedrig eingestuft. Systeme, die etwa Bewerbungen vorselektieren oder Kreditentscheidungen vorbereiten, können dagegen als Hochrisiko-Anwendungen gelten, mit entsprechend strengeren Anforderungen.

Dokumentation und menschliche Aufsicht

Mit der Einstufung gehen konkrete Pflichten einher. Unternehmen müssen

• den Einsatz des Systems überwachen,
• die Einhaltung der Herstellervorgaben sicherstellen und
• für eine angemessene menschliche Aufsicht sorgen.

Insbesondere bei risikoreicheren Anwendungen ist zudem eine nachvollziehbare Dokumentation des Einsatzes erforderlich.

Transparenzpflichten

Wenn Personen mit einem KI-System interagieren, müssen sie darüber informiert werden. Das betrifft insbesondere KI-Agenten im Kundenkontakt, etwa im Chat oder per E-Mail.

Eine fehlende Kennzeichnung kann rechtliche Risiken – etwa in Form von Abmahnungen oder Bußgeldern – nach sich ziehen.

Wer haftet, wenn ein KI-Agent Fehler macht?

Wenn ein KI-Agent eine falsche Bestellung auslöst, eine unzutreffende Aussage gegenüber einem Kunden trifft oder Daten falsch weiterleitet, haftet das Unternehmen. Handlungen eines KI-Agenten sind dem Unternehmen zuzurechnen, das ihn einsetzt.

Das Prinzip des Human-in-the-Loop ist deshalb zentral. An kritischen Entscheidungspunkten muss ein Mensch eingebunden sein.

Im Einkauf etwa darf ein Agent Angebote aufbereiten – Bestellungen aber erst nach menschlicher Freigabe auslösen. Aufgaben mit hohem ethischen Risiko wie Personalentscheidungen, Kreditvergabe oder medizinische Einschätzungen sollten nie vollständig einem Agenten überlassen werden.

Besondere Vorsicht gilt bei Multi-Agenten-Systemen: Je mehr Agenten koordiniert zusammenarbeiten, desto wichtiger ist eine lückenlose Dokumentation, welcher Agent welche Entscheidung getroffen hat.

In fünf Schritten zum rechtssicheren Einsatz

Die Einführung von KI-Agenten berührt Datenschutz, Compliance und Vertragsrecht gleichermaßen und sollte daher strukturiert vorbereitet werden. Die folgenden fünf Schritte helfen, den Einsatz systematisch zu prüfen und rechtliche Risiken von Anfang an zu minimieren.

Schritt 1: Use Case und Risikoklasse bestimmen. 

Zu Beginn sollte der geplante Einsatz klar beschrieben werden:

Welche Aufgaben übernimmt der Agent?

• Welche Daten verarbeitet er?
• Welche Entscheidungen trifft er?
• Welche Systeme sind angebunden?

Auf dieser Basis lässt sich die Risikoklasse nach dem EU AI Act einordnen und der erforderliche Prüfungsumfang ableiten.

Schritt 2: Datenschutz-Review durchführen

Der Datenschutzbeauftragte sollte frühzeitig eingebunden werden. Zu klären sind insbesondere

• die Rechtsgrundlage,
• die Datenflüsse,
• der Ort der Datenverarbeitung sowie
• notwendige Auftragsverarbeitungsverträge.

Bei sensiblen Daten empfiehlt sich der Einsatz EU-basierter Lösungen oder Self-Hosting. Zudem ist regelmäßig eine Datenschutz-Folgenabschätzung durchzuführen.

Schritt 3: Anbieter und Verträge prüfen

Neben technischen Kriterien sollten auch die rechtlichen Rahmenbedingungen der eingesetzten Lösungen bewertet werden. Dazu gehören insbesondere

• die Nutzungsbedingungen,
• Haftungsregelungen und
• der Umgang mit Daten.

Wichtig ist, vertraglich sicherzustellen, dass Eingabedaten nicht für Trainingszwecke verwendet werden. 

Schritt 4: Interne Richtlinien und Freigabeprozesse festlegen

Unternehmen sollten klar definieren, welche Aufgaben ein KI-Agent eigenständig übernehmen darf und an welchen Stellen menschliche Freigaben erforderlich sind.

Ebenso ist festzulegen, wie mit Fehlern umgegangen wird und wie Entscheidungen dokumentiert werden.

Eine solche Richtlinie schafft interne Klarheit und ist auch gegenüber Aufsichtsbehörden ein wichtiges Signal.

Schritt 5: Mitarbeitende schulen und Betrieb überwachen

Mitarbeitende müssen verstehen,

• wie der KI-Agent funktioniert,
• wo seine Grenzen liegen und
• wann Eingriffe erforderlich sind.

Darüber hinaus sollte der Einsatz regelmäßig überprüft werden, etwa bei Änderungen des Use Cases, der Datenbasis oder der rechtlichen Rahmenbedingungen.

Rechtssicherheit ist kein einmaliger Zustand, sondern erfordert kontinuierliche Kontrolle.

Fazit

KI-Agenten bieten echten Mehrwert – aber nur, wenn die rechtlichen Risiken von Anfang an mitgedacht werden. Datenschutz, AI Act und Haftung lassen sich mit überschaubarem Aufwand klären, wenn das Thema auf Entscheiderebene aktiv gesteuert wird.

Wer die Grundlagen schafft, gewinnt Sicherheit und den Spielraum, die Technologie konsequent zu nutzen.