KI-Verordnung (KI-VO)

Die Verordnung regelt KI nach dem Risiko der Anwendung.

Die KI-Verordnung ist am 01.08.2024 in Kraft getreten und gilt unmittelbar in allen Mitgliedstaaten. Ihre Pflichten greifen gestaffelt. Sie unterscheidet im Kern vier Gruppen:

• Verbotene Praktiken (Art. 5), etwa bestimmte Formen der Manipulation oder der Emotionserkennung.
• Hochrisiko-KI-Systeme mit umfangreichen Anforderungen an Risikomanagement, Dokumentation und menschliche Aufsicht.
• Systeme mit Transparenzpflichten (Art. 50), zu denen Chatbots und Voicebots gehören.
• Übrige Systeme ohne besondere Pflichten aus der Verordnung.

Die Verordnung unterscheidet zwei Rollen: Der Anbieter entwickelt ein KI-System oder bringt es in Verkehr. Der Betreiber setzt es in eigener Verantwortung ein. Ein Unternehmen, das einen Voicebot im Kundenservice nutzt, ist in der Regel Betreiber.

Für den Kundenservice sind drei Regelungen besonders wichtig.

Ein Voicebot muss sich als KI zu erkennen geben.

Nach Art. 50 Abs. 1 sind KI-Systeme, die direkt mit Menschen interagieren, so zu gestalten, dass die Betroffenen über die Interaktion mit einer KI informiert werden. Die Ausnahme greift nur, wenn dies aus Sicht einer angemessen informierten, aufmerksamen Person offensichtlich ist. In der Praxis ist ein klarer Hinweis zu Beginn des Gesprächs der sichere Weg, zum Beispiel: „Sie sprechen mit dem digitalen Assistenten der Musterkasse Nord.“

Wie Hinweis und Übergabe an einen Menschen zusammenspielen, beschreibt der Beitrag Voicebot mit Übergabe an Menschen. Zur Umsetzung siehe auch Voicebot und Self-Service.

Bei Sprachanalyse verläuft die Grenze bei der Emotionserkennung.

Die Auswertung von Gesprächen nach Themen, Stichworten oder Gesprächsanteilen ist etwas anderes als das Ableiten von Gefühlen aus der Stimme. Letzteres ist bei Mitarbeitenden verboten. Wer eine Sprachanalyse einsetzt, sollte deshalb vom Anbieter schriftlich bestätigen lassen, welche Funktionen aktiv sind, und Funktionen zur Stimmungs- oder Emotionserkennung gesondert rechtlich prüfen lassen – auch wenn sie sich auf Anrufende beziehen.

Die KI-Verordnung ersetzt nicht die DSGVO. Für personenbezogene Daten gelten Rechtsgrundlage, Informationspflichten und AVV weiterhin, ebenso die Mitbestimmung und die Regeln zur Gesprächsaufzeichnung.

Diese Punkte sollten Auftraggeber mit dem Dienstleister klären.

1. Welche KI-Systeme werden im Projekt eingesetzt und wofür?
2. Wer ist Anbieter, wer Betreiber – und wer erfüllt welche Pflicht?
3. Wie lautet der KI-Hinweis, und wann wird an einen Menschen übergeben?
4. Wie werden die Mitarbeitenden im Umgang mit den Systemen geschult?
5. Welche Analysefunktionen sind ausdrücklich abgeschaltet?

Dieser Eintrag gibt einen Überblick und ersetzt keine Rechtsberatung. Einzelne Fristen und Pflichten können sich durch Durchführungsrecht und Leitlinien ändern.