EU AI Act und Voice AI: Pflichten für KI-Telefonassistenten

Zusammenfassung

Seit dem 2. August 2026 gelten die Transparenzpflichten aus Artikel 50 des EU AI Act. Für Unternehmen mit KI-Telefonassistenten heißt das vor allem: Anrufende müssen grundsätzlich erkennen können, dass sie direkt mit einer KI sprechen. Anbieter müssen außerdem Kennzeichnungspflichten für KI-generierte Audioausgaben beachten. Welche weiteren Pflichten gelten, hängt vom konkreten Zweck des Systems ab: Ein FAQ-Assistent wird nicht allein dadurch zum Hochrisiko-System, dass er am Telefon eingesetzt wird; eine KI, die Bewerber bewertet oder auswählt, kann dagegen unter die Hochrisiko-Regeln fallen. Dieser Leitfaden erklärt die wichtigsten Unterscheidungen und gibt eine praktische Prüfliste.

Der AI Act gilt stufenweise

Die Verordnung über künstliche Intelligenz, meist EU AI Act oder KI-Verordnung genannt, ist keine einzelne Vorschrift mit nur einem Startdatum. Einige Grundpflichten gelten bereits seit 2025. Seit dem 2. August 2026 gelten die Transparenzpflichten aus Artikel 50 und weitere Vorschriften nach dem jeweiligen Zeitplan. Im Juli 2026 änderte die EU mit der Verordnung 2026/1744 zudem Teile des Zeitplans für Hochrisiko-Systeme.

Für Unternehmen, die Voice AI einsetzen, sind daher drei Fragen hilfreich:

1. Spricht das System direkt mit einer natürlichen Person?
2. Erzeugt es synthetische Audioausgaben oder täuscht es eine reale Person vor?
3. Welche Aufgabe erfüllt es, und trifft oder beeinflusst es Entscheidungen über Menschen?

Die Antwort kann je nach Anwendungsfall unterschiedliche Pflichten auslösen.

1. Anrufende über die KI-Interaktion informieren

Artikel 50 Absatz 1 verlangt von Anbietern, KI-Systeme, die für eine direkte Interaktion mit Menschen bestimmt sind, so zu gestalten, dass die betroffenen Personen erfahren, dass sie mit einer KI interagieren. Nach der Orientierung der EU-Kommission geht es um einen echten direkten Austausch zwischen KI und Mensch; reine Hintergrundverarbeitung oder automatisierte Kommunikation zwischen Systemen fällt nicht darunter. Eine Ausnahme gilt, wenn die KI-Interaktion im jeweiligen Kontext offensichtlich ist. Die Kommission empfiehlt, diese Ausnahme eng auszulegen. Die Information muss spätestens beim ersten Kontakt klar und wahrnehmbar sein.

Bei einem eingehenden Telefonanruf ist die KI-Interaktion für viele Menschen nicht automatisch offensichtlich. Eine klare Begrüßung ist deshalb die robuste praktische Lösung, zum Beispiel:

Guten Tag, Sie sprechen mit dem KI-Telefonassistenten von [Unternehmen]. Wie kann ich Ihnen helfen?

Der AI Act schreibt keinen bestimmten Satz vor. Wichtig ist, dass die Information verständlich ist und nicht erst nach Nachfrage oder im Kleingedruckten erscheint. Wenn Anrufende eine Person verlangen oder das Anliegen nicht zum freigegebenen Aufgabenbereich passt, sollte der Ablauf eine passende Weiterleitung oder Rückrufoption bieten.

In der Lieferkette haben Anbieter und Betreiber unterschiedliche Aufgaben. Der Anbieter entwickelt das System und muss es entsprechend gestalten. Das Unternehmen, das den Assistenten im eigenen Geschäft einsetzt, ist in der Regel Betreiber (im englischen Gesetzestext: deployer) und muss klären, wie die Information im tatsächlichen Gespräch ankommt. Vereinbaren Sie deshalb mit dem Anbieter, wer Begrüßung, Konfiguration und Aktualisierungen verantwortet.

2. Synthetische Stimme ist nicht automatisch ein Deepfake

Artikel 50 enthält zwei verschiedene Transparenzregeln, die leicht verwechselt werden:

• Hinweis auf die KI-Interaktion: Die Person soll wissen, dass sie direkt mit einer KI spricht.
• Kennzeichnung synthetischer Inhalte: Anbieter generativer KI-Systeme müssen synthetische Audio-, Bild-, Video- oder Textausgaben maschinenlesbar kennzeichnen und erkennbar machen, soweit dies technisch machbar ist.

Ein gewöhnlicher, künstlich erzeugter Telefonassistenten-Stimmklang ist nicht automatisch ein Deepfake. Ein Deepfake liegt nach der Verordnung insbesondere dann vor, wenn KI-generiertes oder verändertes Audio existierenden Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und dadurch fälschlich echt oder wahr erscheinen könnte. Eine geklonte Stimme, die gezielt wie eine bestimmte Mitarbeiterin oder bekannte Person klingt, wirft deshalb andere Fragen auf als eine generische synthetische Stimme.

Wenn Ihr Assistent Sprache live erzeugt, fragen Sie den Anbieter, wie die maschinenlesbare Kennzeichnung der synthetischen Audioausgaben umgesetzt wird und ob dafür im konkreten Einsatz eine Ausnahme greift. Die Verordnung berücksichtigt technische Machbarkeit und den Stand der Technik; die Kommission beschreibt außerdem eine eng begrenzte Ausnahme für bestimmte B2B- oder Industriekontexte. Das ist keine pauschale Ausnahme für geschäftliche Telefonate. Die Kennzeichnungspflicht betrifft in erster Linie den Anbieter des generierenden Systems. Für bestimmte bereits vor dem 2. August 2026 in Verkehr gebrachte Systeme gilt für diese Kennzeichnung eine Übergangsfrist bis zum 2. Dezember 2026. Diese Frist verschiebt nicht die Pflicht, Anrufende über die KI-Interaktion zu informieren.

3. Die Aufgabe bestimmt das Risikoniveau – nicht das Telefon

Ein KI-Telefonassistent wird nicht allein deshalb als Hochrisiko-System eingestuft, weil er spricht, ein Sprachmodell nutzt oder personenbezogene Daten verarbeitet. Entscheidend sind die vorgesehene Aufgabe und die Auswirkungen auf betroffene Personen.

Ein Assistent, der Öffnungszeiten nennt, Rückrufwünsche erfasst oder Termine nach freigegebenen Regeln koordiniert, ist nicht automatisch ein Hochrisiko-System. Anders kann es aussehen, wenn die KI Bewerbungen filtert, Kandidatinnen und Kandidaten bewertet oder Auswahlentscheidungen vorbereitet: Systeme für Rekrutierung und Bewerberauswahl sind in Anhang III des AI Act als Hochrisiko-Anwendungen aufgeführt. Ob eine konkrete Lösung unter eine Ausnahme fällt, muss anhand ihres tatsächlichen Zwecks und ihrer Rolle im Entscheidungsprozess geprüft werden.

Auch Sprachanalyse braucht eine gesonderte Prüfung. Der AI Act führt Systeme zur Emotionserkennung als Hochrisiko-Anwendungen auf; der Einsatz solcher Systeme zur Emotionserkennung am Arbeitsplatz ist grundsätzlich verboten, mit engen Ausnahmen für medizinische oder sicherheitsbezogene Zwecke. Eine Funktion, die aus der Stimme einer beschäftigten Person oder Bewerberin vermeintliche Emotionen ableitet, sollte daher nicht als harmlose Zusatzanalyse eingeführt werden.

Für Hochrisiko-Systeme ändern sich durch die Verordnung 2026/1744 die Anwendungstermine: Die einschlägigen Pflichten für Systeme aus Anhang III gelten ab dem 2. Dezember 2027; für bestimmte produktbezogene Hochrisiko-Systeme aus Anhang I ab dem 2. August 2028. Das verschiebt nicht die bereits geltenden Transparenzpflichten aus Artikel 50.

4. Mitarbeitende brauchen passende KI-Kompetenz

Artikel 4 verlangt von Anbietern und Betreibern, Maßnahmen zur Förderung der KI-Kompetenz ihrer Mitarbeitenden und weiterer Personen zu treffen, die das System in ihrem Auftrag betreiben oder nutzen. Die Pflicht gilt seit dem 2. Februar 2025. Die Änderung von 2026 hat diese Verpflichtung nicht abgeschafft, sondern klargestellt, dass kein pauschal festgelegtes individuelles Kompetenzniveau vorgeschrieben ist. Die konkreten Maßnahmen sollten zu Rolle, Vorwissen, Einsatzbereich und möglichen Folgen eines Fehlers passen.

Für ein Serviceteam kann eine angemessene Maßnahme ein kurzes, anwendungsbezogenes Training sein. Mitarbeitende sollten wissen:

• welche Aufgaben der Assistent übernehmen darf und welche nicht
• wie übergebene Anliegen bearbeitet und Fehler gemeldet werden
• welche Antworten oder Zusagen das System nicht machen soll
• wann Menschen übernehmen müssen
• welche Informationen in Transkripten, Zusammenfassungen oder CRM-Einträgen auftauchen können

Dokumentieren Sie die Maßnahmen passend zur Größe Ihres Betriebs und zum konkreten Einsatz.

5. Der AI Act ersetzt Datenschutz- und Telefonrecht nicht

Der Hinweis „Sie sprechen mit einer KI“ erfüllt nicht automatisch alle Datenschutzpflichten. Namen, Rufnummern und Gesprächsinhalte können weiterhin personenbezogene Daten sein. Rechtsgrundlage, Zweck, Datenminimierung, Löschfristen, Zugriffe, Auftragsverarbeitung und Informationen für Anrufende sind separat zu prüfen. Lesen Sie dazu auch die DSGVO-Checkliste für KI-Telefonassistenten.

Eine Audioaufnahme ist außerdem von der Live-Verarbeitung gesprochener Sprache zu unterscheiden. In Deutschland kann eine unbefugte Aufnahme des nichtöffentlich gesprochenen Wortes § 201 StGB berühren. Wenn Sie Gespräche speichern oder aufzeichnen möchten, prüfen Sie diesen Verarbeitungsschritt gesondert. Der Einsatz eines Sprachassistenten ist keine pauschale Erlaubnis zur Gesprächsaufzeichnung.

Prüfliste für Unternehmen

Vor dem Einsatz oder der Aktualisierung eines KI-Telefonassistenten:

1. Anwendungsfälle erfassen: Welche Anrufe beantwortet das System, welche Aktionen führt es aus und beeinflusst es Entscheidungen über Personen?
2. Rollen klären: Wer ist Anbieter, wer Betreiber und wer verantwortet Begrüßung, Konfiguration und Änderungen?
3. Erste Interaktion transparent gestalten: KI-Hinweis gleich zu Gesprächsbeginn klar und hörbar ausgeben.
4. Audioausgaben mit dem Anbieter prüfen: Nach maschinenlesbarer Kennzeichnung synthetischer Sprachausgaben und dem Umsetzungsnachweis fragen.
5. Hochrisiko- und Verbotsfälle prüfen: Besonders bei Recruiting, Beschäftigtenbewertung, Emotionserkennung und Entscheidungen mit erheblichen Folgen.
6. Mitarbeitende schulen: Zuständigkeiten, Systemgrenzen, Fehlerwege und menschliche Übergaben erklären.
7. Datenschutz separat prüfen: Datenflüsse, Aufzeichnungen, Transkripte, Speicherfristen, Dienstleister und Zugriffsrechte dokumentieren.
8. Änderungen beobachten: Neue Funktionen, etwa Bewerberbewertung oder Emotionserkennung, können die rechtliche Einordnung verändern.

Fazit

Für viele Unternehmen ist die unmittelbar sichtbare Folge des AI Act eine klare Information zu Beginn des KI-Telefonats. Anbieter müssen zusätzlich Kennzeichnungspflichten für synthetische Audioausgaben beachten. Weitere Anforderungen hängen davon ab, ob der Assistent nur Routinekommunikation übernimmt oder sensible beziehungsweise entscheidungsrelevante Aufgaben ausführt. Beginnen Sie deshalb mit einer konkreten Aufgabenliste, klären Sie Anbieter- und Betreiberrollen und prüfen Sie Änderungen an Funktionen erneut.

Dieser Beitrag bietet eine allgemeine Orientierung zum Stand vom 31. Oktober 2026 und ersetzt keine rechtliche Prüfung eines konkreten Systems oder Einsatzes.

Rechtsquellen

• EU AI Act, Verordnung (EU) 2024/1689, konsolidierter Text zu Artikel 50
• Verordnung (EU) 2026/1744 – Digital Omnibus on AI
• EU-Kommission: Transparenzpflichten nach Artikel 50
• EU-Kommission: Leitlinien zu den Transparenzpflichten
• EU-Kommission: Fragen und Antworten zur KI-Kompetenz nach Artikel 4
• Datenschutz-Grundverordnung (EU) 2016/679
• § 201 Strafgesetzbuch – Verletzung der Vertraulichkeit des Wortes