Verbotene KI-Praktiken bilden die oberste Stufe des risikobasierten Ansatzes des EU AI Act. Während Hochrisiko-Systeme zwar streng reguliert, aber erlaubt sind, gelten die in Artikel 5 genannten Praktiken als so gefährlich für Grundrechte, Sicherheit und demokratische Werte, dass sie in der Europäischen Union vollständig untersagt sind. Dieses Verbot ist seit Februar 2025 wirksam und gehört damit zu den ersten durchgesetzten Teilen des AI Act.
Die Logik des Verbots
Der Gedanke hinter Artikel 5 ist, dass manche Einsatzformen von KI mit den Werten der EU grundsätzlich unvereinbar sind und keine Risikominderung sie akzeptabel machen kann. Bei Hochrisiko-Systemen geht der Gesetzgeber davon aus, dass die Risiken durch Pflichten wie Dokumentation, menschliche Aufsicht und Konformitätsbewertung beherrschbar sind. Bei den verbotenen Praktiken sieht er keine solche Möglichkeit — das Risiko liegt in der Praxis selbst. Deshalb gibt es hier keinen Pflichtenkatalog, sondern ein klares Verbot.
Manipulative und ausnutzende Systeme
Untersagt sind KI-Systeme, die Techniken der unterschwelligen Beeinflussung oder absichtlich manipulative oder täuschende Techniken einsetzen, um das Verhalten von Menschen wesentlich zu verändern und ihnen dadurch erheblichen Schaden zuzufügen. Ebenso verboten sind Systeme, die die Schutzbedürftigkeit bestimmter Gruppen aufgrund ihres Alters, einer Behinderung oder einer besonderen sozialen oder wirtschaftlichen Lage ausnutzen, um ihr Verhalten schädlich zu beeinflussen. Diese Verbote schützen die Autonomie der Menschen und besonders verletzliche Gruppen vor KI-gestützter Ausbeutung.
Social Scoring
Eine der bekanntesten verbotenen Praktiken ist das Social Scoring. Untersagt ist die Bewertung oder Einstufung von Personen oder Gruppen über einen bestimmten Zeitraum anhand ihres sozialen Verhaltens oder persönlicher Eigenschaften, wenn diese Bewertung zu einer Schlechterstellung in Kontexten führt, die nichts mit den ursprünglich erhobenen Daten zu tun haben, oder zu einer ungerechtfertigten oder unverhältnismässigen Benachteiligung. Dieses Verbot richtet sich gegen umfassende staatliche oder private Bewertungssysteme, die das Verhalten von Menschen über Lebensbereiche hinweg zu einem Gesamturteil verdichten.
Biometrische Überwachung
Mehrere verbotene Praktiken betreffen die Biometrie. Untersagt ist das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachung zum Aufbau von Gesichtserkennungsdatenbanken. Verboten ist auch die Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen, ausser aus medizinischen oder Sicherheitsgründen. Ebenso untersagt ist die biometrische Kategorisierung, die sensible Merkmale wie die ethnische Herkunft, politische Überzeugungen oder die sexuelle Orientierung ableitet. Die biometrische Echtzeit-Fernidentifizierung im öffentlichen Raum zu Strafverfolgungszwecken ist grundsätzlich verboten und nur in eng definierten Ausnahmefällen mit besonderen Schutzvorkehrungen erlaubt.
Predictive Policing gegen Einzelpersonen
Verboten ist zudem die KI-gestützte Vorhersage, dass eine bestimmte Person eine Straftat begehen wird, wenn diese Vorhersage allein auf einem Profiling oder der Bewertung von Persönlichkeitsmerkmalen beruht. Diese Praxis, oft als Predictive Policing bezeichnet, gilt als unvereinbar mit der Unschuldsvermutung und dem Schutz vor Diskriminierung, weil sie Menschen aufgrund von Wahrscheinlichkeiten und Eigenschaften statt aufgrund konkreter Handlungen verdächtigt.
Die Konsequenzen eines Verstosses
Der Einsatz verbotener KI-Praktiken ist mit den höchsten Bussgeldern des AI Act bewehrt: bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist. Diese Höhe unterstreicht, wie ernst der Gesetzgeber diese Verbote nimmt. Da das Verbot bereits seit Februar 2025 gilt, ist es keine zukünftige Sorge, sondern geltendes Recht. Unternehmen sollten sicherstellen, dass keine ihrer KI-Anwendungen unter Artikel 5 fällt — auch nicht versehentlich, etwa durch eine Emotionserkennungsfunktion in einem ansonsten harmlosen System.
Was Unternehmen prüfen sollten
Warum auch gewöhnliche Unternehmen prüfen sollten
Auf den ersten Blick wirken die verbotenen Praktiken weit entfernt von der Realität gewöhnlicher Unternehmen — kaum jemand betreibt Social Scoring oder biometrische Massenüberwachung. Dennoch lohnt eine sorgfältige Prüfung, weil einzelne Funktionen unbeabsichtigt in den verbotenen Bereich geraten können. Eine Software, die Emotionen von Mitarbeitenden auswertet, etwa zur Produktivitätsmessung, fällt unter das Verbot der Emotionserkennung am Arbeitsplatz. Ein Marketingsystem, das gezielt die Schwächen vulnerabler Gruppen ausnutzt, kann als manipulative Praktik gelten. Da Verstösse gegen Artikel 5 mit den höchsten Bussgeldern bewehrt sind, sollte jedes Unternehmen seine KI-Funktionen daraufhin durchsehen, ob sie verbotene Elemente enthalten.
Die Abgrenzung zwischen verboten und hochriskant
Eine wichtige begriffliche Unterscheidung ist die zwischen verbotenen und hochriskanten Praktiken. Hochrisiko-Systeme sind erlaubt, müssen aber strenge Pflichten erfüllen; verbotene Praktiken sind unter keinen Umständen zulässig. Manche Anwendungen liegen nahe an der Grenze. Biometrische Identifizierung etwa ist in bestimmten Konstellationen verboten, in anderen als Hochrisiko-System unter Auflagen erlaubt. Die genaue Einordnung erfordert daher eine sorgfältige Analyse des konkreten Einsatzzwecks und der Umstände. Diese Abgrenzung ist nicht akademisch, sondern entscheidet darüber, ob eine Anwendung mit Auflagen betrieben werden darf oder vollständig unterlassen werden muss.
Die Prüfung als erster Compliance-Schritt
Weil ein Verstoss gegen Artikel 5 die schwerste Sanktion des AI Act auslöst und das Verbot bereits seit Februar 2025 gilt, steht die Prüfung auf verbotene Praktiken am Anfang jeder AI-Act-Compliance. Bevor ein Unternehmen seine Systeme nach Risikostufen klassifiziert, sollte es sicherstellen, dass keine davon eine verbotene Praktik darstellt. Diese Prüfung ist Teil der KI-Inventarisierung: Für jedes erfasste System wird zunächst geklärt, ob es unter Artikel 5 fällt, bevor die weitere Klassifizierung erfolgt. Innopulse stellt diese Prüfung an den Anfang jeder Klassifizierung — sowohl im Werkzeug AI Risk Check als auch in der begleitenden Compliance-Beratung — und schafft so frühzeitig Klarheit über die kritischste Risikodimension.
Auch wenn die meisten verbotenen Praktiken auf den ersten Blick weit von der Realität gewöhnlicher Unternehmen entfernt scheinen, lohnt eine sorgfältige Prüfung. Funktionen zur Emotionserkennung, biometrische Komponenten oder Bewertungssysteme, die Menschen über verschiedene Kontexte hinweg einstufen, können unbeabsichtigt in den verbotenen Bereich geraten. Im Rahmen der KI-Inventarisierung sollte daher für jedes System geprüft werden, ob es Elemente einer verbotenen Praktik enthält. Diese Prüfung steht am Anfang jeder AI-Act-Compliance, weil ein Verstoss gegen Artikel 5 die schwerste Sanktion auslöst. Innopulse berücksichtigt diese Prüfung als ersten Schritt jeder Klassifizierung — sowohl im Werkzeug AI Risk Check als auch in der begleitenden Compliance-Beratung.
Fazit
Die laufende Beobachtung der Praxis
Da der AI Act ein neues Gesetz ist, entwickelt sich die Auslegung der verbotenen Praktiken erst nach und nach durch Leitlinien der Kommission und die Praxis der Aufsichtsbehörden. Manche Begriffe — etwa was als manipulative Technik oder als Ausnutzung von Schutzbedürftigkeit gilt — sind auslegungsbedürftig und werden durch Anwendungsfälle konkretisiert. Unternehmen sollten diese Entwicklung beobachten, denn eine heute als zulässig eingeschätzte Funktion könnte durch eine künftige Leitlinie in den verbotenen Bereich rücken. Diese Notwendigkeit der laufenden Beobachtung unterstreicht, dass AI-Act-Compliance ein dauerhafter Prozess ist, der mit der sich entwickelnden Rechtspraxis Schritt halten muss.
Die verbotenen KI-Praktiken des Artikels 5 markieren die rote Linie des EU AI Act: Anwendungen, die unter keinen Umständen zulässig sind. Auch wenn die meisten weit von der Realität gewöhnlicher Unternehmen entfernt scheinen, können einzelne Funktionen unbeabsichtigt in den verbotenen Bereich geraten — etwa Emotionserkennung am Arbeitsplatz. Da Verstösse die schwerste Sanktion auslösen und das Verbot bereits gilt, gehört die Prüfung auf verbotene Praktiken an den Anfang jeder KI-Inventarisierung.