989. Sitzung des Bundesrates am 15. Mai 2020
A
Der Ausschuss für Arbeit, Integration und Sozialpolitik (AIS), der Ausschuss für Agrarpolitik und Verbraucherschutz (AV), der Verkehrsausschuss (Vk) und der Wirtschaftsausschuss (Wi) empfehlen dem Bundesrat, zu der Vorlage gemäß §§ 3 und 5 EUZBLG wie folgt Stellung zu nehmen:
- 1. Der Bundesrat begrüßt die Überlegungen der Kommission zu einem europäischen Konzept für Exzellenz und Vertrauen bezüglich Anwendungen von Künstlicher Intelligenz (KI). Der Bundesrat stimmt mit den Zielen der Kommission überein, eine Fragmentierung des Binnenmarkts durch eine rein nationale Regulierung von KI-Anwendungen zu vermeiden und stattdessen einheitliche europäische Rahmenbedingungen hierfür zu schaffen.
- 2. Der Bundesrat begrüßt die Vorlage eines Weißbuchs zur KI. Er unterstützt grundsätzlich die Zielsetzung der Kommission, zusammen mit den Mitgliedstaaten ein koordiniertes europäisches KI-Konzept zu entwickeln, das auf der im April 2018 vorgelegten europäischen KI-Strategie aufbaut, um so die mit KI einhergehenden Chancen und Herausforderungen anzunehmen und auf diese zu reagieren. Der Bundesrat bekräftigt, dass die Länder in diesem Prozess eine wichtige Rolle einnehmen sollen.
- 3. Der Bundesrat bekräftigt seine Stellungnahmen vom 15. Februar 2019 zur Mitteilung über einen koordinierten Plan für KI (BR-Drucksache 631/18(B)
) und vom 17. Mai 2019 zur Mitteilung über die Ethik-Leitlinien für eine vertrauenswürdige KI (BR-Drucksache 165/19(B) ) und hebt erneut die besondere Bedeutung von KI im Bereich der Medien- und Meinungsfreiheit hervor. - 4. Der Bundesrat begrüßt, dass die Kommission mit dem Weißbuch zur KI sowie der zeitgleich veröffentlichten Mitteilung über eine europäische Datenstrategie (BR-Drucksache 096/20 (PDF) ) eine rasche und sichere Entwicklung der KI in Europa unter uneingeschränkter Achtung der Werte und Rechte der europäischen Bürgerinnen und Bürger weiter vorantreiben will.
- 5. Der Bundesrat stellt fest, dass der Einsatz von KI großes Potenzial bietet und Europa auf der Basis europäischer Werte entscheidend zum Erfolg einer KI beiträgt, die den Menschen in den Mittelpunkt stellt.
- 6. Er teilt die Auffassung der Kommission, dass Europa nicht nur als Anwender, sondern auch als Urheber und Hersteller dieser Technologie über die Voraussetzungen zum Ausschöpfen des Potenzials von KI verfügt. Europa kann es sich nicht leisten, die Innovations- und Wertschöpfungspotenziale der KI ungenutzt zu lassen.
- 7. Eine wesentliche Voraussetzung hierfür ist die Etablierung eines Regulierungsrahmens für KI, der Rechtssicherheit für Entwickler und Anwender schafft und die Entstehung von Innovationen in Europa fördert. Der Bundesrat begrüßt, dass die Kommission einen einheitlichen Regulierungsrahmen für den Binnenmarkt schaffen will, der dem Marktortprinzip folgen und dazu beitragen soll, einen souveränen "europäischen Weg" bei der Entwicklung und Anwendung von KI zu beschreiten.
- 8. Der Bundesrat befürwortet ferner die Schaffung eines soliden europäischen Regulierungsrahmens für eine KI zum Nutzen der Bürgerinnen und Bürger, der zur Schaffung eines reibungslos funktionierenden Binnenmarkts beiträgt. Er betont, dass dieser Regulierungsrahmen zur Weiterentwicklung und Verbreitung von KI sowie zur Stärkung der industriellen Basis Europas im Bereich von KI beiträgt.
- 9. Der Bundesrat teilt die Einschätzung der Kommission zur Bedeutung der Vertrauenswürdigkeit für die Akzeptanz von KI bei den Bürgerinnen und Bürgern und unterstützt auch in dieser Hinsicht die Forderung nach einem klaren europäischen Regulierungsrahmen. Dieser ist so auszugestalten, dass er Rechtssicherheit und die Achtung der Privatsphäre der Bürgerinnen und Bürger gewährleistet. Im Interesse eines effektiven Verbraucherschutzes sind im Übrigen gesetzliche Mindestanforderungen an die IT-Sicherheit und den Datenschutz bereits für die Zulassung von Produkten und Dienstleistungen festzulegen.
- 10. Der Bundesrat begrüßt, dass die Kommission bei ihren Überlegungen für eine europäische Strategie zur KI deren Chancen, Potenziale und Risiken gleichberechtigt in den Blick nimmt. Er betont zugleich, dass bei der Förderung von KI, dem angestrebten Ausbau der Datenwirtschaft und der Schaffung eines Rechtsrahmens für KI-Systeme sorgfältig zu prüfen ist, welchen Zwecken KI-Systeme dienen und in welchem Maße sie auf Gemeinwohlzwecke ausgerichtet sind.
- 11. Der Bundesrat begrüßt außerdem, dass die Kommission einen sektorspezifischen Regulierungsansatz anstrebt. Ein solcher Ansatz sollte im gleichen Maße Grundrechte und insbesondere Verbraucherrechte schützen sowie die europäische Innovationsfähigkeit stärken. Der Bundesrat gibt jedoch zu bedenken, dass KI-Systeme differenziert zu betrachten sind, um regulatorische Instrumente zielgerichtet und angemessen anzuwenden und gleichzeitig deren Innovationspotenzial zu erhalten. Der Bundesrat betont die Wichtigkeit, dass ein entsprechender Legislativvorschlag zeitnah vorgelegt wird.
- 12. Der Bundesrat weist jedoch auch darauf hin, dass eine übermäßige Regulierung von Systemen der KI dazu führen kann, Innovationen in dieser Schlüsseltechnologie zu verlangsamen oder ganz zu verhindern. Dies hätte nicht nur negative Auswirkungen auf die Wettbewerbsfähigkeit der europäischen Wirtschaft, sondern auch auf die technologische Souveränität und die Fähigkeit Europas, auf europäischen Werten beruhende Regeln im Umgang mit dieser Technologie zu etablieren und durchzusetzen.
- 13. Der Bundesrat begrüßt das erklärte Ziel der Kommission, einen angemessen Rechtsrahmen für KI-Anwendungen zu schaffen und dafür einen risikobasierten Ansatz zu wählen.
- 14. Der Bundesrat begrüßt, dass auch die Kommission in ihrem Weißbuch zur KI einen risikobasierten Ansatz zur Regulierung algorithmischer Systeme in den Blick nimmt.
- 15. Der Bundesrat begrüßt daher den Vorschlag der Kommission für eine risikobasierte Regulierung von Systemen der KI im Binnenmarkt, die sich speziell auf Anwendungen mit hohen Risiken konzentriert und bei der Definition konkreter Anforderungen sektoren- sowie anwendungsspezifische Besonderheiten berücksichtigt. Das vorgeschlagene Qualitätslabel für Anwendungen mit geringem Risiko kann ein geeignetes Instrument sein, um Akzeptanz und Vertrauen in der Bevölkerung und bei den Unternehmen zu verbessern.
- 16. Allerdings erscheint es nicht ausreichend, einen einheitlichen EU-Rechtsrahmen nur für KI-Anwendungen mit hohem Risiko zu schaffen. Ein Mindestmaß an verbindlichen Qualitätsanforderungen und Transparenz muss auch für KI-Anwendungen mit mäßigem Risikopotenzial gelten.
- 17. Aus Sicht des Bundesrates bedarf es für KI-Systeme mit hohem Risikopotenzial zum Schutz der absolut geschützten Rechtsgüter, der Grundrechte und gesellschaftlicher Grundwerte klarer Grenzen und materieller Vorgaben, deren Einhaltung gegebenenfalls auch durch eine Vorabkontrolle sichergestellt werden muss.
- 18. Unter Berücksichtigung der Ergebnisse der von der Bundesregierung eingesetzten Datenethikkommission ist der Bundesrat der Auffassung, dass die in dem Weißbuch getroffene Einteilung in hochrisikobehaftete KI-Anwendungen und andere KI-Anwendungen nicht genügend differenziert erscheint. Aus Sicht des Bundesrates spiegeln die beiden kumulativen Kriterien zur Einordnung, ob es sich um eine hochrisikobehaftete KI-Anwendung handelt, die Vielfältigkeit der Anwendungen nicht angemessen wider. Der Bundesrat regt daher an, dass sich die Bundesregierung bei der Kommission dafür einsetzt, wie von der Datenethikkommission vorgeschlagen, ein Prüfschema vorzugeben, auf Grundlage dessen eine KI-Anwendung bzw. ein Algorithmus hinsichtlich seines Schädigungspotenzials zutreffender eingeordnet werden kann und abgestufte Regulierungsmaßnahmen in Ansatz zu bringen sind. Insoweit sollten gemäß den Empfehlungen der Datenethikkommission mit Blick auf das Schädigungspotenzial algorithmischer Systeme fünf Kritikalitätsstufen unterschieden werden.
- 19. Der Bundesrat begrüßt den Vorschlag der Kommission hinsichtlich einer freiwilligen Zertifizierung für nicht hochrisikobehaftete KI-Anwendungen. Der Bundesrat bittet die Bundesregierung, sich bei der Kommission dafür einzusetzen, dass Kriterien für das genannte Gütesiegel erarbeitet werden, das als freiwillige Auszeichnung marktwirtschaftliche Anreize für die Verwender sowie Orientierung für Verbraucherinnen und Verbraucher im Hinblick auf besonders vertrauenswürdige algorithmische Systeme bieten kann. Zur Erzielung weiterer Transparenz für die betroffenen Verbraucherinnen und Verbraucher schlägt der Bundesrat darüber hinaus vor, sich für eine generelle Kennzeichnungspflicht für besonders kritische algorithmische Systeme (mindestens solche der Kritikalitätsstufe 3, das heißt Anwendungen mit regelmäßigem oder deutlichem Schädigungspotenzial) einzusetzen, ohne unverhältnismäßigen regulatorischen und bürokratischen Aufwand für die Systembetreiber zu erzeugen.
- 20. Der Bundesrat weist darauf hin, dass es für die Akzeptanz von algorithmenbasierten Entscheidungen wichtig ist, dass Verbraucherinnen und Verbraucher verstehen, wie solche Entscheidungen zustande kommen, und diese gegebenenfalls auch anfechten können. Er spricht sich daher dafür aus, dass ihnen jedenfalls bei KI-Systemen mit mäßigem oder hohem Risikopotenzial ein Auskunftsanspruch betreffend die verwendete Datengrundlage und deren Gewichtung zukommt. Daneben bedarf es Offenlegungspflichten gegenüber Behörden. Der Bundesrat bittet zu prüfen, in welcher Tiefe Auskunfts- und Offenlegungspflichten bestehen sollten, um das Vertrauen in KI zu stärken.
- 21. Der Bundesrat sieht die Notwendigkeit, konkrete Lösungen zum Schutz des Einzelnen vor unangemessenen Diskriminierungen und zum Schutz der menschlichen Individualität zu entwickeln. Das Weißbuch der Kommission lässt allerdings nicht erkennen, wie die Verfestigung von Ungleichbehandlungen, die algorithmengestützten statistischen Verfahren oft immanent ist, in der Praxis überwunden werden kann. Auch kann das von der Kommission angeführte Prinzip der Überprüfung KI-gestützter Entscheidungen durch eine natürliche Person, das im Grundsatz bereits in Artikel 22 Absatz 3 der Datenschutz-Grundverordnung (DSGVO) angelegt ist, nur dann vor unzutreffenden Annahmen und ungerechtfertigten Benachteiligungen schützen, wenn die betreffende Person tatsächlich Entscheidungsspielraum besitzt und die Überprüfungsmöglichkeit in Erweiterung der geltenden Regelung in Artikel 22 Absatz 3 DSGVO auf vorgelagerte Datenauswertungen erstreckt wird.
- 22. Der Bundesrat unterstützt die Überlegungen der Kommission, Bürgerinnen und Bürger klar und deutlich darauf hinzuweisen, wenn sie mit einem KI-System interagieren. Daher bittet der Bundesrat in Betracht zu ziehen, dass Interaktionen mit allen "Social Bots" gekennzeichnet werden müssen, auch dann, wenn sie vermeintlich offensichtlich sind, um das Vertrauen in die Echtheit zwischenmenschlicher Kommunikation zu schützen. Eine solche Kennzeichnung sollte möglichst einheitlich für alle Anwendungen im digitalen Bereich erfolgen. Der Bundesrat bittet zu prüfen, ob ein einheitliches und einfaches Label möglich ist.
- 23. Aus Sicht des Bundesrates muss sorgfältig geprüft werden, ob sich die vorrangig zur Gewährleistung der Produktsicherheit geschaffenen Konformitätsbewertungsverfahren ohne Weiteres für Anforderungen an KI-Anwendungen eignen, die sich wie beispielsweise der Schutz vor Diskriminierung nur als allgemeine Rechtssätze formulieren lassen oder sogar eine grundrechtsbezogene Bewertung erfordern. In diesem Zusammenhang ist auch zu berücksichtigen, dass sich datenschutzrechtliche Zertifizierungen, mit denen die Einhaltung der Anforderungen der DSGVO geprüft würde, bislang nicht im Markt etabliert haben.
- 24. Angesichts der steigenden Komplexität von "digitalen" Produkten dürfte in vielen Fällen unklar bleiben, ob die Ursache eines Schadens in der Hardware, der Software, fehlerhaften Daten oder einem Anwendungsfehler liegt. Solche Unsicherheiten dürfen nicht zu Lasten der Verbraucherinnen und Verbraucher gehen, vielmehr sollten ihnen Beweiserleichterungen zukommen. Der Bundesrat unterstützt daher Bestrebungen, das Produktsicherheitsrecht und das Produkthaftungsrecht neu zu justieren.
- 25. Der Bundesrat spricht sich dafür aus, bei Überlegungen zur Fortentwicklung der Haftung für KI-basierte körperliche und digitale Produkte auch den Umstand in den Blick zu nehmen, dass diese Produkte nach ihrem Inverkehrbringen infolge von Software-Aktualisierungen verändert werden können und diese Änderungen einschließlich der mit ihnen zusammenhängenden Risiken der Sphäre des Herstellers zuzuordnen sind. Dem sollte bei der Bestimmung des für die Fehlerhaftigkeit des Produkts maßgeblichen Zeitpunkts Rechnung getragen werden.
- 26. Der Bundesrat betont, dass europäische Regelungen zu KI-Systemen und algorithmengestützten Entscheidungsverfahren einen effektiven Grundrechtsschutz gewährleisten müssen und nationale ethische Standards, wie beispielsweise das grundsätzliche Verbot genetischer Analysen als Voraussetzung für den Abschluss von Versicherungsverträgen nach § 18 Gendiagnostikgesetz, nicht in Frage stellen dürfen.
- 27. Laut Gutachten der von der Bundesregierung eingesetzten Datenethikkommission soll ein Kontrollverbund für kritische algorithmische Systeme auf nationaler und EU-Ebene eingerichtet werden. Außerdem soll ein "Kompetenzzentrum Algorithmische Systeme" etabliert werden, welches die sektoralen Behörden unterstützt, algorithmische Systeme zu überwachen. Der Bundesrat bittet zu prüfen, ob eine entsprechende Ausweitung der Aufgaben der Agentur der Europäischen Union für Cybersicherheit (ENISA) in Betracht kommt.
- 28. Der Bundesrat stuft die weitere Stärkung der Zusammenarbeit europäischer Universitäten und Forschungseinrichtungen als essenziell für die Entwicklung der europäischen KI-Forschung ein und unterstützt die Schaffung von Synergien. Der Bundesrat erinnert daran, dass in den Ländern bereits eine gewachsene, leistungsstarke Wissenschaftslandschaft mit weitreichenden Kompetenzen vorliegt, die es mit den vorgeschlagenen Maßnahmen zu stärken und aktiv einzubeziehen gilt. Der Bundesrat bittet die Bundesregierung daher, sich bei der Kommission für eine Struktur einzusetzen, die die Schaffung eines Netzwerks von KI-Einrichtungen mit mehreren Standorten ermöglicht, die sich jeweils auf ein Teilgebiet der KI konzentrieren.
- 29. Der Bundesrat begrüßt das Vorhaben, weltweit führende KI-Masterstudiengänge anzubieten, auf allen Ebenen des Bildungssystems stärker für KI zu sensibilisieren und die Weiterbildung von Arbeitnehmerinnen und Arbeitnehmern zu fördern. Er hält ergänzende Maßnahmen zur Information und Bewusstseinsbildung zur KI für erforderlich. Neben Studiengängen, die Studierende im Bereich KI qualifizieren, sollte der KI-Kompetenzerwerb in der breiten Bevölkerung durch niedrigschwellige Programme einen weiteren Schwerpunkt bilden, um einen ersten Zugang zu KI zu ermöglichen.
- 30. Der Bundesrat begrüßt die Zielsetzung der Kommission, bei dem koordinierten KI-Plan eine Priorität auf die Vermittlung von Kompetenzen, die für die Arbeit im KI-Bereich notwendig sind, und die Weiterqualifizierung der Arbeitskräfte zu setzen und dabei ein besonderes Augenmerk darauf zu legen, dass mehr Frauen in diesem Bereich ausgebildet und beschäftigt werden.
Der digitale Wandel muss auf faire und gerechte Weise vollzogen werden und kann, wie die Kommission auch in ihrer Mitteilung "Gestaltung der digitalen Zukunft Europas" ausführt, zur Schließung bestehender Lücken bei der Erwerbsbeteiligung beitragen. Der Bundesrat empfiehlt, dass dieser Aspekt von Erwerbslosen auch in das Weißbuch aufgenommen und an geeigneter Stelle ergänzt wird.
Auch für Arbeitslose kann KI neue Möglichkeiten der Integration in den Arbeitsmarkt schaffen. Die Vermittlung von Kompetenzen und Weiterqualifizierung ist hier ebenfalls von besonderer Bedeutung und ein Auftrag der sozialen Teilhabe. Erwerbsfähige Frauen, die eine längere Unterbrechung ihrer Erwerbstätigkeit hatten, sollten unter diesem Aspekt ebenfalls besonders gefördert werden.
- 31. Der Bundesrat begrüßt, dass der Zugang zu KI für KMU gestärkt werden soll, und hält dies für eine grundlegende Voraussetzung für die erfolgreiche Nutzung und Weiterentwicklung von KI in Europa. Der Bundesrat unterstützt vor diesem Hintergrund den Ansatz, ein Pilotprogramm zur Bereitstellung von Beteiligungskapital für innovative KI-Entwicklungen einzuführen und pro Mitgliedstaat mindestens ein auf KI spezialisiertes digitales Innovationszentrum vorzusehen.
- 32. Der Bundesrat begrüßt die Absicht der Kommission, die Verfügbarkeit von Daten für die Entwicklung und Anwendung von KI zu verbessern. Datenkooperationen zwischen Unternehmen können hierbei eine wichtige Rolle spielen. Der Bundesrat bittet die Bundesregierung darum, sich für eine Verbesserung der Rechtssicherheit beim Austausch von Daten auf europäischer Ebene einzusetzen.
- 33. Der Bundesrat bittet die Bundesregierung außerdem darum, sich unter Beachtung der Ergebnisse des Konsultationsprozesses bei der weiteren Konkretisierung des angekündigten Gesetzgebungsverfahrens durch die Kommission insbesondere dafür einzusetzen, dass
- - der regulatorische Rahmen für Transparenz und Klarheit sorgt, welcher Regulierung eine bestimmte Anwendung unterworfen ist und welche Anforderungen damit einhergehen, so dass Unternehmen Rechtssicherheit bei der Entwicklung und Nutzung dieser Anwendung erhalten, - ein Augenmerk darauf gelegt wird, dass KMU sowie Startups durch angepasste und neue regulatorische Anforderungen nicht übermäßig belastet werden und dass sie, wo erforderlich, bei der Erfüllung der administrativen Umsetzung in geeigneter Form unterstützt werden,
- - Geschäftsgeheimnisse im Rahmen von Prüf- und Offenlegungspflichten gewahrt bleiben sowie
- - die Vor- und Nachteile einer Exante- und Expost-Konformitätsprüfung intensiv geprüft werden und eine schnelle und unkomplizierte Prüfung durch die zuständigen Stellen sichergestellt wird.
- 34. Der Bundesrat übermittelt die Stellungnahme direkt an die Kommission.
B
- 35. Der federführende Ausschuss für Fragen der Europäischen Union, der Gesundheitsausschuss, der Ausschuss für Innere Angelegenheiten, der Ausschuss für Kulturfragen, der Rechtsausschuss und der Ausschuss für Umwelt, Naturschutz und nukleare Sicherheit empfehlen dem Bundesrat, von der Vorlage gemäß §§ 3 und 5 EUZBLG Kenntnis zu nehmen.