Alexandra EBERT: Leute, die eher in der Mitte der gesellschaftlichen Verteilung sind, haben oft weniger Probleme mit diesen Algorithmen. Randgruppen haben aber sehr oft dann die Situation, dass diese Algorithmen für sie nicht gut funktionieren oder sie Resultate bekommen, die als unmenschlich wahrgenommen werden.
Nikolaus FORGÓ: Frauen, empirisch, sind benachteiligt am Jobmarkt – Punkt. Und die normative, ethische Frage ist jetzt: Versucht so ein Algorithmus den Ist-Zustand darzustellen, also daher Frauen schlechter zu bepunkten, weil sie empirisch einen schlechteren Wert haben? Oder wollen wir normativ etwas gegen diese Benachteiligung tun? Also verwenden wir den Algorithmus um diese bestehende Diskriminierung idealerweise zu eliminieren?
Jingle: Rund ums Parlament. Der Podcast des österreichischen Parlaments.
Tatjana LUKÁŠ: Hallo und herzlich willkommen zu einer neuen Folge von "Rund ums Parlament", dem Podcast des österreichischen Parlaments. Mein Name ist Tatjana Lukáš. Schön, dass ihr wieder mit dabei seid. Heute gibt es die letzte Folge zum Thema Demokratie und Digitalisierung. Wir wollen heute darüber sprechen, wie viel Algorithmus und KI schon in unserem Staat steckt und was das für die Menschlichkeit unseres Miteinanders bedeutet. Dazu habe ich mir zwei sehr interessante Gäste eingeladen, mit denen ich hier im Parlamentsgebäude sitze, die auch jeweils einen Podcast haben, darauf werden wir noch zu sprechen kommen und den gleich empfehlen. Nämlich bei mir sitzen Alexandra Ebert und Professor Nikolaus Forgó. Schön, dass Sie beide den Weg zu uns gefunden haben.
EBERT: Schön, hier zu sein.
FORGÓ: Dankeschön.
LUKÁŠ: Frau Ebert, Sie sind Chief Trust Officer bei dem österreichischen Unternehmen "MOSTLY AI" und Sie sind auch als Expertin für KI und Datenschutz unter anderem für die OECD oder die britische Finanzaufsichtsbehörde tätig. Und Ihr Podcast heißt?
EBERT: "Data Democratization Podcast”.
LUKÁŠ: Ah, sehr gut, sehr gut. Herzlich willkommen in unserem Podcast. Heute nur Profis am Tisch. Und auf der anderen Seite Herr Forgó. Herzlich willkommen auch an Sie. Auch Sie haben einen eigenen Podcast, der heißt?
FORGÓ: "Ars Boni".
LUKÁŠ: Sehr gut. Sie sind Professor an der Universität Wien und dort Vorstand des Instituts für Innovation und Digitalisierung im Recht. Und Sie sind auch Mitglied des KI-Beirats der Bundesregierung. Schön, dass Sie da sind. Und in den beiden Podcasts, die Sie machen, geht es jeweils um Daten und künstliche Intelligenz, wahrscheinlich verstärkt in den letzten Monaten, schätze ich mal, Frau Ebert?
EBERT: Bei mir trifft es das durchaus, ja. Daten und künstliche Intelligenz, Fokus KI-Ethik und entweder sehr viele Policy-Experten und Gesetzgeber oder Führungskräfte von Großkonzernen sind zu Gast.
LUKÁŠ: Also ein sehr nischiger Podcast auch.
EBERT: Das stimmt.
LUKÁŠ: Ja. Und Ihr Podcast, Herr Forgó?
FORGÓ: Der kümmert sich um Digitalisierung und Recht und Covid, das war so der Anfang. Das war ursprünglich ganz stark Covid-bezogen. Inzwischen geht es vor allem um Digitalisierung und Recht und damit natürlich immer wieder auch um KI.
LUKÁŠ: Wir befinden uns hier gleich hinter dem Nationalratssaal, das Herzstück des österreichischen Parlamentarismus. Und wir treffen uns hier, weil wir darüber sprechen wollen, wie viel Algorithmus und KI in Österreich im öffentlichen Bereich eigentlich schon angewendet wird. Bevor wir tiefer einsteigen, da würde ich gerne Ihnen die Möglichkeit geben, nicht nur über die Inhalte Ihrer Podcasts zu sprechen, sondern vielleicht auch ganz kurz darzulegen, was Sie beruflich so machen. Sie sind ja Chief Trust Officer, Frau Ebert, bei dem österreichischen Unternehmen "MOSTLY AI". Was ist denn ein Chief Trust Officer und was tun Sie genau?
EBERT: Sehr gute Frage. Chief Trust Officer ist noch kein sehr verbreiteter Jobtitel. Meistens findet man diese Rolle bei ganz großen Konzernen und es ist eine eher innengerichtete Rolle, zum Beispiel bei einer großen Bank, um dafür zu sorgen, dass diese Unternehmen mit den Daten der Kunden vertrauensvoll umgehen. Bei mir ist es eine stark nach außen gerichtete Rolle. Ich bin sehr viel international auf Konferenzen unterwegs und halte Vorträge. Und bin beratend tätig für Gesetzgeberbehörden in Expertengruppen oder eben für Führungskräfte. Rund um die Themen KI-Ethik und verantwortungsvoller KI-Einsatz, aber auch synthetische Daten und Datendemokratisierung, also wie können wir eine der wertvollsten Ressourcen des 21. Jahrhunderts demokratisieren und einer breiteren Zielgruppe –Forschern, NGOs, Start-ups, SMEs – zugänglich machen, damit nicht nur die großen Konzerne der Welt Daten als Material und Innovationstreiber haben.
LUKÁŠ: Da interessiert mich, wann ist Ihnen das zum ersten Mal zum Bedürfnis geworden, da aktiv für die Demokratisierung der Daten einzutreten?
EBERT: Eigentlich durch meine Masterarbeit. Ich habe mich damit beschäftigt, wie sich die Datenschutzgrundverordnung, 2018 habe ich das Papier geschrieben, auf künstliche Intelligenz in Europa auswirken wird und hatte da die Gelegenheit mit Experten aus unterschiedlichsten Bereichen zu sprechen. Und da ist stark herausgekommen, dass Innovation im KI-Bereich und vor allem alles, was Richtung AI for good, also wenn wir in Zeitungsartikeln darüber lesen, wie viel Potenzial KI für das Gesundheitswesen, für die Umwelt, für Smart Cities hat, dass das eigentlich damit steht und fällt, wer mit diesen Daten innovieren darf. Und nur For-Profit-Organisationen und größten Tech-Konzernen der Welt die Hoheit darüber zu überlassen, ist aus demokratischer und gesellschaftlicher Sicht keine gute Idee.
LUKÁŠ: Danke für diese kurze Einführung. Herr Forgó, jetzt kommen wir zu Ihnen. Das Institut für Innovation und Digitalisierung im Recht – was tun Sie dort und was sind die Anliegen des Instituts?
FORGÓ: Wir tun das, was ein universitäres Institut so tut. Also wir kümmern uns einerseits um Forschung und andererseits um Lehre. In der Forschung sind wir sehr stark engagiert in diversen insbesondere auch europäischen Forschungsprojekten, wo es um Anforderungen und Folgen der Digitalisierung im Recht und aus rechtlicher Sicht geht. Insbesondere im Bereich der Justiz, aber auch im Bereich der Medizin oder der öffentlichen Verwaltung. Und in der Lehre versuchen wir in allen Stufen, die es so gibt an einer Universität, also von Erstsemestrigen bis zu den Doktorandinnen und Doktoranden, das, was wir gelernt haben, weiterzugeben und von den jungen Menschen auch zu lernen.
LUKÁŠ: Und Sie sitzen ja auch im KI-Beirat der Bundesregierung. Was tut dieser Beirat genau?
FORGÓ: Das ist eine gute Frage. Das, was so Beiräte so tun. Sie versuchen konstruktiv darauf hinzuwirken, dass es in einem bestimmten Policy-Field unterschiedliche Perspektiven und auch fachliche Expertise gibt. Sehr viele meiner Kolleginnen und Kollegen in dem KI-Beirat sind, so wie ich auch, Menschen mit einem akademischen Hintergrund, nicht alle sind Juristinnen und Juristen. Aber wir versuchen diese Transformation, die auch im Rechtssystem gerade vor sich geht, irgendwo möglichst konstruktiv und möglichst klug zu begleiten und entsprechende Anregungen zu geben, Empfehlungen zu geben.
LUKÁŠ: Und in so einem Beirat, wenn man da die Arbeit macht, ist man da oft einer Meinung oder wird auch im Beirat stark diskutiert?
FORGÓ: Es wird natürlich diskutiert, aber so Grundsätze sind glaube ich schon ähnlich. Sonst wäre man da nicht, denke ich. Aber natürlich redet man viel über Details.
LUKÁŠ: Kommen wir genauer zu unserem heutigen Thema, und zwar Algorithmen und künstliche Intelligenz. Die sind ja bereits in der öffentlichen Verwaltung im Einsatz in Österreich. Herr Forgó, im vergangenen Jahr ist eine Studie des Wiener Instituts für höhere Studien genau dazu erschienen. Und Sie haben diese Studie mitpräsentiert. Vielleicht können Sie uns sagen: Wo und wie werden denn in der öffentlichen Verwaltung bereits Algorithmen und künstliche Intelligenz eingesetzt?
FORGÓ: Ich möchte zuerst klarstellen, ich bin keiner der Autoren oder Autorinnen dieser Studie. Ich war dabei, als die der Öffentlichkeit vorgestellt wurde, aber die stammt aus dem IHS, aus dem Institut für höhere Studien. Ich habe dort also, abgesehen davon, dass ich mit dabei war und meine Meinung dazu gesagt habe, nicht unmittelbar was beigetragen. Ich war wahrscheinlich deswegen bei dieser Veranstaltung mit dabei, weil ich ein bisschen was erzählen durfte über den KI-Act oder AI-Act, also über das KI-Gesetz, über die aktuellen europäischen Bemühungen, den Einsatz von künstlicher Intelligenz in Europa zu regulieren. Und das ist eines meiner Forschungsfelder, deswegen war ich da dort. Wenn Sie mich fragen, wie die Situation im öffentlichen Bereich in Österreich insgesamt aussieht, dann würde ich sagen, steht auch so in der Studie: Wir sind in Europa wahrscheinlich irgendwo im Mittelfeld. Also wir sind weder die allerletzten noch die allerersten. Europa insgesamt ist nicht im Mittelfeld, sondern eher hinten nach, wenn man das Ganze auf einer globalen Skala ansieht. Und in Österreich im Speziellen gibt es eine gewisse Dichotomie zwischen der Eigenwahrnehmung, die letztlich noch aus den 90er-Jahren stammt, wo Österreich wirklich sehr weit vorne war, und der Realität, wo man wahrscheinlich sagen muss, wir sind irgendwie, so wie alle, stets sehr bemüht gerade. So würde ich die Situation beschreiben.
LUKÁŠ: Jetzt haben wir da eher allgemein darüber gesprochen, aber können wir vielleicht so konkrete Anwendungsbeispiele nennen, wo das wirklich schon im Einsatz ist, damit unsere Hörerinnen und Hörer sich auch wirklich etwas vorstellen können? Was wird dadurch reguliert?
FORGÓ: Also was reguliert wird ist das eine, der Einsatz ist das andere und es ist ein Phänomen, dass wir sehr viel Regulierung haben, obwohl wir noch sehr wenig Einsatz haben. Das ist eines der Dilemmata hier. Also wir haben einen mehrere hundert Seiten ausmachenden KI-Akt oder KI-Gesetz und noch gar nicht so viel wirklich, jedenfalls nicht so viel an Eigenentwicklung derzeit im öffentlichen Bereich. Ein Pilotprojekt, das man vielleicht nennen könnte, läuft im Justizministerium. Das ist der Versuch, Urteile automatisiert unter Einsatz von KI zu anonymisieren. Das ist eines der Probleme, wenn man Urteile veröffentlicht, dass da drinnen möglichst nicht steht, ob das jetzt die Frau Mayer oder der Herr Müller war, der, die geklagt wurde. Und gleichzeitig ist aber dieses Urteil möglichst breit allen bekannt zu machen. Und bisher sind diese Anonymisierungen mühsam menschlich gemacht. Und es gibt also Pilotversuche, das zu automatisieren. Wie immer gibt es aber bei so Pilotversuchen dann das Problem der False Positive und der False Negative, also dass man zu viel oder zu wenig anonymisiert. Es gibt auch – vielleicht ein Beispiel, das ich an diesem Ort hier nennen möchte – Versuche aus den Open-Data-Initiativen, auch des Parlaments dann, weitere KI-Anwendungen zu entwickeln, die dann nicht immer auch aus der öffentlichen Hand selbst kommen, sondern in Kooperation mit der öffentlichen Hand entstehen. Da gibt es zum Beispiel einen Service in Österreich, das heißt parlament.foryourinterest, also "fyi" nach dem Punkt. Das ist eine private Initiative, es sind zwei Leute, die das machen. Und was die machen, ist, dass sie unter Einsatz von ChatGPT im Wesentlichen die Protokolle, die im Parlament vorhanden sind, automatisiert auswerten, künstlich intelligent auswerten und daraus dann einen Service generieren, das ihnen zum Beispiel ermöglicht, sich anzusehen, ob jetzt die Partei A oder der Abgeordnete B in einer bestimmten Diskussion als besonders konstruktiv oder destruktiv oder aktiv oder inaktiv aufgefallen ist. Also was man beobachten kann, sind schon auch so an dieser Schnittstelle Public-Private-Partnerships oder Bürgerengagement und Bürgerinnenengagement, dass es da an der Schnittstelle das eine oder andere schon gibt.
LUKÁŠ: Das ist interessant, vielen Dank. Frau Ebert, warum ist es denn überhaupt so, dass KI und Algorithmen herangezogen werden, um gewisse Aufgaben zu übernehmen?
EBERT: Das ist eine sehr gute Frage. Ein Grund dafür ist, dass Sie manche Dinge sehr gut leisten können. Algorithmen sind ja eigentlich nur dazu da, Einordnungen vorzunehmen, Vorhersagen abzugeben oder insbesondere, wie wir es jetzt durch ChatGPT und dergleichen kennen, um Content zu generieren oder, wie wir es gehört haben, zusammenzufassen, aufzubereiten. Eingesetzt werden Sie dort, wo man hofft, dadurch Effizienzsteigerungen oder neue Innovationen fördern zu können. Teilweise aber auch in Bereichen, wo man glaubt, dass sie Mehrwert liefern können, technologisch aber noch gar nicht dort sind, dass so ein Einsatz gerechtfertigt wäre. Ich kann nachher gerne noch Beispiele international bringen, wo man KI zum Beispiel im Justizbereich oder im Polizeieinsatz findet, aber ganz große ethische Schwachstellen aufgezeigt wurden.
LUKÁŠ: Vielleicht können wir gleich ein Beispiel nennen, weil mit Beispielen verstehen unsere Hörerinnen und Hörer immer alles viel besser.
EBERT: Dann machen wir das. Eines dieser schon lange diskutierten Negativbeispiele kommt aus Amerika, wo ein Algorithmus, der sogenannte COMPAS-Algorithmus, Richtern zur Seite gestellt wurde, um die Entscheidung zu treffen, ob jemand auf Bewährung aus der Untersuchungshaft entlassen werden darf oder nicht. Und hier wurde aufgezeigt von einem Forschungsinstitut, dass es Vorurteile und Diskriminierung insbesondere bezüglich afroamerikanischer Häftlinge gab. Es ist dann sehr lange debattiert worden, wo eben aufgezeigt wurde, dass das Risiko, dass dieser Algorithmus dunkelhäutigen Personen attestiert, wieder straffällig zu werden und daraus zu begründen, dass diese Personen nicht aus der Untersuchungshaft entlassen werden, aufgrund der Daten, die in diesen Algorithmus gefüttert werden, nicht wirklich gerechtfertigt ist. Das Problem war hier nämlich, dass die Daten, die für diesen Algorithmus zu Trainingszwecken herangezogen wurden, eigentlich allgemeine Polizeistatistiken aus Amerika waren. Wegen menschlicher Vorurteile war aber festzustellen, dass sehr viele Polizisten hauptsächlich in stark afroamerikanischen Nachbarschaften unterwegs waren. Und Überraschung, wenn ich als Polizist immer nur an einer Ecke stehe, wo vorrangig dunkelhäutige Menschen unterwegs sind, kann ich auch in meinen Daten, in meinen Statistiken vorweisen, dass diese Personen eher straffällig werden. Und das ist zum Beispiel auch schon eines dieser Beispiele, das ganz gut illustriert, wie knifflig es eigentlich ist, diese Vorurteile aus Algorithmen rauszubekommen. Denn der Hersteller des Algorithmus hat behauptet, aufgrund der Daten sind die Entscheidungen absolut gerechtfertigt, ohne zu berücksichtigen, wie diese Daten eigentlich gesammelt worden und entstanden sind.
LUKÁŠ: Und der erste Teil der Frage war ja auch die Frage nach dem, wie man sie positiv einsetzen kann. Gibt es auch dafür ein Beispiel?
EBERT: Was mir da auf die Schnelle einfällt, ist zum Beispiel Singapur, die gerade einen Pilotversuch haben, diese neuen generativen Tools à ChatGPT dazu zu nutzen, um den reichhaltigen Gesetzeskörper, Gesetzesschatz eines Landes der allgemeinen Bevölkerung leichter zugänglicher und verdaulicher aufzubereiten. Hier wird gerade ein Modell trainiert, das quasi auf allen Gesetzen in Singapur lernt, damit ich als Otto-Normalverbraucher einfache Fragen stellen kann und mir dieses Modell erklärt, was denn eigentlich für Gesetze für mich in dem und dem und dem Bereich relevant sind.
LUKÁŠ: Aha, okay. Ich kann einfach Fragen stellen. Ich will ein Haus bauen und was für Gesetze sind mir vorgeschrieben und woran muss ich mich halten? Und dann wird das quasi maßgeschneidert für mich ausgespuckt.
EBERT: Maßgeschneidert ist die Frage.
LUKÁŠ: Im Idealfall.
EBERT: Ich bin jetzt nicht mit den Details vertraut. Und ich glaube, Professor Forgó hat ja auch noch einige Sachen dazu zu sagen, inwieweit man solche Empfehlungen dann ausschließlich von KI befolgen soll. Aber es ist auf jeden Fall ein interessanter Einsatz.
LUKÁŠ: Sehr gut. Kommen wir später noch dazu. Jetzt machen wir einen kleinen Exkurs zu den persönlichen Fragen. Wir haben Sie schon vorgewarnt. Jeder unserer Gäste und Gästinnen bekommt drei Fragen. Ich würde mit Ihnen, Herr Forgó, starten. Frühling oder Herbst?
FORGÓ: Herbst.
LUKÁŠ: Kompromiss oder beste Lösung?
FORGÓ: Beste Lösung.
LUKÁŠ: Und wo fängt für Sie Demokratie an?
FORGÓ: Im Kindergarten.
LUKÁŠ: Vielen Dank. Frau Ebert, dieselben Fragen für Sie. Frühling oder Herbst?
EBERT: Ich entscheide mich für den Frühling. Ich mag nämlich Tageslicht sehr gerne und da kriegen wir im Frühling mehr.
LUKÁŠ: Kompromiss oder beste Lösung?
EBERT: Am liebsten hätte ich natürlich die beste Lösung, aber ich finde, es ist relevant, auch einen Zeitrahmen dazuzugeben, der angemessen ist und das landet dann doch manchmal beim Kompromiss.
LUKÁŠ: Und wo fängt für Sie Demokratie an?
EBERT: Ich würde sagen, als demokratische Gesellschaft dieses stetige Bemühen, die Herausforderungen der Zeit entsprechend zu adressieren, um eben demokratische Grundpfeiler zu wahren. Und da würde ich mir aktuell sowohl in Österreich als auch in Europa stärkeren Fokus auf Aufbau von KI-Kompetenzen wünschen.
LUKÁŠ: Vielen Dank. Dann kommen wir eh schon wieder zum Thema KI zurück.
EBERT: Wahnsinn, dauernd wird es diskutiert.
LUKÁŠ: Frühling oder Herbst – lassen Sie uns über KI sprechen.
KI und Menschlichkeit ist unser nächster Themenkomplex. Algorithmen und künstliche Intelligenzen ziehen ja eben Schlüsse, wie wir gerade vorher schon gesehen haben und geben Vorschläge für Entscheidungen. Das tun sie gut informiert und schneller als der Mensch und können eben Routineaufgaben sehr schnell erledigen. Aber trotzdem, ihre Entscheidungen empfinden wir oft als unmenschlich oder ungerecht. Und es gab ja auch in Österreich dieses prominente AMS-Beispiel. Dieser Algorithmus sollte ja, nur für alle, an denen das zufällig vorübergegangen sein sollte, so der Plan, den Beraterinnen und Beratern des Arbeitsmarktservices die Entscheidung erleichtern, welchen Arbeitssuchenden sie Zugang zu Schulungen und Trainings geben und welchen eben nicht. Das wäre eine Hop-oder-Top-Frage gewesen. Und dazu wurden die Arbeitssuchenden in drei Gruppen eingeteilt. Das Problem war, aus Sicht von Forschern und der Arbeiterkammer hat dieser Algorithmus ohnehin benachteiligte Gruppen weiterhin diskriminiert. Und warum? Weil die Daten eben von Menschen erstellt wurden und Menschen nicht vorurteilsfrei sind. Und die Kritik ist ja inzwischen so massiv, dass jetzt der Verwaltungsgerichtshof darüber entscheidet, ob dieser Algorithmus eingesetzt werden kann. Würden Sie uns vielleicht noch mal im Detail erklären, liebe Frau Ebert, warum dieser Algorithmus offensichtlich in der jetzigen Version nicht funktioniert?
EBERT: Das mache ich sehr gerne. Ich möchte vorher noch auf Ihre Einleitung eingehen. Ich finde es ist wichtig für unsere Zuhörerinnen und Zuhörer noch mal ein paar Sachen hervorzuheben. Ja, künstliche Intelligenz kann in manchen Bereichen nützlich sein, aber ich würde schon den Punkt mit "Es trifft gut informierte Entscheidungen" anfechten, weil das hängt immer ganz stark damit zusammen, wie wir als Menschen dieses System bauen und ob wir auch gut genug berücksichtigen, was alles in dieses System und in alle Entscheidungen fließen muss. Der zweite Punkt, dass die Entscheidungen oft als unmenschlich wahrgenommen werden, da beobachte ich oft eine Spaltung. Leute, die eher in der Mitte der gesellschaftlichen Verteilung sind, sei das jetzt aufgrund von Charakteristiken wie Ethnizität und dergleichen, haben oft weniger Probleme mit diesen Algorithmen. Randgruppen haben aber sehr oft dann die Situation, dass diese Algorithmen für sie nicht gut funktionieren oder sie Resultate bekommen, die als unmenschlich wahrgenommen werden. Vielleicht noch ein zweites Beispiel, um das zu verdeutlichen – auch wieder Amerika, also ein innovatives, aber schwarzes Schaf rund um KI-Ethik: Da wird es auch im Polizeibereich gerne schon eingesetzt für Gesichtserkennungen. Beispielsweise wenn eine Fahndung oder ein Haftbefehl draußen ist, dass man anhand von Gesichtserkennung und KI-Tools leichter herausfinden kann, wo befindet sich denn eine Person, die festgenommen werden soll. Es gibt aber etliche Beispiele, dass Personen fälschlich festgenommen wurden, insbesondere auch wieder mit dunkler Hautfarbe. Weil in diese Systeme nicht genug Bilder eingeflossen sind von dem ganzen Spektrum an menschlicher Diversität und deswegen die Performance für insbesondere den sprichwörtlichen weißen Mann mittleren Alters sehr gut ist. Aber alles, was davon abweicht, die Performance leider unterdurchschnittlich ist. Und deswegen sollte es hier zum Beispiel noch gar nicht eingesetzt werden. Also wichtig für unsere Zuhörer: KI ist ein Werkzeug, wir als Menschen bauen es aber und es ist unsere Verantwortung, diese ganzen Dinge zu berücksichtigen.
Mit dem als Vorwegnahme zum AMS-Algorithmus: Da gab es meines Wissens mehrere Kritikpunkte. Ein Kritikpunkt ging vor allem in die Richtung Intransparenz und Erklärbarkeit. Dass eben nicht offensichtlich war, wie kommt dieser Algorithmus zu seiner Entscheidung, ob eine Einzelperson jetzt nun hohe Arbeitsmarktchancen, mittlere oder niedrige Arbeitsmarktchancen hat. Das wäre bei so einer weitreichenden Entscheidung natürlich wünschenswert, hier mehr Informationen zu erhalten und auch als Einzelperson die Möglichkeit zu bekommen, nachzufragen, warum bin ich denn jetzt nun niedrig eingestuft worden und muss mit der Konsequenz leben, dass mir keine Förderungen zukommen. Das hat zum Beispiel gefehlt. Außerdem gab es auch noch Argumente von der Datenschutzbehörde, dass die Verarbeitungsgrundlage und die rechtliche Grundlage, diesen Algorithmus einzusetzen, nicht gewährleistet ist. Das heißt, das wird zum Beispiel auch noch diskutiert.
LUKÁŠ: Dann frage ich mal den Herrn Forgó, ob Sie vielleicht auch ein paar Beispiele für uns mitgebracht haben, gern national, international für KI, die im staatlichen Kontext funktioniert, beziehungsweise auch nicht funktioniert.
FORGÓ: Also ich habe ja, glaube ich, vorher schon gesagt, dass man in Österreich irgendwo in der Mitte liegt und nicht wahnsinnig viel entwickelt hat. Einer der Gründe dafür liegt auch im Rechtlichen. Ich möchte ein bisschen vielleicht aufsetzen auf dem, was wir gerade gehört haben. Beide Fälle sind nämlich sehr interessant und dann sieht man auch gleich, warum das in Österreich und in Europa so schwierig ist. Das eine ist mal diese Videoüberwachung, KI-gestützte Videoüberwachung im öffentlichen Raum, in Echtzeit, zur Identifizierung von Straftäterinnen und Straftätern. Da hat es in Europa eigentlich im Rahmen der KI-Gesetzgebungsdiskussion sehr lange einen Konsens darüber gegeben, dass man das nicht möchte. Punkt. Und zwar deswegen, weil man, jetzt vereinfacht gesprochen, gesagt hat, wir wollen hier keine chinesischen Verhältnisse, wir wollen nicht, dass wir alle die ganze Zeit ständig überwacht werden. Dann hat es eine sehr lange Diskussion gegeben und das Ergebnis dieser Diskussion ist, dass der KI-Act jetzt in Artikel 5 zwar ein grundsätzliches Verbot solcher Systeme vorsieht, also sowas wird es in Europa in dieser Form wohl nie geben, aber dann eine über 900 Wörter lange Ausnahmebestimmung davon. Also unter ganz bestimmten Voraussetzungen kann man solche Echtzeitüberwachungen KI-gestützt auch in Österreich machen. Ganz vereinfacht gesprochen: Dann, wenn es bestimmte Verfahrensgarantien gibt, dass ein Richter oder eine Richterin das vorher geprüft hat und dann, wenn es um besonders schlimme Formen von Kriminalität geht, Kindesentführung und so weiter. Dann geht das ausnahmsweise doch. Und das Schwierige ist jetzt natürlich einerseits mal die ethische Frage: Wie verhält man sich eigentlich ethisch als eine Gesellschaft dazu, wenn man auf der einen Seite sagt, man möchte keine 24-stündige dauernde Überwachung im öffentlichen Raum, 1984 Orwell und so weiter, und auf der anderen Seite sagt, man möchte auch keine Kindesentführungen einfach so geschehen lassen, sondern muss halt möglichst viel tun, um das zu verhindern. Und diese ethischen Diskussionen, die den Subtext darstellen für diese KI-Diskussion, die werden meiner Beobachtung nach immer wieder zwar kurz angesprochen, aber nie wirklich systematisch geführt. Und das gilt auch für das zweite Beispiel, für den AMS-Algorithmus. Der AMS-Algorithmus, da muss man zunächst einmal sagen, ich finde es sehr bedauerlich, dass der immer so in den Vordergrund gestellt wird, denn man könnte auch sehr positiv sagen, da hat mal jemand versucht, etwas zu ändern. Also es hat mal jemand sozusagen innovativ versucht, etwas zu ändern. Und das, was dieser jemand versucht hat zu ändern, war folgendes Problem: Derzeit ist es so, dass wenn es stimmt, dass es knappe Ressourcen im Arbeitsmarktservice gibt und wenn es stimmt, dass diese knappen Ressourcen am besten jene erlangen sollen, die besonders davon profitieren, und das ist von diesen drei Gruppen hier die mittlere, dann macht es Sinn, zu versuchen, diese mittlere Gruppe zu identifizieren. Also nicht die zu fördern, die ohnehin nie einen Job kriegen werden, weil sie unterqualifiziert sind, oder die zu fördern, die auf jeden Fall einen kriegen, weil sie sowieso super qualifiziert sind. Sondern die knappe Ressource, dort hinein zu investieren, wo am ehesten ein Profit entstehen wird. Und das war das Ziel, nicht mehr und nicht weniger. Identifiziere diejenigen, bei denen es am sinnvollsten ist, sie zu fördern. Und dann gibt es noch ein Problem dabei, nämlich, dass viele dieser Faktoren, die in diesen Algorithmus hineingegangen sind, also zum Beispiel der Faktor "Ist der Antragsteller, die Antragstellerin männlich oder weiblich?" empirisch einen Einfluss hat auf die Vermittelbarkeit von arbeitslosen Menschen. Frauen, empirisch, sind benachteiligt am Jobmarkt – Punkt. Immer noch. Und die normative, ethische Frage ist jetzt: Versucht so ein Algorithmus den Ist-Zustand darzustellen? Also daher Frauen schlechter zu bepunkten, weil sie empirisch einen schlechteren Wert haben und wir die knappe Ressource möglichst effizient einsetzen wollen? Das führt zu einer strukturellen Benachteiligung von Frauen, auch durch den Algorithmus. Oder wollen wir normativ etwas gegen diese Benachteiligung tun? Also verwenden wir den Algorithmus, um diese bestehende Diskriminierung idealerweise zu eliminieren, weniger idealerweise zumindest zu reduzieren? Und auch das ist letztlich eine ethische Frage, weil es darum geht, irgendwie knappe Ressourcen, Haushaltstreue und so weiter versus Förderung von bestimmten Personengruppen in Ausgleich zu bringen. Und solange man das nicht tut, solange man diese ethische Diskussion nicht sauber führt, kommt man dann in alle möglichen rechtlichen und ethischen Folgeprobleme. Das andere Thema, das auch noch ganz kurz angesprochen wurde, sind diese intrinsischen Bias, also wie zum Beispiel, dass dunkelhäutige Menschen strukturell schlechter abschneiden in solchen Systemen, weil sie unterrepräsentiert sind. Da entsteht das Thema, dass man die natürlich nicht wahnsinnig gut kennt, dass man also ganz viel forschen muss darüber, wo so ein Bias auftritt und warum er auftritt und wie man ihn aus einem Datensatz wieder herausbekommt. Und dabei aber immer auch mitbedenken muss, dass Menschen solche Bias natürlich auch haben. Also auch jeder Mensch, der irgendetwas untersucht, unterliegt solchen Vorurteilen. Also muss man da wiederum dann die ethische Frage stellen oder die grundsätzliche Frage stellen: Inwiefern ist so ein KI-System anders als irgendwie jeder beliebige Mensch, der irgendwie auf der Straße jetzt entscheidet als Polizist oder Polizistin, schaue ich mir jetzt den an oder die, wenn ich irgendjemanden untersuchen muss. Inwiefern muss so ein KI-System besser sein oder darf zumindest nicht schlechter sein? Auch das ist eine Diskussion, die wir erstaunlich wenig geführt haben. Und das führt dann alles in komplexe datenschutzrechtliche Probleme. Dort kulminiert das dann nämlich ganz regelmäßig, weil im Datenschutzrecht in Europa einerseits der Grundsatz gilt, dass alles, was nicht ausdrücklich erlaubt ist, verboten ist, soweit es um personenbezogene Daten geht. Deswegen ist ganz viel von dem ganz schnell verboten. Und zweitens im Datenschutzrecht ganz häufig eine Interessensabwägung stattfinden muss zwischen den Interessen dessen, der die Daten verarbeitet und dessen, dessen Daten da verarbeitet werden. Und das sind dann im Ergebnis solche ethischen Fragestellungen. Und deswegen landet man zum Beispiel beim AMS-Algorithmus relativ schnell bei der Datenschutzbehörde, weil die dann einerseits prüft, gibt es eine Rechtsgrundlage, und andererseits auch prüft, wie ist eigentlich diese Interessensabwägung ausgefallen.
LUKÁŠ: Okay, wenn ich da jetzt zusammenfassend als Nicht-Spezialistin aus diesem Bereich sagen kann, dann wissen wir jetzt, warum die Maschine Vorurteile haben kann. Die Frage stellt sich aber, jeder hat Vorurteile, warum nicht auch die Maschine quasi? Dann gibt es diese ethische Komponente, dann gibt es die rechtliche Komponente und währenddessen rollt die große KI-Welle auf uns zu.
FORGÓ: Sie ist schon da, sie rollt nicht auf uns zu, sie ist längst da.
LUKÁŠ: Sie ist längst da und vielleicht gewinnt sie noch ein bisschen an Kraft, wollen wir es so ausdrücken. Also wie gesagt, ich komme ja eher aus dem Medienbereich oder aus dem Podcast und da ist sie auch da, aber wird immer stärker und das wird ja in allen anderen Lebensbereichen ebenso sein. Wie kann man denn dafür sorgen, dass wir quasi vor der Welle bleiben, diese Entscheidungswelt der Daten, die unser Gemeinwesen betreffen, dass die Verantwortung beim Menschen bleibt oder dass wir das möglichst an gutem Boden vorbereiten, bevor sich es überall implementiert?
EBERT: Also ich würde sagen, vor die Welle zu kommen ist angesichts all der Herausforderungen, mit denen wir hier in Österreich oder Europa zu kämpfen haben, schon ein sehr ambitioniertes Ziel.
LUKÁŠ: Nicht unterzugehen, wollen wir es umformulieren.
EBERT: Nicht unterzugehen. Ich denke es sind viele verschiedene Sachen notwendig. Vielleicht um es auch nochmal kurz zusammenzufassen, warum wir diese Vorurteile in KI-Systemen haben: Es sind sehr oft die Daten. Entweder, dass es an repräsentativen Daten fehlt, weil ich zum Beispiel nur zu viele Beispiele von einer Bevölkerungsgruppe, zu wenige von Randgruppenminderheiten drinnen habe, oder aber wegen dieser historischen Vorurteile, die wir einfach bei uns finden. Amazon hatte mal das Problem, dass sie einen Algorithmus entwickeln wollten, der auch im Personalbereich bei Entscheidungen helfen soll. Und im Idealfall Personal ansagen sollte, wen lade ich denn von den hunderttausenden Bewerbern, die täglich anklopfen bei uns, zum Interview ein. Aufgrund der historischen Daten, die aber genutzt wurden, hat dieser Algorithmus gelernt: Weibliche Personen für Softwareentwicklungsrollen oder für höhere Führungspositionen – das gab es eigentlich nicht. Warum also überhaupt so eine Person einhalten? Das sind eben diese Themen, die auch der Herr Professor Forgó gerade angesprochen hat, wo man entscheiden muss, wollen wir das jetzt proaktiv korrigieren? Wie gehen wir damit um? Dementsprechend Empfehlungen, um nicht von der Welle komplett überrollt zu werden oder lauter Systeme im Einsatz zu haben, die dann große Probleme in der ethischen und rechtlichen Sicht mit sich bringen, ist, dass wir einfach mehr Bewusstsein und Kenntnisse bekommen rund um dieses Thema KI-Ethik und Responsible AI. Wie kann das von Anfang an bei der Entscheidung, setzen wir hier überhaupt KI ein? Ist das denn überhaupt schon geeignet für den spezifischen Einsatzzweck? Hin zu, wie muss ich along the way die ganzen Schritte gestalten, um möglichst gut mit diesen Vorurteilen umzugehen, damit das Endresultat zumindest keine unerwünschten oder unbewussten Vorurteile enthält?
LUKÁŠ: Was kann zum Beispiel der Einzelne dazu tun? Gibt es da irgendetwas? Das ist jetzt alles immer so ein bisschen im institutionalisierten Bereich. Aber gibt es da etwas, das der Bürger oder die Bürgerin dazu tun kann?
EBERT: Auf jeden Fall. Also es gibt auch Tendenzen, Entscheidungen von Maschinen und ich glaube, es gab sogar mal eine lustige Studie, die das illustriert hat, dass Menschen dazu neigen, der digitalen Waage mehr zu glauben als der analogen, obwohl das Gewicht sich gar nicht daraus ergibt, ob das Display nun analog oder digital ist. Tendenzen haben wir auch im KI-Bereich, dass Personen, die kein genaues Verständnis davon haben, was ist denn KI überhaupt, gerne mal dazu tendieren, zu glauben, dass das das Allheilmittel überhaupt ist und deswegen weniger kritisch den Output oder die Empfehlungen des Systems hinterfragen. Das heißt, was jeder Einzelne tun kann und was auch jede Organisation machen sollte, ist jedem und jeder Mitarbeiterin diese Grundkenntnisse rund um KI – Was ist es? Was ist es nicht? Was kann es? Was kann es nicht? Welche ethischen Probleme gibt es im Kontext von Datenschutz, im Kontext von Fairness und Diskriminierung, Transparenz, Erklärbarkeit? – mitzugeben, damit das dann auch im Einsatz von diesen Systemen eher auffällt und eher hinterfragt wird. Wenn jetzt zum Beispiel in meiner Marketingabteilung ein ChatGPT-Bild generiert wird, wo ich auf einmal keine Repräsentation von menschlicher Vielfalt habe. Oder sogar überkorrigiert wird, so wie wir diese Beispiele hatten von dunkelhäutigen Nazis und dergleichen. Je mehr Bewusstsein ich hier habe, je mehr Wissensstand, desto eher können auch die Einzelnen da ein bisschen gegensteuern. Aber das ist natürlich nicht ausreichend, da muss drumherum noch sehr viel passieren.
LUKÁŠ: Ja, aber ich finde, es ist ganz wichtig, dass die Verantwortung nicht auf das Individuum immer nur übertragen wird, aber dass jeder quasi ein Gefühl dafür hat oder ein Auge darauf hat. Wir haben in der vorigen Folge über digitalen Humanismus gesprochen. Herr Forgó, da würde ich die Frage an Sie richten: Wo sehen Sie denn den besten Ansatz für eine dem Menschen dienliche Nutzung der digitalen Technologien?
FORGÓ: Das ist eine sehr schwierige Frage. Und ich möchte, wie das für Professoren so üblich ist, deswegen grundsätzlich und breit antworten.
LUKÁŠ: Wunderbar, wunderbar.
FORGÓ: Und möchte zunächst einmal zurückkommen auf dieses vor die Welle kommen. Und möchte noch einmal ganz, entschuldigen Sie, dass ich darauf rumreite, noch einmal ganz stark sagen, dass wir nicht nur nicht vor der Welle sind, sondern die Welle längst über uns drüber geschwappt ist und wir nur nicht wirklich mitbekommen haben, dass wir gerade schon hinter der Welle stehen statt vor der Welle. Seit es ChatGPT gibt, das ist jetzt wahrscheinlich so zwei Jahre für Menschen, die sich ein bisschen dafür interessieren, leben wir damit, dass es im Schnitt derzeit ungefähr 1,8 Milliarden Visits jeden Monat gibt, wo also irgendjemand irgendetwas von ChatGPT wissen möchte und dieses System dabei selbstverständlich trainiert. Und nichts ist an OpenAI so verschlossen, wie was eigentlich dort dann mit diesen 1,8 Milliarden Trainingsdaten pro Monat geschieht. Das heißt zwar OpenAI, ist aber alles nur nicht open. Und es ist jetzt nicht nur OpenAI und ChatGPT, sondern es gibt wahrscheinlich in Ihrem und in meinem Alltag hundert derartige Systeme, die wir heute schon alle genutzt haben, ohne dass es uns wirklich aufgefallen ist. Von ihren Social-Media-Aktivitäten bis zu ihrer Navigationssoftware, das sind alles KI-getriebene Systeme, wo eine ungeheure Zahl an auch europäischen Nutzerdaten jeden Tag entsteht. Und wenn man für KI irgendetwas braucht derzeit, dann sind das große Datenmengen. Wir haben also Z-Arbeit an Daten mittlerweile in Europa generiert, die nicht in Europa geblieben sind, sondern die irgendwo anders hingewandert sind und dort jetzt auch ausgewertet, verwertet und für Produkte verwendet werden, die uns dann, denn sie sind ja gratis, als besonders attraktiv erscheinen. Das ist einmal die Ist-Situation. Und jede Form von Korrektur oder Umgang mit dieser Ist-Situation verlangt einmal eine adäquate Beschreibung dieses Ist-Zustandes, also wo stehen wir überhaupt. Und dann glaube ich, wenn man diesen Zustand einigermaßen treffsicher beschrieben hat, dann muss man sagen, wir erlauben uns in Europa ja irgendwie schon eine recht komode Sondersituation. Wir sagen irgendwie, wir leisten uns diesen Luxus der Grundrechte. Also wir wollen irgendwie sowas wie informationelle Selbstbestimmung und Datenschutz und Würde des Menschen und Gleichheit und so weiter. Und wenn man das auch will, dann stellt man fest, andere Gegenden der Welt, in denen KI relativ gut entwickelt ist, denen ist das vielleicht weniger wichtig oder zumindest ist dieses Wertegleichgewicht nicht so genau ausgeprägt oder nicht in dieser Form ausgeprägt wie in den meisten westlich-liberalen europäischen Demokratien. Und dann muss man sich fragen, was ist einem das wert, also wie viel investiert man in das, dass man sich diese lokale regionale Besonderheit weiterhin leisten kann. Bisher sehe ich da nicht so wahnsinnig viel an Investitionen, insbesondere auch nicht im allerwichtigsten Bereich, nämlich der Ausbildung. Ich werde jetzt keine Rede darüber halten, dass Unis unterfinanziert sind, obwohl ich die natürlich auch halten könnte. Aber der Umgang mit diesen Technologien ist in einem Maße in Europa schwieriger als in diesen großen Unternehmen, dass man sich das, glaube ich, auch in diesem Haus hier, in dem wir gerade sind, nicht wirklich vorstellen kann. Und das ist glaube ich ein Thema, über das man in Europa wirklich ganz stark nachdenken muss, auch wenn man eben über Grundrechte und digitalen Humanismus und so weiter nachdenkt.
EBERT: Ich möchte auch gerne einhaken. Ich kann dem zustimmen, was der Herr Professor Forgó gerade erläutert hat. Und auch aus meiner Perspektive haben wir in Europa das Problem, dass insbesondere dem Datenschutz ein ganz hohes Gewicht zugeteilt wird und gleichzeitig man sich aber davor verschließt, dass es technologisch schon sehr wohl möglich ist, KI und Datennutzung in datenschutzkonformer Weise umzusetzen. Das bringt uns auch zum Geschäftsfeld von "MOSTLY AI", die als Weltmarktführer mit synthetischen Daten eine vom Joint Research Center der Europäischen Kommission als Schlüsseltechnologie für datenschutzkonforme KI-Entwicklung bezeichnete Lösung entwickeln und wir hier aber dennoch einerseits auf Gesetzesebene und auf Brüsselebene sehr viele haben, die sprichwörtlich gesagt für 150 Prozent Datenschutz sich einsetzen. Nicht beachtend aber, dass einerseits gelebte Praxis ist, dass Daten von vielen Konzernen auch in Europa ohnehin nicht geschützt werden. Und dass es immer diese Abwägungsentscheidung braucht, die auch in der Datenschutz Grundverordnung verankert ist. Zu sagen, ja, Datenschutz ist ein sehr wichtiges Recht im europäischen Raum, aber KI ist ja nicht nur eine Frage von wirtschaftlichem Fortschritt, sondern wir sehen es durch Fälle wie Cambridge Analytica, wir sehen es, ich glaube, Sie hatten erwähnt dass eine der vorigen Folgen sich mit KI und Social Media und Miss- und Desinformation beschäftigt hat, was die nationale Souveränität und so viele andere Bereiche des gesellschaftlichen und demokratischen Lebens angeht, ganz starke Auswirkungen hat. Und deswegen wäre mein Wunsch an Europa und Österreich, hier sich vor diesen ganzen Themen nicht so zu verschließen und zu sagen, wir müssen hier andere Schritte setzen und das nutzen, was technologisch schon möglich ist, um uns zumindest wieder in die Mitte der Welle zu bringen und von diesen ganzen KI-Innovationen nicht so überschwappt zu werden.
LUKÁŠ: Ja, da gibt es natürlich immer den Corporate-Aspekt, dann gibt es den Menschenrechte-Aspekt, da fließt viel rein und natürlich dann die politischen Agenten. Vielen Dank, dass Sie heute beide zu Gast waren und uns einen Einblick in Ihre Gedanken gegeben haben zu diesem Thema. Danke fürs Herkommen.
EBERT: Sehr gerne, danke für das Gespräch.
FORGÓ: Danke für die Einladung, war mir eine Freude.
LUKÁŠ: Und das war es auch schon wieder mit "Rund ums Parlament". Ich hoffe, euch hat diese Folge gefallen. Gebt uns gerne eine Bewertung, wenn das der Fall ist. Das würde uns sehr freuen. Und abonniert uns auch, wenn ihr das noch nicht getan habt. Dann verpasst ihr garantiert die nächste Folge nicht und das solltet ihr unbedingt vermeiden. Denn mit der kommenden Episode widmen wir uns einem neuen Thema, einem für das Parlament sehr wichtigen Thema: Den Menschen nämlich, die das hohe Haus im Hintergrund am Laufen halten, damit alles, was im Vordergrund passiert, reibungslos funktioniert. Wir begleiten Mitarbeiterinnen und Mitarbeiter bei ihren Aufgaben im Haus, ob das jetzt das Sicherheitsteam, die Spezialisten von der Oberflächenreinigung, das Gastroteam im Restaurant Kelsen oder andere mehr sind. Dabei erfahren wir sicher einiges vom Alltag in einem Parlamentsgebäude, aber auch von den Geschichten, die es nur hier zu erleben gibt. Bis dahin hört euch gern durch die früheren Folgen von "Rund ums Parlament", vielleicht hört ihr euch zur Vorbereitung noch einmal die Roomtour durchs Parlament an. Falls ihr Fragen, Kritik oder Anregungen zum Podcast habt, dann schreibt uns gerne eine E-Mail an podcast@parlament.gv.at und schaut auch gerne mal auf der Website und den Social-Media-Kanälen des österreichischen Parlaments vorbei. Also, ich freue mich schon auf die nächste Folge mit euch. In diesem Sinne sage ich vielen Dank fürs Zuhören. Mein Name ist Tatjana Lukáš. Wir hören uns.
Rund ums Parlament: Folge 58