17490/J XXVII. GP

Eingelangt am 17.01.2024
Dieser Text wurde elektronisch übermittelt. Abweichungen vom Original sind möglich.

Anfrage

der Abgeordneten Douglas Hoyos-Trauttmansdorff, Mag. Gerald Loacker, Kolleginnen und Kollegen

an den Bundesminister für Arbeit und Wirtschaft

betreffend Berufsinfomat: Transparenz über Kosten und Funktionsweise

Das Arbeitsmarktservice (AMS) hat ein neues Tool präsentiert, das bei der Beratung unterstützen soll. Das neue Tool des AMS, genannt "Berufsinfomat", basiert auf der Künstlichen Intelligenz (KI) ChatGPT und soll den Zugriff auf aktuelle Informationen zu Berufen in Echtzeit ermöglichen.

AMS-Chef Kopf freute sich bei der Präsentation der neuen Funktion darüber, dass das AMS damit die erste Arbeitsmarktverwaltung in Europa sei, die Künstliche Intelligenz in der Beratung einsetzt. Dabei betonte er, dass die KI derzeit nicht für die Vermittlung von Arbeitsplätzen genutzt wird, sondern vielmehr dazu dient, relevante Informationen zu Berufen bereitzustellen.

Die Einführung dieser Technologie soll den Beratungsprozess effizienter gestalten, wodurch das AMS-Personal mehr Zeit für persönliche Beratungsgespräche zur Verfügung haben soll. Trotz des Einsatzes von KI soll es keine Personaleinsparungen geben. Die technische Umsetzung des Tools erfolgte in Zusammenarbeit mit dem Bundesrechenzentrum (BRZ) und der KI-Firma Goodguys GmbH. In einem dreimonatigen Pilotbetrieb wurde das System von AMS-Mitarbeitern mit Daten gefüttert. Die Kosten für die Entwicklung des digitalen Beratungstools belaufen sich bisher auf etwa 300.000 Euro. Das AMS plant, das Tool kontinuierlich weiterzuentwickeln. Das Berufsinfomat steht in fast 90 Sprachen zur Verfügung und kann sowohl von AMS-Beratern, Arbeitssuchenden als auch in Schulen im Rahmen der Berufsorientierung genutzt werden. 

Ein bekanntes Problem solcher Tools ist, dass es sich hierbei nicht um Intelligenz im klassischen Sinne handelt, sondern vielmehr die statistisch wahrscheinlichsten Antworten wiedergegeben werden. Das führt dazu, dass Vorurteile aus den eingegebenen Datensätzen übernommen werden. Von solchen Systemen ist auch bekannt, dass sie dazu neigen mangels Daten Antworten zu erfinden, was beispielsweise die Antworten des Berufsinfomats über die Gehälter von Nasenbohrern gut aufzeigen. Kritik wurde gleich auf sozialen Medien laut, die sich über bekannte Mängel von KI-Systemen hinaus auch auf die technische Umsetzung bezieht. Nutzer haben den Code detailliert untersucht und fanden grobe Fehler und potenzielle Sicherheitslücken.

Das AMS äußert sich nicht zur Codequalität, betont jedoch, dass es die Entscheidung des Auftragnehmers sei, wie das Produkt ausgestaltet wird. Die technische Umsetzung des Berufsinfomat bezeichnen Kritiker als "Von der Stange"-Lösung, die von der Firma Goodguys.ai erworben wurde und auch auf anderen Websites zu finden ist. Die Kosten von 300.000 EUR werden daher als viel zu hoch eingeschätzt. Das AMS stellt dem gegenüber, dass das Tool für die Zwecke des AMS angepasst wurde und auf Daten des AMS zugreift. Die Höhe der Kosten sieht das AMS als gerechtfertigt an, da auch Aufwendungen für Lizenzen, Entwicklung, Design, monatelangen Pilotbetrieb, usw. nötig waren.

Wenige Tage später hat das Startup Jobiqo innerhalb weniger Minuten einen ähnlichen Bot nachgebaut. Das Startup kritisiert, dass für die Erstellung des Berufsinfomaten lediglich eine Funktion genutzt wurde, "die für zahlende Nutzer von ChatGPT Plus jederzeit verfügbar ist." Mit einem ChatGPT-Plus-Abo für 23 Euro pro Monat können solche Custom GPTs innerhalb weniger Minuten erstellt werden.

Diese Anfrage dient dazu die Vorgänge rund um die Ausschreibung und Entwicklung des AMS-Berufsinfomats transparent zu machen. Angesichts der umfangreichen Kritik an dieser Maßnahme soll auch offengelegt werden, inwiefern AMS und BMAW an der Behebung der aufgezeigten Lücken arbeiten.

Quellen: 

• https://www.ams.at/regionen/osterreichweit/news/2024/01/kuenstliche-intelligenz-unterstuetzt-bei-arbeitssuche
• https://www.derstandard.at/story/3000000201774/vorurteile-und-zweifelhafte-umsetzung-der-ams-ki-chatbot-trifft-auf-spott-und-hohn
• https://www.derstandard.at/story/3000000201911/start-up-baut-ki-chatbot-des-ams-um-wenige-euro-nach

Die unterfertigten Abgeordneten stellen daher folgende

Anfrage:

1. Ausschreibung:

1. Wann wurde diese Maßnahme öffentlich ausgeschrieben?
2. Wie viele Vergleichsangebote wurden eingeholt?
3. Nach welchen Kriterien wurde der Zuschlag erteilt? Bitte angeben, inwiefern die Angebotsleger die einzelnen Kriterien erfüllt haben.
4. Gibt es Dokumentationen der Preisauskünfte, die den Vergleich und die Bewertung der eingereichten Angebote ermöglichen?

i. Wenn ja, bitte um Aufschlüsselung der Angebote nach Angebotsleger, Leistung und Preis.

ii. Wenn nein, warum wurden die Preisauskünfte nicht dokumentiert?

5. Welche Leistungen wurden mit dem Auftragnehmer konkret vereinbart? Bitte einzelne vereinbarte Leistungen samt Kosten angeben.

2. Maßnahme:

1. Ziele: Wie sehen die konkreten Ziele dieser Maßnahme aus? Bitte einzelne Ziele angeben.
2. Kennzahlen: Welche Kennzahlen werden zur Messung des Erfolgs bzw. zur Evaluierung der Maßnahmen herangezogen? Bitte einzelne Kennzahlen und aktuellen Stand angeben.
3. Kosten: Welche Kosten sind für diese Maßnahme insgesamt vorgesehen?

i. Welche konkreten Kosten hat diese Maßnahme 2023 insgesamt für das BMAW sowie für das AMS verursacht? Bitte Kosten und damit verbundene Leistungen des AMS und BMAW getrennt angeben.

1. Wie hoch waren die Kosten für Öffentlichkeitsarbeit?

ii. Welche konkreten Kosten sind für das Jahr 2024 für das BMAW sowie für das AMS vorgesehen? Bitte geplante Kosten und damit verbundene Leistungen des AMS und BMAW getrennt angeben.

1. Wie hoch sind die vorgesehenen Kosten für Öffentlichkeitsarbeit?

4. Evaluierung: Wann ist eine Evaluierung dieser Maßnahme vorgesehen?

3. Geplante Änderungen wegen der aufgezeigten Mängel:

1. Welche Mängel wurden nach der Präsentation vom AMS bzw. vom BMAW identifiziert?
2. Welche konkreten Änderungen wurden seit der Präsentation vorgenommen?
3. Welche Maßnahmen wurden bzw. werden getroffen, um das Problem der vorurteilsbehafteten Antworten zu beheben?
4. Welche Maßnahmen wurden bzw. werden getroffen, um die aufgezeigten technischen Sicherheitslücken zu schließen?
5. Angesichts der ausführlichen Kritik an der technischen Ausgestaltung und der damit verbundenen unverhältnismäßig erscheinenden Kosten:

i. AMS:

1. Inwiefern wurde seit der Präsentation der Maßnahme innerhalb des AMS geprüft, ob angesichts der Qualität der Leistung zu viel gezahlt wurde?

a. Inwiefern wurde der Umstand berücksichtigt, dass ein Startup innerhalb weniger Minuten und mit viel geringeren Kosten ein solches Tool zusammengestellt hat?

2. Inwiefern werden rechtliche Schritte vorbereitet?

ii. BMAW:

1. Inwiefern wurde seit der Präsentation der Maßnahme innerhalb des BMAW geprüft, ob angesichts der Qualität der Leistung zu viel gezahlt wurde?

a. Inwiefern wurde der Umstand berücksichtigt, dass ein Startup innerhalb weniger Minuten und mit viel geringeren Kosten ein solches Tool zusammengestellt hat?