Dr. Johanna Telieps (wissenschaftliche Mitarbeiterin im Arbeitsbereich „Gewerblich-technische Berufe“ im BIBB) und Dr. Inga Schad-Dankwart (wissenschaftliche Mitarbeiterin im Arbeitsbereich „Gewerblich-technische Berufe“ im BIBB)
Die Marktdurchdringung des von OpenAI entwickelten Large Language Models (LLM) ChatGPT ab November 2022 (https://openai.com/de-DE/index/chatgpt/) sorgte dafür, dass die Kraft generativer KI-Technologien im öffentlichen und fachlichen Diskurs zunehmend präsenter ist. Das Bundesinstitut für Berufsbildung (BIBB) sieht sich wie schon zu Zeiten von Industrialisierung, Automatisierung und Digitalisierung im Rahmen der Diskussion rund um Qualifikationsveränderungen und sich wandelnder Kompetenzanforderungen vor die Frage gestellt, welche Auswirkung KI auf Berufe hat und wie sie sich auf Tätigkeiten auswirkt. Doch vielmehr als bei bisherigen Technologiesprüngen bergen konkret LLMs wie ChatGPT auch das Potenzial, die eigene Arbeit in der Ordnungsabteilung des BIBB zu verändern. Im Fokus dieses Beitrags steht daher die Frage, inwiefern der Einsatz von ChatGPT Neuordnungsverfahren in der beruflichen Bildung unterstützen oder gar verändern kann.
In der Abteilung 2 „Struktur und Ordnung der Berufsbildung“ des Bundesinstituts für Berufsbildung werden Ausbildungsordnungen für staatlich anerkannte duale Berufsausbildungen sowie bundesweit einheitlich geltende Fortbildungsordnungen (jeweils auf der Grundlage des BBiG / der HWO) modernisiert beziehungsweise neu entwickelt. Daneben werden die Grundlagen für die Weiterentwicklung der Ordnungsarbeit erarbeitet. Ordnungsbegleitend führen die Mitarbeitenden Bedarfsanalysen für neue Berufe durch und evaluieren erlassene Aus- und Fortbildungsordnungen mit dem Ziel einer laufenden Qualitätssicherung und Verbesserung der Ordnungsarbeit. Im Anschluss an die sogenannten Neuordnungsverfahren tragen Umsetzungshilfen aus der Reihe „Ausbildung gestalten“ zur Unterstützung der Implementation bei. (BIBB / Abteilung 2 „Struktur und Ordnung der Berufsbildung“)
1. Hintergrund der Untersuchung – Werden die internen Prozesse durch den Einsatz von KI verändert?
Mit der flächendeckenden Verbreitung von ChatGPT wurde eine niederschwellige Nutzung einer generativen Künstlichen Intelligenz für die breite Bevölkerung möglich. Dadurch wurde mehr denn je die Diskussion im öffentlichen Raum angestoßen, wie der Einsatz derartiger Technologien die Arbeitswelt verändert. Vor diesem Hintergrund wurde auch innerhalb der Ordnungsabteilung des BIBB die Frage bewegt, inwieweit sich die Arbeit der Mitarbeitenden dadurch verändern kann. Können Tätigkeiten, wie z. B. die Entwicklung einer neuen Ausbildungsordnung mit Ausbildungsrahmenplan durch ChatGPT unterstützt werden? Und ließe sich die Rechtsförmlichkeitsprüfung, die im Nachgang – und vor dem Erlass im Bundesgesetzblatt – durch das BMJ durchgeführt wird, beschleunigen, in dem der Entwurf der Ausbildungsordnung vorab durch ChatGPT geprüft würde? Da es zu diesem Zeitpunkt bis auf Versuche Einzelner, wie z. B. das Füllen neuer beruflicher Inhalte mit KI generierten Formulierungen oder das Zusammenführen von Mitschriften zu einem Protokollentwurf, bisher keine Untersuchung gab, die die Chancen und Risiken des Einsatzes von Chat GPT in Neuordnungsverfahren systematisch betrachtet, wurde das Projekt „Künstliche Intelligenz in Neuordnungsverfahren“ (KINO) auf den Weg gebracht.
2. Vorgehen
Um die Fragestellung, wie und vor allem an welchen Stellen eines Neuordnungsverfahrens ChatGPT die Prozesse unterstützen oder gar verändern kann, systematisch zu untersuchen, wurde das konventionelle Neuordnungsverfahren (2024-2025) des Berufs Bauzeichner/Bauzeichnerin (neu: Bautechnischer Konstrukteur/Bautechnische Konstrukteurin) durch teilnehmende Beobachtungen begleitet. Bis auf die Teilnahme eines Projektmitglieds während der Sachverständigensitzungen blieb das Neuordnungsverfahren unberührt und fand nach den üblichen Standards statt.
Grafik Ablauf eines Neuordnungsverfahren (BIBB / Wie eine Ausbildungsordnung entsteht)
Parallel zu diesem Verfahren wurden die einzelnen Prozessschritte (Vorbereitung der Sachverständigensitzung, Durchführung der Sitzung und Nachbereitung der Sitzung) in der Phase „Entwurf Ausbildungsordnung“ (siehe Grafik) gespiegelt und mit Hilfe von ChatGPT simuliert. Dabei wurde zum Start des KINO-Projektes als Voraussetzung formuliert, dass weder vom Konsensprinzip noch von der Sozialpartnerhoheit abgewichen wird. Auch wenn sich das Projekt auf den Einsatz von ChatGPT konzentrierte und damit eine fiktive Unterstützung darstellte, kamen zum Vergleich auch andere Sprachmodelle in deren jeweiligen Entwicklungsstadien zum Einsatz, wobei über den Verlauf kein Mehrwert einzelner Modelle festgestellt werden konnte. Im Anschluss an die jeweiligen Prozessschritte wurden die jeweiligen Ergebnisse – der konventionell erarbeiteten sowie die KI-unterstützten – verglichen und einer systematischen Reflexion unterzogen. Dabei wurde insbesondere hinterfragt, wie hinreichend plausibel und relevant die Ergebnisse sind, inwieweit sich Ergebnisse voneinander unterscheiden und ob sich Ergebnisse schneller erzielen lassen. Gesammelte Erkenntnisse wurden den Akteuren und Akteurinnen des Neuordnungsverfahrens bei Rückfragen jederzeit dargelegt.
Neben den Arbeiten der Projektleitung (wissenschaftliche Mitarbeit) am BIBB wurden auch die Aufgaben der Sachbearbeitung (Projektassistenz) auf Potentiale für den Einsatz von ChatGPT und anderen KIs untersucht. Hierzu gab es zwei Workshops, im Rahmen derer die Erwartungen der Sachbearbeitungen im Ordnungsgeschäft abfragt und bereits gesammelte Erfahrungen diskutiert wurden.
3. Chat GPT kann alles, aber irgendwie auch nichts richtig – Bewertung des KI-Einsatzes entlang der Prozessschritte
Geht in der Ordnungsabteilung die Weisung des zuständigen Bundesministeriums, i. d. R. des BMWE, zur Neuordnung eines Berufes beim BIBB ein (in der Grafik: nach dem Projektantrag beim Bund-Länder-Koordinierungsausschuss), wird diese der jeweiligen berufeverantwortlichen Person weitergeleitet, was einen standardisierten und qualitätsgesicherten Prozess in Gang setzt. Um Transparenz über die angestoßene Neuordnung für alle Interessierten herzustellen, wird gleich zu Beginn während der Vorbereitung des Projektes ein Abschnitt auf den BIBB-Berufeseiten zu den Gründen der Neuordnung veröffentlicht. Für die Ausformulierung eines solchen Textes erwies sich ChatGPT als große Unterstützung. Zwar konnte der vorgeschlagene Text nicht ungesehen verwendet werden, jedoch dauerte die Überarbeitung des KI generierten Textentwurfs nicht so lange wie die Erstellung des Textes ohne KI-Unterstützung.
Nach der Benennung der Sachverständigen durch die beteiligten Sozialpartner erwies sich ChatGPT bei der inhaltlichen Vorbereitung der ersten Sachverständigensitzung als inhaltliche und zeitliche Unterstützung. Vor allem bei der Recherche, der Ideenfindung für erste Formulierungen und der Strukturierung der Lernziele unterstützt ChatGPT durch Vorschläge, Impulse und Strukturierungslogiken. So konnte bei dem neuen Inhalt rund um das Thema Building Information Modelling (BIM) und kollaboratives Arbeiten mit wenig Aufwand eine erste Tischvorlage mit Lernzielen erarbeitet werden, um möglicherweise angestrebte Kompetenzen darzustellen, die im konventionellen Verfahren von der Projektleitung auf der Grundlage einer intensiveren Recherche erarbeitet wurden. Es zeigte sich jedoch, dass die Vorlage nicht mehr als eine Diskussionsgrundlage darstellen kann, da sie nicht frei von Halluzinationen war. Zudem lieferte ChatGPT Ideen, die weit über das eigentliche Ziel in einer dualen Ausbildung hinausgehen. Dies betraf insbesondere die Rollen und Verantwortlichkeiten innerhalb der BIM-Nutzung durch Bauzeichner/innen.
Bei der Erarbeitung des konkreteren Verordnungsentwurfs im weiteren Verlauf des Verfahrens half ChatGPT insbesondere beim Ausformulieren erster inhaltlicher Stichpunkte der Sachverständigen. Daraus ergaben sich zum Beispiel Vorschläge für einzelne Lernziele im Ausbildungsrahmenplan. Hier konnte durch das entsprechende Prompten die Diskussion um die korrekte Taxonomie[1] abgekürzt werden. Die durch ChatGPT erarbeiteten Lernziele wurden dann in der nächsten Sitzung den Sachverständigen zur Korrektur oder zur Präzisierung vorgelegt. In diesem Prozessschritt zeigt sich die Stärke von ChatGPT: Es wurden hinreichend gute Textvorschläge geliefert, die als Grundlage der weiteren, inhaltlichen Diskussion genutzt werden konnten. Anzumerken ist jedoch, dass die Texte anfällig für Normabweichungen (vor allem im Hinblick auf Taxonomiestufen) und inhaltliche Unschärfen sind. So sind beispielsweise in einer Ausbildungsordnung keine Erwähnungen konkreter Normen möglich, die ChatGPT für die angestrebte Präzision von Lernzielen jedoch regelmäßig empfahl. Interessanterweise beharrte ChatGPT auf solchen Konkretisierungen – trotz nachträglichen Trainings mit mehreren eindeutigen Formulierungsbeispielen. Als besonders hilfreich zeigte sich ChatGPT bei den organisatorischen Schritten, von denen die einzelnen Sachverständigensitzungen gerahmt werden, insbesondere beim Verfassen von Einladungsschreiben und Erstellen von Protokollen. Hier reichten eine im Chat zur Verfügung gestellte Vorlage sowie einzelne Stichpunkte, um die Schriftstücke in ausreichend guter Qualität zu erstellen. Es waren daraufhin lediglich kleinere Anpassungen notwendig.
Weniger hilfreich waren die Ergebnisse in der Durchführung und Nachbereitung von Sachverständigensitzungen. Vor allem beim Abstimmen der Inhalte unter den am Verfahren beteiligten Akteuren und Prüfen der Formulierungen auf ihre Eindeutigkeit, Rechtssicherheit und Verständlichkeit, war kein sinnvolles Ersetzen durch ChatGPT möglich, da präzise Fachsprache und (rechtlich) verbindliche Standards dominieren und viele Ergebnisse auf Aushandlungsprozessen (Konsensprinzip) beruhen. Als Beispiel seien die Prüfungsinstrumente genannt, die aufgrund von Vorgaben wie der Hauptausschussempfehlung 158 (abrufbar unter BIBB / Empfehlungen) standardisiert sind und sich nur in einem engen Rahmen bewegen können. Trotz iterativen speziellen Trainings des Chatbots waren die Vorschläge von ChatGPT zu kreativ, wenngleich sie auf den ersten Blick sinnvoll erschienen. Als gewinnbringend wurde dagegen der Einbezug unterrepräsentierter Perspektiven – dazu zählen spezialisierte Betriebe oder Minderheiten unter den Akteuren – gesehen, da die erarbeiteten Dokumente schnell und unkompliziert unter dem Einbezug einzelner Aspekte bewertet werden konnten. Die Sinnhaftigkeit der möglichen Ergänzungen oder Einschränkungen konnten daraufhin in den Sachverständigensitzungen diskutiert werden.
Während ChatGPT in verschiedenen Prozessschritten immer wieder gute Diskussionsgrundlagen lieferte, zeigte das LLM eine andauernde Schwäche bei der Einhaltung und Beachtung von standardisierten Vorgaben. So wurden die ins Training eingeflossenen Strukturvorgaben für den Aufbau einer Ausbildungsordnung oftmals – so schien es fast – ignoriert. ChatGPT wich wiederholt davon ab und zeigte kreative Alternativen auf. Analoge Schwierigkeiten zeigten sich bei der Überprüfung des Ausbildungsordnungsentwurfes in Bezug auf die Rechtsförmlichkeit. Hierzu wurde der Chatbot mit Regeln und Beispielen aus vergangenen Rechtsförmlichkeitsvorprüfungen durch das BMJ trainiert. Dennoch blieben die Ergebnisse weit hinter den Erwartungen zurück. Im Vergleich zu der Anzahl der vom BMJ im Nachgang identifizierten Schwachstellen wurden von ChatGPT nur vereinzelte und teilweise durch das BMJ nicht angemerkte Stellen aufgezeigt. Im Kontext der Rechtsförmlichkeitsüberprüfung durch ChatGPT ergab sich im Laufe des Projektes der Kontakt zu Kolleginnen im BMJ, die einen Chatbot für die Rechtsförmlichkeitsvorprüfung aufgesetzt hatten. Erfreulicherweise stellten sie diesen dem Projektteam für weitere Tests zur Verfügung. Ziel des Einsatzes ist es für das BIBB, an erster Stelle vermeidbare Flüchtigkeitsfehler vor der eigentlichen Vorprüfung zu eliminieren, um die Abstimmungsschleifen auf relevante Abweichungen und Unklarheiten zu konzentrieren. Aber auch diese Ergebnisse blieben bisher hinter den Erwartungen aus. Da hierzu jedoch noch Untersuchungen laufen, können noch keine finalen Schlüsse gezogen werden.
Eine größere Unterstützungsleistung erbrachte ChatGPT bei der Abstimmung mit den Ländern. Hier erfolgt am Ende der Entwurfsphase auf Seiten des Bundes und auf Seiten der Länder und vor der ersten gemeinsamen Sitzung der Abgleich der umfangreichen Dokumente wie dem Ausbildungsrahmenplan und dem Rahmenlehrplan: Neben inhaltlichen Übereinstimmungen auf Wort- und Satzebene war die Interpretationsleistung von ChatGPT hinreichend gut, sodass die Tischvorlage für die sogenannte Entsprechungsliste eine inhaltlich gute Qualität aufwies.
Nach der Veröffentlichung im Bundesgesetzblatt erfolgt als Teil der Implementierung die Information der Fachöffentlichkeit. Hierbei wird als erster Schritt eine Pressemitteilung nach vorgegebenem Standard verfasst. ChatGPT entwarf hierzu einen akzeptablen Entwurf, den die Projektleiterin nur noch geringfügig anpassen und verbessern musste, bevor er an die PR-Abteilung des BIBB übermittelt wurde.
Die aufgezeigte Differenzierung nach Prozessschritten verdeutlicht, dass der Einsatz von ChatGPT vor allem bei der Konzeptionierung von Texten einen Mehrwert bietet, bei denen eher kreative Leistungen erbracht werden. Für das umfängliche, qualitätsgesicherte und korrekte Entwerfen von Verordnungsentwürfen ist ChatGPT jedoch (noch) nicht als hinreichend funktional einzuschätzen. Auch fehlen einem LLM das Erfahrungswissen der Sachverständigen, das nicht explizit niedergelegt wurde, sowie das Gespür dafür, konkrete Lernziele für das beruflichen Anforderungsniveau zu formulieren, weshalb sich die Expertise der Sachverständigen sowie der qualitätsgesicherte Prozess aus Sicht der Projektmitarbeitenden nicht ersetzen lassen. Hinzu kommt, dass sowohl der intensive Austausch der einzelnen Perspektiven in einer Sachverständigensitzung sowie der iterative Prozess über mehrere Sachverständigensitzungen hinweg, zwischen denen die Teilergebnisse reifen und überdacht werden, nicht hinreichend simuliert werden können. Das im menschlichen Diskurs entwickelte, konsensuale Produkt einer Ausbildungsordnung erfährt nicht zuletzt aufgrund dieses Prozesses seine große Akzeptanz.
Erste Vorstellungen der (Zwischen-)Ergebnisse vor der wissenschaftlichen Community und Akteuren der Ordnungsarbeit ergaben ähnliche Eindrücke: Für spezifische Einsätze in engen Grenzen eignet sich ChatGPT noch nicht. Insbesondere die Akteure in der Ordnungsarbeit schätzen das systematische Vorgehen im KINO-Projekt, testen ihrerseits in ihrem Verantwortungsbereich punktuell die Einsatzmöglichkeiten von ChatGPT und anderen generativen KIs und sehen Potentiale im Austausch und in der Vernetzung der Ansätze.
04. Ordnungsarbeit – Zusammenspiel von menschlicher und künstlicher Intelligenz
Die Technologie um LLMs entwickelte sich bereits während der Projektlaufzeit stetig weiter. Beispielsweise kam Deep Research (ein mehrstufiges Durchsuchen des Internets mit Verweis auf mehrere Quellen) auf, das die Ergebnisse deutlich verbesserte und transparenter machte. Gleichwohl zeigte sich immer wieder, dass sich die Erarbeitung einer Ausbildungsordnung aus implizitem Wissen, historisch gewachsenen Bestandteilen, kreativen Ansätzen und Präzision in der Formulierung speist und daneben noch Veränderungsprozessen unterliegt, was es für ein LLM schwierig macht, das Vorgehen nachzuvollziehen.
Ein dynamisches Fortschreiten ist auch für die Zukunft zu erwarten, sodass einige Hindernisse in näherer Zukunft womöglich ausgeräumt werden. Daher sind die hier dargestellten Ergebnisse keinesfalls als endgültig zu nehmen, sondern spiegeln die Möglichkeiten und Hürden der zur Untersuchung vorliegenden Technik wider. Eine kontinuierliche Beobachtung ist sinnvoll und erforderlich. Spezialisierte (generative) KI-Modelle werden voraussichtlich einige der bisherigen Barrieren umgehen können. Bislang steht die erwartete umfängliche und tiefgehende Transformation noch aus. Aktuell kann das Unterstützungspotential von ChatGPT nur punktuell gehoben werden. ChatGPT ist ein starkes Werkzeug, das in vielen Prozessschritten unterstützen und Hilfestellung leisten kann. Aktuell bleibt es jedoch beim Einsatz in Neuordnungsverfahren noch hinter den Erwartungen zurück. Ziel sollte es sein, (zeit-)aufwändige Diskussion um das rechtsförmliche Formulieren von Inhalten aus den Sachverständigensitzungen auszulagern und Chatbots zu überlassen, sodass sich das Sachverständigengremium auf die Aushandlung der Ausbildungsinhalte konzentrieren kann.
Medien- und KI-Kompetenzen gewinnen für alle an Ordnungsprozessen Beteiligte an Relevanz, da ChatGPT als Hilfsmittel mittlerweile kaum mehr aus der Ordnungsarbeit wegzudenken ist[2]. Neuordnungsverfahren werden zukünftig mehr und mehr Hand in Hand von Menschen und KI ablaufen. Ersetzen, so kann zu jetzigem Zeitpunkt gesagt werden, lässt sich jedoch kein Prozessschritt durch die KI, doch wird der Einsatz von generativer KI als Arbeitsmittel zunehmend Bestandteil der Prozesse werden. Weitere Schritte im Zusammenhang mit dem Verordnungsentwurf sind beispielsweise nicht durch den Projektrahmen von KINO abgedeckt, sollten jedoch noch betrachtet werden. Dazu zählen die Erstellung von Umsetzungshilfen im Bereich „Ausbildung gestalten“ des BIBBs für den jeweiligen Beruf inklusive der Erstellung von rechtefreien fotorealistischen Bildern für die Illustration. Zusammenfassend lässt sich sagen, dass zufriedenstellende Ergebnisse aus Sicht der Autorinnen nur im Zusammenspiel mit dem Menschen erreicht werden können.
[1] Taxonomie i. S. v. Verben, die als Marker für ein bestimmtes Qualifikationsniveau angesehen werden. So entspricht bspw. das Verb „mitwirken“ meist nicht dem Niveau einer abgeschlossenen Ausbildung, da diese zu einer beruflichen Handlungsfähigkeit befähigt. Vielmehr werden hier Verben wie „durchführen“, „herstellen“ oder „anwenden“ präferiert.
[2] Mittlerweile prompten bspw. Sachverständige in den Sitzungen eigenständig und legen die Ergebnisse zur Diskussion vor.
