ProNet Handwerk entwickelt eine neue Prüfungssoftware. Wie kann man sich diesen Prozess vorstellen?

Für die Entwicklung der Prüfungssoftware im Handwerk müssen wir das Rad nicht neu erfinden, wir müssen es viel mehr weiterentwickeln und anpassen. Grundlage für die neue Prüfungssoftware sind die Tools von Umbrella Consortium for Assessment Networks (UCAN), die seit vielen Jahren für Prüfungen in der medizinischen Aus- und Weiterbildung eingesetzt werden. Im Projekt ProNet Handwerk werden die UCAN-Tools so weiterentwickelt und angepasst, dass sie den Anforderungen des Handwerks gerecht werden. Bisher lag der Schwerpunkt der Entwicklungsarbeiten innerhalb der Software in der Programmierung eines Nachbewertungstools und der Integration zusätzlicher Aufgabentypen. Aktuell liegt unser Schwerpunkt in der Erprobung, Evaluation und Optimierung der Software.

Welche Anforderungen muss die Prüfungssoftware für Prüfungsprozesse im Handwerk erfüllen?

Prüfungen im Handwerk sind gekennzeichnet durch eine hohe Handlungsorientierung und Komplexität, sowohl inhaltlich als auch im Hinblick auf die Prozesse der Prüfungsverfahren. Um den Anforderungen dieser Prüfungsprozesse im Handwerk gerecht zu werden, haben wir zu Beginn des Projekts eine Bedarfsanalyse durchgeführt, die u. a. eine Workshopreihe sowie Telefoninterviews, Umfragen und Hospitationen, aber auch die intensive Sichtung von Handwerksprüfungen beinhaltete.

Das Resultat der durchgeführten Bedarfsanalyse zeigt, dass sich die Prüfungsverantwortlichen der befragten Handwerksorganisationen vorrangig ein stabiles Prüfungssystem mit intuitiver Benutzeroberfläche, das zusätzliche Schnittstellen zu der vorhandenen Verwaltungssoftware ermöglicht, wünschen. Außerdem soll der Einsatz mobiler Endgeräte wie Tablets in Prüfungen möglich sein. Durch die aktuelle Erprobung der Prüfungssoftware werden weitere Anforderungen sowie Hindernisse im digitalen Prüfungsprozess herausgearbeitet und fließen in die Weiterentwicklung der Software mit ein.

 

Gewähren Sie uns einen inhaltlichen Blick: Was wird sich für Prüfer*innen durch den Einsatz der neuen Prüfungssoftware verändern?

Handwerksprüfungen werden sich mit der neuen Prüfungssoftware papierlos, zeitsparend und unkompliziert vorbereiten, durchführen und auswerten lassen. Die Software ermöglicht außerdem eine Prüfungsabnahme auf unterschiedlichen Endgeräten. Aktuell sind wir zum Beispiel in der Erprobungsphase der beiden UCAN-Tools tEXAM und tOSCE. Beide Tools kommen auf Tablets zum Einsatz. Während tEXAM den Prüflingen das Absolvieren einer Prüfung am Tablet erlaubt, ermöglicht tOSCE den Prüfer*innen die direkte digitale Bewertung und Dokumentation von Prüfungen.

Die Prüfungssoftware wird zudem die Möglichkeit bieten, einen Pool an standardisierten Prüfungsaufgaben anzulegen, sie mit einem ausgewählten Personenkreis zu teilen und zu bearbeiten sowie gemeinsam Qualitätskriterien für Prüfungsfragen und -inhalte festzulegen. Dadurch lassen sich Prüfungsfragen unkompliziert erstellen, auch in Zusammenarbeit mit anderen Prüfer*innen. Formalien und Inhalte von Klausuren lassen sich mit standardisierten Checklisten überprüfen und optimieren.

Die Bewertung der Prüfungsaufgaben erfolgt digital gestützt und ist damit bedeutend schneller und sicherer als bei Prüfungen in Papierform. Erst- und Zweitprüfende können Prüfungsaufgaben zukünftig parallel und ohne Zeitverlust bewerten. Zudem können anhand einer teststatistischen Auswertung der Ergebnisse Rückschlüsse auf die Qualität der Prüfungsaufgaben gezogen werden. Sie sehen: Jeder einzelne Schritt des gesamten Prüfungsprozesses im Handwerk ist mit der Prüfungssoftware digital umsetzbar.

 

Was sind die wichtigsten Vorteile der Prüfungssoftware?

Neben den bereits genannten positiven Aspekten wie Papier- und Zeitersparnis sehen wir zwei weitere wichtige Vorteile: Ausfall- und Rechtssicherheit. In der Praxis bedeutet die garantierte Ausfallsicherheit Folgendes: Auch wenn während einer Prüfung mal die Internetverbindung unterbrochen ist, können die Prüflinge trotzdem planmäßig ihre Prüfung durchführen und merken den Ausfall gar nicht, denn sie wird im Offline-Modus fortgesetzt. Die Daten werden im Hintergrund auf dem Gerät gespeichert und automatisch mit dem Server synchronisiert, sobald wieder eine Internetverbindung besteht. Auch die Rechtssicherheit ist gewährleistet, denn während der gesamten Prüfung werden signierte Videos aus Screenshots erstellt, die das Antwortverhalten der Prüflinge während der gesamten Prüfung dokumentieren. Damit kann sicher kontrolliert werden, ob die Antworten des Prüflings ohne Abweichungen in die Datenbank transferiert werden, und Programm-, Darstellungs- oder Übertragungsfehler werden ausgeschlossen.

 

Wo stehen Sie im Projekt aktuell und wie geht es weiter?

Aktuell befinden wir uns in der Anwendungsphase und erproben die Prüfungssoftware bereits in ausgewählten Handwerkskammern, wie etwa in Düsseldorf und Dortmund. Anfang Juni konnten wir an der Handwerkskammer Dortmund die Prüfungssoftware, -hardware sowie die Vorbereitung, Durchführung und Nachbearbeitung einer Prüfung erfolgreich erproben. Hierfür wurde das Prüfungstool tEXAM in einer 90-minütigen Übungsklausur zum/zur Gepr. Fachmann/-frau für kaufm. Betriebsführung (HwO) an Tablets erprobt. Die Resonanz der Prüflinge und Prüfenden war positiv. Im Rahmen der erfolgreichen ersten Durchläufe optimieren wir die Prüfungssoftware den Anforderungen und Bedarfen der Prüfenden und der Prüflinge entsprechend stetig weiter. Ab Juli 2022 starten wir mit der Erprobung des UCAN-Tools tOSCE für mündlich-praktische Prüfungen. Ab Herbst wird es dann einen weiteren Meilenstein in der Einführung der neuen Prüfungssoftware geben: Dann starten unsere vier ersten gewerkeübergreifenden Fortbildungen an ausgewählten Handwerkskammern deutschlandweit. Im Rahmen dieser neuen Zertifikatslehrgänge für das Bauhaupt- und Baunebengewerbe wird die Prüfungssoftware dann unter Realbedingungen erprobt.