Fünf Fragen an die verantwortliche Projektreferentin für das Arbeitspaket „Prüfungssoftware“

Stefanie Leu, Projektreferentin

ProNet Handwerk entwickelt eine neue Prüfungssoftware. Wie kann man sich diesen Prozess vorstellen?

Für die Entwicklung der Prüfungssoftware im Handwerk müssen wir das Rad nicht neu erfinden, wir müssen es viel mehr weiterentwickeln und anpassen. Grundlage für die neue Prüfungssoftware sind die Tools von Umbrella Consortium for Assessment Networks (UCAN), die seit vielen Jahren für Prüfungen in der medizinischen Aus- und Weiterbildung eingesetzt werden. Im Projekt ProNet Handwerk werden die UCAN-Tools so weiterentwickelt und angepasst, dass sie den Anforderungen des Handwerks gerecht werden. Bisher lag der Schwerpunkt der Entwicklungsarbeiten innerhalb der Software in der Programmierung eines Nachbewertungstools und der Integration zusätzlicher Aufgabentypen. Aktuell liegt unser Schwerpunkt in der Erprobung, Evaluation und Optimierung der Software.

 

Welche Anforderungen muss die Prüfungssoftware für Prüfungsprozesse im Handwerk erfüllen?

Prüfungen im Handwerk sind gekennzeichnet durch eine hohe Handlungsorientierung und Komplexität, sowohl inhaltlich als auch im Hinblick auf die Prozesse der Prüfungsverfahren. Um den Anforderungen dieser Prüfungsprozesse im Handwerk gerecht zu werden, haben wir zu Beginn des Projekts eine Bedarfsanalyse durchgeführt, die u. a. eine Workshopreihe sowie Telefoninterviews, Umfragen und Hospitationen, aber auch die intensive Sichtung von Handwerksprüfungen beinhaltete.

Das Resultat der durchgeführten Bedarfsanalyse zeigt, dass sich die Prüfungsverantwortlichen der befragten Handwerksorganisationen vorrangig ein stabiles Prüfungssystem mit intuitiver Benutzeroberfläche, das zusätzliche Schnittstellen zu der vorhandenen Verwaltungssoftware ermöglicht, wünschen. Außerdem soll der Einsatz mobiler Endgeräte wie Tablets in Prüfungen möglich sein. Durch die aktuelle Erprobung der Prüfungssoftware werden weitere Anforderungen sowie Hindernisse im digitalen Prüfungsprozess herausgearbeitet und fließen in die Weiterentwicklung der Software mit ein.

 

Gewähren Sie uns einen inhaltlichen Blick: Was wird sich für Prüfer*innen durch den Einsatz der neuen Prüfungssoftware verändern?

Handwerksprüfungen werden sich mit der neuen Prüfungssoftware papierlos, zeitsparend und unkompliziert vorbereiten, durchführen und auswerten lassen. Die Software ermöglicht außerdem eine Prüfungsabnahme auf unterschiedlichen Endgeräten. Aktuell sind wir zum Beispiel in der Erprobungsphase der beiden UCAN-Tools tEXAM und tOSCE. Beide Tools kommen auf Tablets zum Einsatz. Während tEXAM den Prüflingen das Absolvieren einer Prüfung am Tablet erlaubt, ermöglicht tOSCE den Prüfer*innen die direkte digitale Bewertung und Dokumentation von Prüfungen.

Die Prüfungssoftware wird zudem die Möglichkeit bieten, einen Pool an standardisierten Prüfungsaufgaben anzulegen, sie mit einem ausgewählten Personenkreis zu teilen und zu bearbeiten sowie gemeinsam Qualitätskriterien für Prüfungsfragen und -inhalte festzulegen. Dadurch lassen sich Prüfungsfragen unkompliziert erstellen, auch in Zusammenarbeit mit anderen Prüfer*innen. Formalien und Inhalte von Klausuren lassen sich mit standardisierten Checklisten überprüfen und optimieren.

Die Bewertung der Prüfungsaufgaben erfolgt digital gestützt und ist damit bedeutend schneller und sicherer als bei Prüfungen in Papierform. Erst- und Zweitprüfende können Prüfungsaufgaben zukünftig parallel und ohne Zeitverlust bewerten. Zudem können anhand einer teststatistischen Auswertung der Ergebnisse Rückschlüsse auf die Qualität der Prüfungsaufgaben gezogen werden. Sie sehen: Jeder einzelne Schritt des gesamten Prüfungsprozesses im Handwerk ist mit der Prüfungssoftware digital umsetzbar.

 

Was sind die wichtigsten Vorteile der Prüfungssoftware?

Neben den bereits genannten positiven Aspekten wie Papier- und Zeitersparnis sehen wir zwei weitere wichtige Vorteile: Ausfall- und Rechtssicherheit. In der Praxis bedeutet die garantierte Ausfallsicherheit Folgendes: Auch wenn während einer Prüfung mal die Internetverbindung unterbrochen ist, können die Prüflinge trotzdem planmäßig ihre Prüfung durchführen und merken den Ausfall gar nicht, denn sie wird im Offline-Modus fortgesetzt. Die Daten werden im Hintergrund auf dem Gerät gespeichert und automatisch mit dem Server synchronisiert, sobald wieder eine Internetverbindung besteht. Auch die Rechtssicherheit ist gewährleistet, denn während der gesamten Prüfung werden signierte Videos aus Screenshots erstellt, die das Antwortverhalten der Prüflinge während der gesamten Prüfung dokumentieren. Damit kann sicher kontrolliert werden, ob die Antworten des Prüflings ohne Abweichungen in die Datenbank transferiert werden, und Programm-, Darstellungs- oder Übertragungsfehler werden ausgeschlossen.

 

Wo stehen Sie im Projekt aktuell und wie geht es weiter?

Aktuell befinden wir uns in der Anwendungsphase und erproben die Prüfungssoftware bereits in ausgewählten Handwerkskammern, wie etwa in Düsseldorf und Dortmund. Anfang Juni konnten wir an der Handwerkskammer Dortmund die Prüfungssoftware, -hardware sowie die Vorbereitung, Durchführung und Nachbearbeitung einer Prüfung erfolgreich erproben. Hierfür wurde das Prüfungstool tEXAM in einer 90-minütigen Übungsklausur zum/zur Gepr. Fachmann/-frau für kaufm. Betriebsführung (HwO) an Tablets erprobt. Die Resonanz der Prüflinge und Prüfenden war positiv. Im Rahmen der erfolgreichen ersten Durchläufe optimieren wir die Prüfungssoftware den Anforderungen und Bedarfen der Prüfenden und der Prüflinge entsprechend stetig weiter. Ab Juli 2022 starten wir mit der Erprobung des UCAN-Tools tOSCE für mündlich-praktische Prüfungen. Ab Herbst wird es dann einen weiteren Meilenstein in der Einführung der neuen Prüfungssoftware geben: Dann starten unsere vier ersten gewerkeübergreifenden Fortbildungen an ausgewählten Handwerkskammern deutschlandweit. Im Rahmen dieser neuen Zertifikatslehrgänge für das Bauhaupt- und Baunebengewerbe wird die Prüfungssoftware dann unter Realbedingungen erprobt.

Erprobungen bei ProNet Handwerk

Der Juni war ein ereignis- und erfolgreicher Monat für das Projekt ProNet Handwerk: Der zweite Durchlauf der Online-Seminare für das Lehrpersonal im Handwerk stieß auf noch größeres Interesse als die erste Seminarreihe zum Thema Lehr- und Medienkompetenz, die im März stattfand. Eine Kurzanalyse der ersten Seminarreihe und die Weiterentwicklung des Seminarkonzepts können Sie im InnoVET-Artikel nachlesen.

Am 8. Juni fand an der Handwerkskammer Dortmund die Erprobung der ProNet-Prüfungssoftware statt. Hierfür wurde das Prüfungstool tEXAM in einer 90-minütigen Übungsklausur zum geprüften Fachmann/-frau für kaufm. Betriebsführung (HwO) an Tablets erprobt. Prüfungshardware, Durchführung und Nachbearbeitung der Prüfungen konnten erfolgreich erprobt werden.

ProNet-Vortragsreihe auf der Internationalen Handwerksmesse München (IHM) 2022

Das Projekt ProNet Handwerk ist in diesem Jahr auf dem ZHW-Gemeinschaftsstand (Stand C5.368) vertreten und freut sich auf Ihren Besuch! Auf dem angrenzenden Base-Camp des Mittelstand-Digital Zentrums Handwerk (C5.360) können Gäste täglich ein informatives Vortragsprogramm mit abwechslungsreichen Sessions erleben und mehr über Themen wie Digitalisierung, Qualifizierung und Nachhaltigkeit im Handwerk erfahren. Dort wird das Team von ProNet Handwerk an drei Messetagen Vorträge zu BIM im Handwerk, zur neuen Prüfungssoftware und zum eCampus Handwerk halten. Das vollständige Vortragsprogramm finden Sie hier.

Erfolgsfaktor digitales Kundenmanagement

Nachhaltige Gebäudekonstruktion

Nachhaltigkeit und Energiewende sind die beherrschenden Themen der Gegenwart. Sich als Handwerksbetrieb für die entsprechenden Anforderungen zu wappnen, bringt Imagegewinn und Wettbewerbsvorteile mit sich.

BIM I – Building Information Modeling im Handwerk

Energietechnische Anlagen im Gebäude

Newsletter Ausgabe 2: Digitale Kompetenzen stärken: neue Qualifizierungsangebote für das Lehrpersonal

In der neuesten Ausgabe des Newsletters stellen wir Ihnen den Baustein „Qualifizierungsangebote für Lehrpersonal“ vor. Im Interview mit unserer Bildungsreferentin Astrid Dolle erfahren Sie, welchen Herausforderungen das Lehrpersonal im Handwerk momentan gegenübersteht und welche Online-Seminare aktuell und zukünftig angeboten werden. Sie möchten mehr erfahren? Hier geht es zum vollständigen Newsletter. Melden Sie sich gerne auch für den ProNet-Newsletter an und verpassen Sie keine Neuigkeiten mehr.

Chancen durch neue Weiterbildungen im Handwerk: Der neue Imagefilm von ProNet Handwerk

ProNet Handwerk entwickelt innovative Weiterbildungen und Tools, die auf die Bedürfnisse des Handwerks zugeschnitten sind. In unserem neuen Imagefilm erfahren Sie, wie gewerkeübergreifende Zusammenarbeit gelingen kann und wie auch das Lehrpersonal im Handwerk vom ProNet-Projekt profitiert.

Den Film finden Sie auf YouTube.