Das ProNet-Team auf der UCAN-Konferenz

Das ProNet-Team nimmt in diesen Tagen an dem Technical Taskforce Meeting sowie der Internationalen UCAN-Konferenz des Institut für Kommunikations-und Prüfungsforschung gGmbH unter dem Motto „Interprofessional Thinking – Teaching, Learning and Testing Interprofessionality“ in Hamburg teil, um sich dort mit anderen UCAN-Verbundpartnern auszutauschen. Dieser Austausch ist für das Team ein wichtiger Bestandteil zur Weiterentwicklung der Prüfungssoftware für das Handwerk.

Veröffentlichung in der BWP 3/2023:
Prüfungen

Das neue BWP-Themenheft widmet sich ganz dem Thema “Prüfungen”. Das Projektteam von ProNet Handwerk freut sich sehr über die Aufmerksamkeit, die dem Thema in vielen interessanten Beiträgen gewidmet wird. Digitales Prüfen bildet als einer der vier ProNet-Projektbausteine eine tragende Säule für die Professionalisierung des Handwerks.

Im Artikel „In Bewegung – das Prüfungswesen der Berufsausbildung“ (Hollmann/Lorig/Schürger) wird ProNet Handwerk als ein Projekt angeführt, welches zeigt, „dass Digitalisierung einen Beitrag zur Attraktivitätssteigerung des Prüfungswesens leisten kann, und zwar sowohl mit Blick auf die Entlastung von Prüferehrenamt und Administration als auch durch eine direktere Ansprache von digital affinen Prüflingen und Prüfenden.” (S.11)

Deutlich wird: Das Prüfungswesen in der Berufsbildung ist in Bewegung und eine Weiterentwicklung dringend notwendig. ProNet Handwerk erprobt speziell an die Bedarfe der Bildungseinrichtungen des Handwerks angepasste Prüfungstools. Dadurch unterstützt das Projekt dabei, das Potenzial der Digitalisierung auch im Prüfungswesen zu heben.

Ausgabe 3 des ProNet-Newsletters

In der neuesten Ausgabe des Newsletters liegt der Fokus auf dem Thema „Prüfungssoftware“. Im Interview mit der verantwortlichen Projektreferentin Stefanie Leu erfahren Sie unter anderem, welche Vorteile die Prüfungssoftware bietet und was sich durch den Einsatz der neuen Prüfungssoftware im Prüfungswesen des Handwerks ändern kann. Sind Sie neugierig geworden und möchten mehr erfahren? Hier kommen Sie zur Ausgabe #3. Bleiben Sie auf dem Laufenden und melden Sie sich gerne auch für zukünftige ProNet-Newsletter an.

Digitales Prüfen im Handwerk

 

Projektmitarbeiterin Stefanie Leu mit Markus Kehl (m.) und Herbert Ströbel (r.)

Projektmitarbeiterin Stefanie Leu mit Markus Kehl (m.) und Herbert Ströbel (r.)

 

 

 

 

 

 

 

 

 

 

 

 

Im Rahmen des Projekts ProNet Handwerk fand am 26. Juli 2022 der Auftakt für die Erprobung der Prüfungssoftware für mündlich-praktische Prüfungen an der Handwerkskammer Heilbronn-Franken statt. Der Prüfungsausschuss der Elektrotechniker*innen lernte das UCAN-Prüfungstool tOSCE kennen, das den Prüfer*innen zukünftig die direkte digitale Bewertung und Dokumentation von mündlich-praktischen Prüfungen auf dem Tablet ermöglicht. Weitere Informationen finden Sie hier.

Fünf Fragen an die verantwortliche Projektreferentin für das Arbeitspaket „Prüfungssoftware“

Stefanie Leu, Projektreferentin

 

ProNet Handwerk entwickelt eine neue Prüfungssoftware. Wie kann man sich diesen Prozess vorstellen?

Für die Entwicklung der Prüfungssoftware im Handwerk müssen wir das Rad nicht neu erfinden, wir müssen es viel mehr weiterentwickeln und anpassen. Grundlage für die neue Prüfungssoftware sind die Tools von Umbrella Consortium for Assessment Networks (UCAN), die seit vielen Jahren für Prüfungen in der medizinischen Aus- und Weiterbildung eingesetzt werden. Im Projekt ProNet Handwerk werden die UCAN-Tools so weiterentwickelt und angepasst, dass sie den Anforderungen des Handwerks gerecht werden. Bisher lag der Schwerpunkt der Entwicklungsarbeiten innerhalb der Software in der Programmierung eines Nachbewertungstools und der Integration zusätzlicher Aufgabentypen. Aktuell liegt unser Schwerpunkt in der Erprobung, Evaluation und Optimierung der Software.

Welche Anforderungen muss die Prüfungssoftware für Prüfungsprozesse im Handwerk erfüllen?

Prüfungen im Handwerk sind gekennzeichnet durch eine hohe Handlungsorientierung und Komplexität, sowohl inhaltlich als auch im Hinblick auf die Prozesse der Prüfungsverfahren. Um den Anforderungen dieser Prüfungsprozesse im Handwerk gerecht zu werden, haben wir zu Beginn des Projekts eine Bedarfsanalyse durchgeführt, die u. a. eine Workshopreihe sowie Telefoninterviews, Umfragen und Hospitationen, aber auch die intensive Sichtung von Handwerksprüfungen beinhaltete.

Das Resultat der durchgeführten Bedarfsanalyse zeigt, dass sich die Prüfungsverantwortlichen der befragten Handwerksorganisationen vorrangig ein stabiles Prüfungssystem mit intuitiver Benutzeroberfläche, das zusätzliche Schnittstellen zu der vorhandenen Verwaltungssoftware ermöglicht, wünschen. Außerdem soll der Einsatz mobiler Endgeräte wie Tablets in Prüfungen möglich sein. Durch die aktuelle Erprobung der Prüfungssoftware werden weitere Anforderungen sowie Hindernisse im digitalen Prüfungsprozess herausgearbeitet und fließen in die Weiterentwicklung der Software mit ein.

 

Gewähren Sie uns einen inhaltlichen Blick: Was wird sich für Prüfer*innen durch den Einsatz der neuen Prüfungssoftware verändern?

Handwerksprüfungen werden sich mit der neuen Prüfungssoftware papierlos, zeitsparend und unkompliziert vorbereiten, durchführen und auswerten lassen. Die Software ermöglicht außerdem eine Prüfungsabnahme auf unterschiedlichen Endgeräten. Aktuell sind wir zum Beispiel in der Erprobungsphase der beiden UCAN-Tools tEXAM und tOSCE. Beide Tools kommen auf Tablets zum Einsatz. Während tEXAM den Prüflingen das Absolvieren einer Prüfung am Tablet erlaubt, ermöglicht tOSCE den Prüfer*innen die direkte digitale Bewertung und Dokumentation von Prüfungen.

Die Prüfungssoftware wird zudem die Möglichkeit bieten, einen Pool an standardisierten Prüfungsaufgaben anzulegen, sie mit einem ausgewählten Personenkreis zu teilen und zu bearbeiten sowie gemeinsam Qualitätskriterien für Prüfungsfragen und -inhalte festzulegen. Dadurch lassen sich Prüfungsfragen unkompliziert erstellen, auch in Zusammenarbeit mit anderen Prüfer*innen. Formalien und Inhalte von Klausuren lassen sich mit standardisierten Checklisten überprüfen und optimieren.

Die Bewertung der Prüfungsaufgaben erfolgt digital gestützt und ist damit bedeutend schneller und sicherer als bei Prüfungen in Papierform. Erst- und Zweitprüfende können Prüfungsaufgaben zukünftig parallel und ohne Zeitverlust bewerten. Zudem können anhand einer teststatistischen Auswertung der Ergebnisse Rückschlüsse auf die Qualität der Prüfungsaufgaben gezogen werden. Sie sehen: Jeder einzelne Schritt des gesamten Prüfungsprozesses im Handwerk ist mit der Prüfungssoftware digital umsetzbar.

 

Was sind die wichtigsten Vorteile der Prüfungssoftware?

Neben den bereits genannten positiven Aspekten wie Papier- und Zeitersparnis sehen wir zwei weitere wichtige Vorteile: Ausfall- und Rechtssicherheit. In der Praxis bedeutet die garantierte Ausfallsicherheit Folgendes: Auch wenn während einer Prüfung mal die Internetverbindung unterbrochen ist, können die Prüflinge trotzdem planmäßig ihre Prüfung durchführen und merken den Ausfall gar nicht, denn sie wird im Offline-Modus fortgesetzt. Die Daten werden im Hintergrund auf dem Gerät gespeichert und automatisch mit dem Server synchronisiert, sobald wieder eine Internetverbindung besteht. Auch die Rechtssicherheit ist gewährleistet, denn während der gesamten Prüfung werden signierte Videos aus Screenshots erstellt, die das Antwortverhalten der Prüflinge während der gesamten Prüfung dokumentieren. Damit kann sicher kontrolliert werden, ob die Antworten des Prüflings ohne Abweichungen in die Datenbank transferiert werden, und Programm-, Darstellungs- oder Übertragungsfehler werden ausgeschlossen.

 

Wo stehen Sie im Projekt aktuell und wie geht es weiter?

Aktuell befinden wir uns in der Anwendungsphase und erproben die Prüfungssoftware bereits in ausgewählten Handwerkskammern, wie etwa in Düsseldorf und Dortmund. Anfang Juni konnten wir an der Handwerkskammer Dortmund die Prüfungssoftware, -hardware sowie die Vorbereitung, Durchführung und Nachbearbeitung einer Prüfung erfolgreich erproben. Hierfür wurde das Prüfungstool tEXAM in einer 90-minütigen Übungsklausur zum/zur Gepr. Fachmann/-frau für kaufm. Betriebsführung (HwO) an Tablets erprobt. Die Resonanz der Prüflinge und Prüfenden war positiv. Im Rahmen der erfolgreichen ersten Durchläufe optimieren wir die Prüfungssoftware den Anforderungen und Bedarfen der Prüfenden und der Prüflinge entsprechend stetig weiter. Ab Juli 2022 starten wir mit der Erprobung des UCAN-Tools tOSCE für mündlich-praktische Prüfungen. Ab Herbst wird es dann einen weiteren Meilenstein in der Einführung der neuen Prüfungssoftware geben: Dann starten unsere vier ersten gewerkeübergreifenden Fortbildungen an ausgewählten Handwerkskammern deutschlandweit. Im Rahmen dieser neuen Zertifikatslehrgänge für das Bauhaupt- und Baunebengewerbe wird die Prüfungssoftware dann unter Realbedingungen erprobt.

Erprobungen bei ProNet Handwerk

Der Juni war ein ereignis- und erfolgreicher Monat für das Projekt ProNet Handwerk: Der zweite Durchlauf der Online-Seminare für das Lehrpersonal im Handwerk stieß auf noch größeres Interesse als die erste Seminarreihe zum Thema Lehr- und Medienkompetenz, die im März stattfand. Eine Kurzanalyse der ersten Seminarreihe und die Weiterentwicklung des Seminarkonzepts können Sie im InnoVET-Artikel nachlesen.

Am 8. Juni fand an der Handwerkskammer Dortmund die Erprobung der ProNet-Prüfungssoftware statt. Hierfür wurde das Prüfungstool tEXAM in einer 90-minütigen Übungsklausur zum geprüften Fachmann/-frau für kaufm. Betriebsführung (HwO) an Tablets erprobt. Prüfungshardware, Durchführung und Nachbearbeitung der Prüfungen konnten erfolgreich erprobt werden.