Ausgabe 3 des ProNet-Newsletters

In der neuesten Ausgabe des Newsletters liegt der Fokus auf dem Thema „Prüfungssoftware“. Im Interview mit der verantwortlichen Projektreferentin Stefanie Leu erfahren Sie unter anderem, welche Vorteile die Prüfungssoftware bietet und was sich durch den Einsatz der neuen Prüfungssoftware im Prüfungswesen des Handwerks ändern kann. Sind Sie neugierig geworden und möchten mehr erfahren? Hier kommen Sie zur Ausgabe #3. Bleiben Sie auf dem Laufenden und melden Sie sich gerne auch für zukünftige ProNet-Newsletter an.

Digitales Prüfen im Handwerk

Projektmitarbeiterin Stefanie Leu mit Markus Kehl (m.) und Herbert Ströbel (r.)

Projektmitarbeiterin Stefanie Leu mit Markus Kehl (m.) und Herbert Ströbel (r.)

 

 

 

 

 

 

 

 

 

 

 

 

Im Rahmen des Projekts ProNet Handwerk fand am 26. Juli 2022 der Auftakt für die Erprobung der Prüfungssoftware für mündlich-praktische Prüfungen an der Handwerkskammer Heilbronn-Franken statt. Der Prüfungsausschuss der Elektrotechniker*innen lernte das UCAN-Prüfungstool tOSCE kennen, das den Prüfer*innen zukünftig die direkte digitale Bewertung und Dokumentation von mündlich-praktischen Prüfungen auf dem Tablet ermöglicht. Weitere Informationen finden Sie hier.

Fünf Fragen an die verantwortliche Projektreferentin für das Arbeitspaket „Prüfungssoftware“

Stefanie Leu, Projektreferentin

ProNet Handwerk entwickelt eine neue Prüfungssoftware. Wie kann man sich diesen Prozess vorstellen?

Für die Entwicklung der Prüfungssoftware im Handwerk müssen wir das Rad nicht neu erfinden, wir müssen es viel mehr weiterentwickeln und anpassen. Grundlage für die neue Prüfungssoftware sind die Tools von Umbrella Consortium for Assessment Networks (UCAN), die seit vielen Jahren für Prüfungen in der medizinischen Aus- und Weiterbildung eingesetzt werden. Im Projekt ProNet Handwerk werden die UCAN-Tools so weiterentwickelt und angepasst, dass sie den Anforderungen des Handwerks gerecht werden. Bisher lag der Schwerpunkt der Entwicklungsarbeiten innerhalb der Software in der Programmierung eines Nachbewertungstools und der Integration zusätzlicher Aufgabentypen. Aktuell liegt unser Schwerpunkt in der Erprobung, Evaluation und Optimierung der Software.

 

Welche Anforderungen muss die Prüfungssoftware für Prüfungsprozesse im Handwerk erfüllen?

Prüfungen im Handwerk sind gekennzeichnet durch eine hohe Handlungsorientierung und Komplexität, sowohl inhaltlich als auch im Hinblick auf die Prozesse der Prüfungsverfahren. Um den Anforderungen dieser Prüfungsprozesse im Handwerk gerecht zu werden, haben wir zu Beginn des Projekts eine Bedarfsanalyse durchgeführt, die u. a. eine Workshopreihe sowie Telefoninterviews, Umfragen und Hospitationen, aber auch die intensive Sichtung von Handwerksprüfungen beinhaltete.

Das Resultat der durchgeführten Bedarfsanalyse zeigt, dass sich die Prüfungsverantwortlichen der befragten Handwerksorganisationen vorrangig ein stabiles Prüfungssystem mit intuitiver Benutzeroberfläche, das zusätzliche Schnittstellen zu der vorhandenen Verwaltungssoftware ermöglicht, wünschen. Außerdem soll der Einsatz mobiler Endgeräte wie Tablets in Prüfungen möglich sein. Durch die aktuelle Erprobung der Prüfungssoftware werden weitere Anforderungen sowie Hindernisse im digitalen Prüfungsprozess herausgearbeitet und fließen in die Weiterentwicklung der Software mit ein.

 

Gewähren Sie uns einen inhaltlichen Blick: Was wird sich für Prüfer*innen durch den Einsatz der neuen Prüfungssoftware verändern?

Handwerksprüfungen werden sich mit der neuen Prüfungssoftware papierlos, zeitsparend und unkompliziert vorbereiten, durchführen und auswerten lassen. Die Software ermöglicht außerdem eine Prüfungsabnahme auf unterschiedlichen Endgeräten. Aktuell sind wir zum Beispiel in der Erprobungsphase der beiden UCAN-Tools tEXAM und tOSCE. Beide Tools kommen auf Tablets zum Einsatz. Während tEXAM den Prüflingen das Absolvieren einer Prüfung am Tablet erlaubt, ermöglicht tOSCE den Prüfer*innen die direkte digitale Bewertung und Dokumentation von Prüfungen.

Die Prüfungssoftware wird zudem die Möglichkeit bieten, einen Pool an standardisierten Prüfungsaufgaben anzulegen, sie mit einem ausgewählten Personenkreis zu teilen und zu bearbeiten sowie gemeinsam Qualitätskriterien für Prüfungsfragen und -inhalte festzulegen. Dadurch lassen sich Prüfungsfragen unkompliziert erstellen, auch in Zusammenarbeit mit anderen Prüfer*innen. Formalien und Inhalte von Klausuren lassen sich mit standardisierten Checklisten überprüfen und optimieren.

Die Bewertung der Prüfungsaufgaben erfolgt digital gestützt und ist damit bedeutend schneller und sicherer als bei Prüfungen in Papierform. Erst- und Zweitprüfende können Prüfungsaufgaben zukünftig parallel und ohne Zeitverlust bewerten. Zudem können anhand einer teststatistischen Auswertung der Ergebnisse Rückschlüsse auf die Qualität der Prüfungsaufgaben gezogen werden. Sie sehen: Jeder einzelne Schritt des gesamten Prüfungsprozesses im Handwerk ist mit der Prüfungssoftware digital umsetzbar.

 

Was sind die wichtigsten Vorteile der Prüfungssoftware?

Neben den bereits genannten positiven Aspekten wie Papier- und Zeitersparnis sehen wir zwei weitere wichtige Vorteile: Ausfall- und Rechtssicherheit. In der Praxis bedeutet die garantierte Ausfallsicherheit Folgendes: Auch wenn während einer Prüfung mal die Internetverbindung unterbrochen ist, können die Prüflinge trotzdem planmäßig ihre Prüfung durchführen und merken den Ausfall gar nicht, denn sie wird im Offline-Modus fortgesetzt. Die Daten werden im Hintergrund auf dem Gerät gespeichert und automatisch mit dem Server synchronisiert, sobald wieder eine Internetverbindung besteht. Auch die Rechtssicherheit ist gewährleistet, denn während der gesamten Prüfung werden signierte Videos aus Screenshots erstellt, die das Antwortverhalten der Prüflinge während der gesamten Prüfung dokumentieren. Damit kann sicher kontrolliert werden, ob die Antworten des Prüflings ohne Abweichungen in die Datenbank transferiert werden, und Programm-, Darstellungs- oder Übertragungsfehler werden ausgeschlossen.

 

Wo stehen Sie im Projekt aktuell und wie geht es weiter?

Aktuell befinden wir uns in der Anwendungsphase und erproben die Prüfungssoftware bereits in ausgewählten Handwerkskammern, wie etwa in Düsseldorf und Dortmund. Anfang Juni konnten wir an der Handwerkskammer Dortmund die Prüfungssoftware, -hardware sowie die Vorbereitung, Durchführung und Nachbearbeitung einer Prüfung erfolgreich erproben. Hierfür wurde das Prüfungstool tEXAM in einer 90-minütigen Übungsklausur zum/zur Gepr. Fachmann/-frau für kaufm. Betriebsführung (HwO) an Tablets erprobt. Die Resonanz der Prüflinge und Prüfenden war positiv. Im Rahmen der erfolgreichen ersten Durchläufe optimieren wir die Prüfungssoftware den Anforderungen und Bedarfen der Prüfenden und der Prüflinge entsprechend stetig weiter. Ab Juli 2022 starten wir mit der Erprobung des UCAN-Tools tOSCE für mündlich-praktische Prüfungen. Ab Herbst wird es dann einen weiteren Meilenstein in der Einführung der neuen Prüfungssoftware geben: Dann starten unsere vier ersten gewerkeübergreifenden Fortbildungen an ausgewählten Handwerkskammern deutschlandweit. Im Rahmen dieser neuen Zertifikatslehrgänge für das Bauhaupt- und Baunebengewerbe wird die Prüfungssoftware dann unter Realbedingungen erprobt.

Erprobungen bei ProNet Handwerk

Der Juni war ein ereignis- und erfolgreicher Monat für das Projekt ProNet Handwerk: Der zweite Durchlauf der Online-Seminare für das Lehrpersonal im Handwerk stieß auf noch größeres Interesse als die erste Seminarreihe zum Thema Lehr- und Medienkompetenz, die im März stattfand. Eine Kurzanalyse der ersten Seminarreihe und die Weiterentwicklung des Seminarkonzepts können Sie im InnoVET-Artikel nachlesen.

Am 8. Juni fand an der Handwerkskammer Dortmund die Erprobung der ProNet-Prüfungssoftware statt. Hierfür wurde das Prüfungstool tEXAM in einer 90-minütigen Übungsklausur zum geprüften Fachmann/-frau für kaufm. Betriebsführung (HwO) an Tablets erprobt. Prüfungshardware, Durchführung und Nachbearbeitung der Prüfungen konnten erfolgreich erprobt werden.

UCAN feiert 15-jähriges Bestehen – ProNet Handwerk hält Gastrede auf internationaler Konferenz

Am 30. September 2021 fand die diesjährige UCAN-Konferenz zum Thema „(E-)exams today. Best practice and future developments“ aufgrund der Corona-Pandemie vollständig auf virtuellem Wege statt. Das Institut für Kommunikations- und Prüfungsforschung (IKPF) mit Sitz in Heidelberg lud seine 77 Mitglieder aus acht Ländern dazu ein, gemeinsam auf 15 Jahre Forschung, Entwicklung innovativer Prüfungsformate und Implementierung von Prüfungsstandards zurückzublicken.

Insgesamt 90 Teilnehmende aus 39 Partnerinstitutionen tauschten sich über ihre Erfahrungen in der Durchführung digital gestützter Prüfungen aus. Diskutiert wurden neue Prüfungsmöglichkeiten, aber auch Grenzen elektronischer Prüfungen. Insbesondere in diesem Jahr wurden weitere Vorteile digital gestützter Prüfungen angesichts der Corona-Pandemie und der zunehmenden Sensibilisierung hinsichtlich einzuhaltender Hygienemaßnahmen deutlich.

Damit das Handwerk im Einsatz der UCAN-Tools an die Erfolge der bislang ausschließlich medizinischen Prüfungsdurchführung anknüpfen kann, ist die Weiterentwicklung der bestehenden UCAN-Tools ein zentrales Ziel des InnoVET-Projekts ProNet Handwerk. Als Verantwortliche des Arbeitspakets „Prüfungssoftware“ richteten Stefanie Leu und Astrid Dolle in ihrem Vortrag den Fokus auf Anforderungen, denen die Prüfungssoftware in handwerklichen Prüfungen begegnen muss. Die Handlungsorientierung innerhalb einer Prüfung ist richtungsweisend für eine gute Prüfungsaufgabe. Prüflinge benötigen für die Lösung der Prüfungsaufgaben Informationen zu musterhaften Handwerksunternehmen, die oftmals seitenlangen Anhängen entnommen werden müssen. Der Transfer dieser grundlegenden Prüfungsstruktur in die digitale Welt muss geleistet werden, d. h., nicht nur die Prüfungssoftware muss sich einer notwendigen Weiterentwicklung unterziehen, sondern auch Prüfende stehen vor der Herausforderung, Prüfungsaufgaben neu zu denken.

Das Team von ProNet Handwerk freut sich auf die weitere Zusammenarbeit und über die Unterstützung in der Gestaltung und Etablierung des digitalen Prüfens im Handwerk durch den erfahrenen UCAN-Verbund.