Ausfallsicherheit
Die Tools haben unterschiedliche Sicherheitsmechanismen, die Unterbrechungen im LAN oder WLAN auffangen.
Die Grundlage für die Prüfungstools bildet die UCAN-Prüfungssoftware (Umbrella Consortium for Assessment Networks), die seit Jahren in der medizinischen Aus- und Weiterbildung eingesetzt wird. Die Software stellt vielfältige Tools bereit, mit denen unterschiedliche Prüfungsszenarien abgebildet werden und mit denen sich die Vorbereitung, Durchführung, Auswertung und Archivierung von Prüfungen papierlos, zeitsparend und bequem realisieren lassen.
1
2
3
4
1
Ausfallsicherheit: Die App läuft im Offline-Modus weiter, auch wenn die Internetverbindung unterbrochen ist. Sobald wieder eine Internetverbindung besteht, werden die regelmäßig gespeicherten Daten im Hintergrund automatisch mit dem Server synchronisiert.
2
Kiosk-Modus: Ein Wechsel zu anderen Anwendungen kann durch den Kiosk-Modus verhindert werden.
3
Medienintegration: Unterschiedliche Medientypen (Audio, Videos und Bilder) lassen sich in die Prüfungsaufgaben integrieren.
4
Dokumentation: Automatisch erstellte Screenshots dokumentieren den Prüfungsverlauf lückenlos und zeigen, welche Fragen und Antworten die Prüflinge gesehen und ausgewählt haben.
tEXAM
Die Prüfungs-App ermöglicht den Prüflingen das Absolvieren einer schriftlichen Prüfung am Tablet. tEXAM wird über den App Store auf das iPad heruntergeladen. Das Tool unterstützt eine Vielzahl an Aufgabentypen, wie z. B. Single Choice, Multiple Choice, Long Menu, Key Feature, KPrim, Freitext, Zuordnung, Region of Interest oder Hot Spot.
tOSCE
Die Prüfungs-App ermöglicht den Prüfer*innen die digitale Bewertung und Dokumentation von fachpraktischen Prüfungen. tOSCE wird über den App Store auf das iPad heruntergeladen. Das Tool ermöglicht die Bewertung praktischer Fähigkeiten mithilfe von Punktevergaben, Checklisten und unterschiedlichen Skalen (z. B. Schulnoten).
tOSCE
Die Prüfungs-App ermöglicht den Prüfer*innen die digitale Bewertung und Dokumentation von fachpraktischen Prüfungen. tOSCE wird über den App Store auf das iPad heruntergeladen. Das Tool ermöglicht die Bewertung praktischer Fähigkeiten mithilfe von Punktevergaben, Checklisten und unterschiedlichen Skalen (z. B. Schulnoten).
1
2
3
4
1
Fotos: Zu jeder Prüfungsstation können Prüfende mehrere Fotos zu Dokumentationszwecken aufnehmen.
2
Kommentare: Vordefinierte Kommentarfelder ermöglichen eine schnelle Dokumentation der Punktevergabe.
3
QR-Code: Mit dem QR-Code-Scanning können die Prüflinge und die einzelnen Prüfungsstationen komfortabel erfasst werden.
4
Dokumentation: Automatisch erstellte Screenshots dokumentieren den Prüfungsverlauf lückenlos und zeigen, wie die Prüfenden bewertet haben.
Vorteile und Möglichkeiten der Prüfungssoftware
Voraussetzungen und Rahmenbedingungen
für digitales Prüfen
Vorbereitungen
Die Einführung digital-gestützter Prüfungen sollte mit einem dreiviertel Jahr Vorlaufzeit des angesetzten Prüfungstermins geplant werden.
Engagierte Verantwortliche aus Verwaltung, IT und Prüfungsausschuss müssen das Thema gemeinsam realisieren wollen.
Prüflinge müssen informiert und Demoprüfungen eingeplant werden.
Die Auswahl der ersten Prüfung, die digital abgebildet werden soll, muss wohlüberlegt sein. Ein kleiner Prüfungsausschuss und eine Prüfung, die bereits eindeutige Bewertungskriterien und Punktevergaben enthält, ist hierfür eine gute Wahl.
Hardware
iPads
- Apple iPad 10,2″ 9th Generation Wi-Fi 64 GB
- Apple iPad 10,9″ 10th Generation Wi-Fi 64 GB
- Je aktueller das iPad ist, desto länger versorgt Apple die Geräte mit Updates.
- Apple-Geräte haben wenig Wertverlust, was aber auch bedeutet, dass veraltete Hardware noch viel Geld kostet. Daher sind frisch erschienene iPads besser beim Kosten-/Nutzenfaktor.
- iPad-Varianten, wie z. B. das iPad Pro, bieten für die verwendete Prüfungssoftware tEXAM keine softwaretechnischen Vorteile.
WLAN
Auch wenn die Prüfungen offline laufen können, ist vor und nach der Prüfung eine Datenverbindung zwischen den iPads und dem Server für die Datenübertragung erforderlich.
Prüfungsteam
Verantwortliche aus Verwaltung, IT und Prüfungsausschuss
- Technische Infrastruktur vor Ort (WiFi-Netzwerk, Serverbetrieb, iPads)
- Administrativ-organisatorischer Ablauf der Prüfung
- Erstellung von Prüfungsinhalten
- Eingabe von Prüfungsaufgaben in das Autorentool IMS (ItemManagementSystem)
- Auswertung der Prüfungen im Tool Examinator (Prüfungsergebnisse, teststatistische Auswertung)
Preis auf Anfrage
Aktuell befinden wir uns noch in der regulären Laufzeit des Projekts ProNet Handwerk (bis September 2024) und berechnen den Partner*innen keine Kosten für das Einführungspaket der Software.
Das Einführungspaket der Software umfasst folgende Leistungen:
- Einführung in das digitale Prüfen
- Hilfestellungen bei der Anpassung von vorhandenen Prüfungen/Aufgabentypen in digital abbildbare Formate
- Passgenaue Online-Schulungen für das jeweilige Tool
- Umfangreiches Schulungsmaterial, das auf dem eCampus Handwerk individuell abrufbar ist
Für die Einführung der Software, das Hosting und den Support werden zukünftig moderate Kosten anfallen. Die ZWH strebt an, die Kosten für die Einführung der Software und das Hosting für ZWH-Mitglieder in das Bildungs- und Arbeitsprogramm der ZWH zu integrieren. Weitere Supportleistungen können zum aktuellen Tagessatz hinzugebucht werden.
Hosting über die ZWH
Eine zuverlässige Bereitstellung der Prüfungssoftware wird von der ZWH als Dienstleitung gewährleistet. Jede durchführende Stelle (z. B. Handwerkskammer) erhält einen eigenen dedizierten Container auf dem Server, um die Sicherheit der Daten zu gewährleisten. Diese Daten werden zusätzlich regelmäßig in zwei verschiedenen Rechenzentren innerhalb der EU als Back-up gesichert.
Die Archivierung der Prüfungen nach den gesetzlichen Aufbewahrungspflichten muss durch die durchführende Stelle selbst sichergestellt werden. Justiziariat und IT der ZWH leisten hierbei gerne beratende Unterstützung.
Integration Schnittstellen in Entwicklung
Alle prüfungsrelevanten Informationen können derzeitig als Excel-Export generiert werden.
Die Prüfungssoftware wird zukünftig in den eCampus Handwerk eingebunden und ermöglicht damit einen nahtlosen Datenaustausch. Somit steht den Organisationen des Handwerks, Dozierenden und Prüfenden eine Lern- und Prüfungsplattform zur Verfügung, auf der Kursorganisation, Teilnahmemanagement, Seminardurchführung und Prüfen möglich ist.
Aktuell wird an einer Schnittstelle zwischen ODAV und eCampus Handwerk gearbeitet. Schnittstellen zu weiteren Vorgangsbearbeitungssystemen (VBS) sind geplant.
Support Online-Schulungen und Schulungsmaterial
Verwaltungsmitarbeitende und Mitglieder eines Prüfungsausschusses erhalten eine Online-Schulung in der Verwendung des browserbasierten Autorentools ItemManagementSystem (IMS), in das die Prüfungsaufgaben eingegeben werden und in dem auch die Prüfungen zusammengestellt werden. Sie werden außerdem vor Ort zum Durchführungstool, wie z. B. zur Prüfungs-App tOSCE oder tEXAM, geschult. Begleitend dazu steht umfangreiches Schulungsmaterial auf dem eCampus Handwerk zur Verfügung.
Der Prüfungsausschuss erhält Unterstützungsleistung für die bestmögliche digitale Abbildung seiner Prüfung, wobei das Anspruchsniveau an die Prüflinge gleich bleiben soll.
Das Einhalten inhaltlicher Vorgaben aus der Prüfungsordnung oder das Abbilden der Taxonomiestufen verbleibt in der Verantwortung des Prüfungsausschusses. Sollte hierzu Unterstützung gewünscht werden, wenden Sie sich bitte an Martin Diart, Bereichsleitung „Lehren, Lernen, Prüfen“ (mdiart@zwh.de).
Hosting
ZWH
Eine zuverlässige Bereitstellung der Prüfungen wird von der ZWH als Dienstleistung zur Verfügung gestellt. Jede durchführende Stelle (z. B. Handwerkskammer) erhält einen eigenen dedizierten Container auf dem Server, um die Sicherheit der Daten zu gewährleisten. Diese Daten werden zusätzlich regelmäßig in zwei verschiedenen Rechenzentren innerhalb der EU als Backup gesichert.
Die Archivierung der Prüfungen nach den gesetzlichen Aufbewahrungspflichten muss durch die durchführende Stelle selbst sichergestellt werden. Justiziariat und IT der ZWH leisten hierbei gerne beratende Unterstützung.
Integration
Schnittstellen in Entwicklung
Alle prüfungsrelevanten Informationen können derzeitig als Excel-Export generiert werden.
Die Prüfungssoftware wird zukünftig in den eCampus Handwerk eingebunden und ermöglicht damit einen nahtlosen Datenaustausch. Somit steht Handwerksorganisationen, Dozierenden und Prüfenden eine Lern- und Prüfungsplattform zur Verfügung, auf der Kursorganisation, Teilnahmemanagement, Seminardurchführung und Prüfen möglich ist.
Aktuell wird an einer Schnittstelle zwischen ODAV und eCampus Handwerk gearbeitet. Schnittstellen zu weiteren Vorgangsbearbeitungssystemen (VBS) sind geplant.
Support
Online-Schulungen und Schulungsmaterial
Verwaltungsmitarbeitende und Mitglieder eines Prüfungsausschusses erhalten eine Online-Schulung in der Verwendung des browserbasierten Autorentools ItemManagementSystem (IMS), in das die Prüfungsaufgaben eingegeben werden und in dem auch die Prüfungen zusammengestellt werden. Sie werden außerdem vor Ort zum Durchführungstool, wie z. B. zur Prüfungs-App tOSCE oder tEXAM, geschult. Begleitend dazu steht umfangreiches Schulungsmaterial auf dem eCampus Handwerk zur Verfügung.
Der Prüfungsausschuss erhält Unterstützungsleistung für die bestmögliche digitale Abbildung seiner Prüfung, wobei das Anspruchsniveau an die Prüflinge gleich bleiben soll.
Das Einhalten inhaltlicher Vorgaben aus der Prüfungsordnung oder das Abbilden der Taxonomiestufen verbleibt in der Verantwortung des Prüfungsausschusses. Sollte hierzu Unterstützung gewünscht werden, wenden Sie sich bitte an Martin Diart, Bereichsleitung “Lehren, Lernen, Prüfen” (mdiart@zwh.de).
FAQs
Was steckt hinter UCAN?
UCAN steht für „Umbrella Consortium for Assessment Networks“ und ist ein großer Prüfungsverbund, der vom Institut für Kommunikations- und Prüfungsforschung (IKPF) gegründet wurde. Das Institut ist gemeinnützig, d. h., alle erwirtschafteten Überschüsse fließen zurück in die Qualität der Prüfungsentwicklung. Die UCAN-Tools werden bereits seit 15 Jahren in Medizinprüfungen eingesetzt. Mit insgesamt 95 Partner*innen in sieben Ländern hat UCAN in diesem Zeitraum rund 15 Millionen Personen geprüft. Ziel ist es, durch den Austausch von Erfahrungen im UCAN-Verbund Ressourcen zu bündeln und Herausforderungen im Prüfungsbereich gemeinsam zu meistern.
Laufen tEXAM und tOSCE auf allen Tablets?
Nein. Beide Prüfungs-Apps können nur auf iPads von Apple (iOS) verwendet werden. Eine Verwendung auf Android-Geräten ist nicht möglich und auch nicht für die nahe Zukunft geplant.
Wo werden Prüfungsaufgaben eingegeben?
Prüfungsaufgaben werden von Prüfenden nicht am Tablet eingegeben, sondern browserbasiert am PC. Das Autorentool für die Eingabe von Prüfungsaufgaben im Browser heißt ItemManagementSystem (IMS).
Wo werden Prüfungen nachbewertet?
Nach einer Prüfung müssen zunächst alle Prüfungseingaben auf Vollständigkeit und korrekte Eingabe kontrolliert werden. Diese Kontrolle geschieht anhand der automatisch generierten Excel- und PDF-Dateien aller Prüfungseingaben. Erst dann werden im browserbasierten UCAN-Tool „Examinator“ sowohl Prüfungsergebnisse generiert als auch teststatistische Auswertungen vorgenommen, die Rückschlüsse auf die Prüfungsqualität zulassen und somit einen wichtigen Teil zur Qualitätssicherung beitragen können.
Gibt es eine Möglichkeit, schriftliche Prüfungen mit der UCAN-Prüfungssoftware am PC durchzuführen?
Das Tool zur Durchführung am PC befindet sich aktuell noch in der Erprobung, d. h., es müssen Änderungen programmiert werden, damit es sich für handwerkliche Prüfungen einsetzen lässt. Ziel ist es, schriftliche Prüfungen am PC (desktopbasiert) im Laufe des Jahres 2024 anbieten zu können.
Wie kann mit dem digitalen Prüfen gestartet werden?
Für die Einführungen digitaler schriftlicher Prüfungen sollten zunächst einfache Aufgabentypen mit klar definierten Bewertungskriterien ausgewählt werden, z. B. Single-Choice-, Multiple-Choice- oder Freitextaufgaben mit eindeutigem Punkt- und Lösungshorizont. Aber auch Prüfungen mit vielen Freitextaufgaben können dann erfolgreich digital abgebildet werden, wenn Punkte und Lösungshorizont klar definiert sind. Digitale Eingabe und Auswertung liefern selbst dann eine große Zeitersparnis, wenn es sich wie bei Freitextaufgaben nicht um automatisiert auswertbare Prüfungsaufgaben handelt. Je mehr Vertrautheit im Umgang mit der Prüfungssoftware herrscht, desto leichter lassen sich schrittweise weitere Prüfungen umsetzen, die mehr Aufwand in der digitalen Umsetzung der Prüfungsaufgaben benötigen.
Für die Durchführung fachpraktischer Prüfungen, in denen Prüfende mit dem Tablet die praktischen Fertigkeiten ihrer Prüflinge bewerten und dokumentieren, sollte zunächst eine Prüfung mit definierten Bewertungskriterien und einer eindeutigen Punktevergabe gewählt werden. Kleinere Prüfungsausschüsse eignen sich gut, weil intensiv mit der Software gearbeitet werden kann. Eine Prüfung mit einem oder maximal zwei Prüfungsorten sollte für die erste digitale Durchführung gewählt werden, da das Bereitstellen der Tablets an unterschiedlichen Orten einen zusätzlichen logistischen Aufwand bedeutet.
Sie haben Rückfragen?
Ich helfe Ihnen gerne weiter:
Stefanie Leu
T +49 211 302009-715
E ucan@zwh-support.de
Gefördert als InnoVET-Projekt vom Bundesministerium für Bildung und Forschung.