Während tEXAM den Prüflingen das Absolvieren einer Prüfung am Tablet erlaubt, ermöglicht tOSCE den Prüfer*innen die direkte digitale Bewertung und Dokumentation von Prüfungen. Mit dem ProgressTest absolvieren die Prüflinge schriftliche Prüfungen am PC/Laptop.
Die Grundlage für die Prüfungstools bildet die UCAN-Prüfungssoftware (Umbrella Consortium for Assessment Networks), die seit Jahren in der medizinischen Aus- und Weiterbildung eingesetzt wird. Die Software stellt vielfältige Tools bereit, mit denen unterschiedliche Prüfungsszenarien abgebildet werden und mit denen sich die Vorbereitung, Durchführung, Auswertung und Archivierung von Prüfungen papierlos, zeitsparend und bequem realisieren lassen.
Ausfallsicherheit: Die App läuft im Offline-Modus weiter, auch wenn die Internetverbindung unterbrochen ist. Sobald wieder eine Internetverbindung besteht, werden die regelmäßig gespeicherten Daten im Hintergrund automatisch mit dem Server synchronisiert.
Kiosk-Modus: Ein Wechsel zu anderen Anwendungen kann durch den Kiosk-Modus verhindert werden.
Medienintegration: Unterschiedliche Medientypen (Audio, Videos und Bilder) lassen sich in die Prüfungsaufgaben integrieren.
Dokumentation: Automatisch erstellte Screenshots dokumentieren den Prüfungsverlauf lückenlos und zeigen, welche Fragen und Antworten die Prüflinge gesehen und ausgewählt haben.
Die Prüfungs-App ermöglicht den Prüflingen das Absolvieren einer schriftlichen Prüfung am Tablet. tEXAM wird über den App Store auf das iPad heruntergeladen. Das Tool unterstützt eine Vielzahl an Aufgabentypen, wie z. B. Single Choice, Multiple Choice, Long Menu, Key Feature, KPrim (Richtig-/Falsch-Aussage), Freitext, Zuordnung, Region of Interest oder Hot Spot.
Die Prüfungs-App ermöglicht den Prüfer*innen die digitale Bewertung und Dokumentation von fachpraktischen Prüfungen. tOSCE wird über den App Store auf das iPad heruntergeladen. Das Tool ermöglicht die Bewertung praktischer Fähigkeiten mithilfe von Punktevergaben, Checklisten und unterschiedlichen Skalen (z. B. Schulnoten).
Die Prüfungs-App ermöglicht den Prüfer*innen die digitale Bewertung und Dokumentation von fachpraktischen Prüfungen. tOSCE wird über den App Store auf das iPad heruntergeladen. Das Tool ermöglicht die Bewertung praktischer Fähigkeiten mithilfe von Punktevergaben, Checklisten und unterschiedlichen Skalen (z. B. Schulnoten).
Fotos: Zu jeder Prüfungsstation können Prüfende mehrere Fotos zu Dokumentationszwecken aufnehmen.
Kommentare: Vordefinierte Kommentarfelder ermöglichen eine schnelle Dokumentation der Punktevergabe.
QR-Code: Mit dem QR-Code-Scanning können die Prüflinge und die einzelnen Prüfungsstationen komfortabel erfasst werden.
Dokumentation: Automatisch erstellte Screenshots dokumentieren den Prüfungsverlauf lückenlos und zeigen, wie die Prüfenden bewertet haben.
Dokumentation: Automatisch erstellte Screenshots dokumentieren den Prüfungsverlauf lückenlos und zeigen, welche Fragen und Antworten die Prüflinge gesehen und ausgewählt haben.
Medienintegration: Prüfungsaufgaben lassen sich durch das Einbinden von Medien (z. B. Bildern) erweitern.
Monitoring: Die Anzeige des Prüfungsfortschritts und der ausstehenden Bearbeitungszeit einzelner Prüflinge sichert einen guten Überblick über den Prüfungsverlauf.
Ausfallsicherheit: Die Software fängt kurze Unterbrechungen der Internetverbindung auf (kein Offline-Modus). Sobald wieder eine Internetverbindung besteht, werden die regelmäßig gespeicherten Daten im Hintergrund automatisch mit dem Server synchronisiert.
Der ProgressTest ermöglicht den Prüflingen das Absolvieren einer schriftlichen Prüfung am PC/Laptop. Die Einrichtung der Anwendung sowie der Import von Prüfung und Prüflingen erfolgt im Vorhinein. Wir empfehlen zur Durchführung der Prüfung eine Kombination des ProgressTest mit dem SafeExamBrowser.
Das Tool unterstützt derzeit folgende Aufgabentypen: Single Choice, Multiple Choice, KPrim (Richtig-/Falsch-Aussage), Freitext und die Zusammenstellung dieser Aufgabentypen als Fallvorlage für handlungsorientierte Prüfungsaufgaben.
Der ProgressTest ermöglicht den Prüflingen das Absolvieren einer schriftlichen Prüfung am PC/Laptop. Die Einrichtung der Anwendung sowie der Import von Prüfung und Prüflingen erfolgt im Vorhinein. Wir empfehlen zur Durchführung der Prüfung eine Kombination des ProgressTest mit dem SafeExamBrowser.
Das Tool unterstützt derzeit folgende Aufgabentypen: Single Choice, Multiple Choice, KPrim (Richtig-/Falsch-Aussage), Freitext und die Zusammenstellung dieser Aufgabentypen als Fallvorlage für handlungsorientierte Prüfungsaufgaben.
Vorbereitungen
Die Einführung digital-gestützter Prüfungen sollte mit einem dreiviertel Jahr Vorlaufzeit des angesetzten Prüfungstermins geplant werden.
Engagierte Verantwortliche aus Verwaltung, IT und Prüfungsausschuss müssen das Thema gemeinsam realisieren wollen.
Prüflinge müssen informiert und Demoprüfungen eingeplant werden.
Die Auswahl der ersten Prüfung, die digital abgebildet werden soll, muss wohlüberlegt sein. Ein kleiner Prüfungsausschuss und eine Prüfung, die bereits eindeutige Bewertungskriterien und Punktevergaben enthält, ist hierfür eine gute Wahl.
Hardware
tEXAM / tOSCE:
iPads
WLAN
Auch wenn die Prüfungen offline laufen können, ist vor und nach der Prüfung eine Datenverbindung zwischen den iPads und dem Server für die Datenübertragung erforderlich.
ProgressTest:
PC/Laptop
Der ProgressTest stellt keine besonderen Anforderungen an Ihre Hardware.
LAN/WLAN
Es ist eine durchgehende Datenverbindung zwischen den PCs/Laptops erforderlich. Die Prüfungen können nicht offline laufen. Kurze Unterbrechungen werden jedoch durch einen Ausfallmechanismus aufgefangen.
Prüfungsteam
Verantwortliche aus Verwaltung, IT und Prüfungsausschuss
Preis auf Anfrage
Aktuell befinden wir uns noch in der regulären Laufzeit des Projekts ProNet Handwerk (bis September 2024) und berechnen den Partner*innen keine Kosten für das Einführungspaket der Software.
Das Einführungspaket der Software umfasst folgende Leistungen:
Für die Einführung der Software, das Hosting und den Support werden zukünftig moderate Kosten anfallen. Die ZWH strebt an, die Kosten für die Einführung der Software und das Hosting für ZWH-Mitglieder in das Bildungs- und Arbeitsprogramm der ZWH zu integrieren. Weitere Supportleistungen können zum aktuellen Tagessatz hinzugebucht werden.
Hosting über die ZWH
Eine zuverlässige Bereitstellung der Prüfungssoftware wird von der ZWH als Dienstleitung gewährleistet. Jede durchführende Stelle (z. B. Handwerkskammer) erhält einen eigenen dedizierten Container auf dem Server, um die Sicherheit der Daten zu gewährleisten. Diese Daten werden zusätzlich regelmäßig in zwei verschiedenen Rechenzentren innerhalb der EU als Back-up gesichert.
Die Archivierung der Prüfungen nach den gesetzlichen Aufbewahrungspflichten muss durch die durchführende Stelle selbst sichergestellt werden. Justiziariat und IT der ZWH leisten hierbei gerne beratende Unterstützung.
Integration Schnittstellen in Entwicklung
Alle prüfungsrelevanten Informationen können derzeitig als Excel-Export generiert werden.
Die Prüfungssoftware wird zukünftig in den eCampus Handwerk eingebunden und ermöglicht damit einen nahtlosen Datenaustausch. Somit steht den Organisationen des Handwerks, Dozierenden und Prüfenden eine Lern- und Prüfungsplattform zur Verfügung, auf der Kursorganisation, Teilnahmemanagement, Seminardurchführung und Prüfen möglich ist.
Aktuell wird an einer Schnittstelle zwischen ODAV und eCampus Handwerk gearbeitet. Schnittstellen zu weiteren Vorgangsbearbeitungssystemen (VBS) sind geplant.
Support Online-Schulungen und Schulungsmaterial
Verwaltungsmitarbeitende und Mitglieder eines Prüfungsausschusses erhalten eine Online-Schulung in der Verwendung des browserbasierten Autorentools ItemManagementSystem (IMS), in das die Prüfungsaufgaben eingegeben werden und in dem auch die Prüfungen zusammengestellt werden. Sie werden außerdem vor Ort zum Durchführungstool, wie z. B. zur Prüfungs-App tOSCE oder tEXAM, geschult. Begleitend dazu steht umfangreiches Schulungsmaterial auf dem eCampus Handwerk zur Verfügung.
Der Prüfungsausschuss erhält Unterstützungsleistung für die bestmögliche digitale Abbildung seiner Prüfung, wobei das Anspruchsniveau an die Prüflinge gleich bleiben soll.
Das Einhalten inhaltlicher Vorgaben aus der Prüfungsordnung oder das Abbilden der Taxonomiestufen verbleibt in der Verantwortung des Prüfungsausschusses. Sollte hierzu Unterstützung gewünscht werden, wenden Sie sich bitte an Martin Diart, Bereichsleitung „Lehren, Lernen, Prüfen“ (mdiart@zwh.de).
Hosting
ZWH
Eine zuverlässige Bereitstellung der Prüfungen wird von der ZWH als Dienstleistung zur Verfügung gestellt. Jede durchführende Stelle (z. B. Handwerkskammer) erhält einen eigenen dedizierten Container auf dem Server, um die Sicherheit der Daten zu gewährleisten. Diese Daten werden zusätzlich regelmäßig in zwei verschiedenen Rechenzentren innerhalb der EU als Backup gesichert.
Die Archivierung der Prüfungen nach den gesetzlichen Aufbewahrungspflichten muss durch die durchführende Stelle selbst sichergestellt werden. Justiziariat und IT der ZWH leisten hierbei gerne beratende Unterstützung.
Integration
Schnittstellen in Entwicklung
Alle prüfungsrelevanten Informationen können derzeitig als Excel-Export generiert werden.
Die Prüfungssoftware wird zukünftig in den eCampus Handwerk eingebunden und ermöglicht damit einen nahtlosen Datenaustausch. Somit steht Handwerksorganisationen, Dozierenden und Prüfenden eine Lern- und Prüfungsplattform zur Verfügung, auf der Kursorganisation, Teilnahmemanagement, Seminardurchführung und Prüfen möglich ist.
Aktuell wird an einer Schnittstelle zwischen ODAV und eCampus Handwerk gearbeitet. Schnittstellen zu weiteren Vorgangsbearbeitungssystemen (VBS) sind geplant.
Support
Online-Schulungen und Schulungsmaterial
Verwaltungsmitarbeitende und Mitglieder eines Prüfungsausschusses erhalten eine Online-Schulung in der Verwendung des browserbasierten Autorentools ItemManagementSystem (IMS), in das die Prüfungsaufgaben eingegeben werden und in dem auch die Prüfungen zusammengestellt werden. Sie werden außerdem vor Ort zum Durchführungstool, wie z. B. zur Prüfungs-App tOSCE oder tEXAM, geschult. Begleitend dazu steht umfangreiches Schulungsmaterial auf dem eCampus Handwerk zur Verfügung.
Der Prüfungsausschuss erhält Unterstützungsleistung für die bestmögliche digitale Abbildung seiner Prüfung, wobei das Anspruchsniveau an die Prüflinge gleich bleiben soll.
Das Einhalten inhaltlicher Vorgaben aus der Prüfungsordnung oder das Abbilden der Taxonomiestufen verbleibt in der Verantwortung des Prüfungsausschusses. Sollte hierzu Unterstützung gewünscht werden, wenden Sie sich bitte an Martin Diart, Bereichsleitung “Lehren, Lernen, Prüfen” (mdiart@zwh.de).
Was steckt hinter UCAN?
UCAN steht für „Umbrella Consortium for Assessment Networks“ und ist ein großer Prüfungsverbund, der vom Institut für Kommunikations- und Prüfungsforschung (IKPF) gegründet wurde. Das Institut ist gemeinnützig, d. h., alle erwirtschafteten Überschüsse fließen zurück in die Qualität der Prüfungsentwicklung. Die UCAN-Tools werden bereits seit 15 Jahren in Medizinprüfungen eingesetzt. Mit insgesamt 95 Partner*innen in sieben Ländern hat UCAN in diesem Zeitraum rund 15 Millionen Personen geprüft. Ziel ist es, durch den Austausch von Erfahrungen im UCAN-Verbund Ressourcen zu bündeln und Herausforderungen im Prüfungsbereich gemeinsam zu meistern.
Laufen tEXAM und tOSCE auf allen Tablets?
Nein. Beide Prüfungs-Apps können nur auf iPads von Apple (iOS) verwendet werden. Eine Verwendung auf Android-Geräten ist nicht möglich und auch nicht für die nahe Zukunft geplant.
Wo werden Prüfungsaufgaben eingegeben?
Prüfungsaufgaben werden von Prüfenden nicht am Tablet eingegeben, sondern browserbasiert am PC. Das Autorentool für die Eingabe von Prüfungsaufgaben im Browser heißt ItemManagementSystem (IMS).
Wo werden Prüfungen nachbewertet?
Nach einer Prüfung müssen zunächst alle Prüfungseingaben auf Vollständigkeit und korrekte Eingabe kontrolliert werden. Diese Kontrolle geschieht anhand der automatisch generierten Excel- und PDF-Dateien aller Prüfungseingaben. Erst dann werden im browserbasierten UCAN-Tool „Examinator“ sowohl Prüfungsergebnisse generiert als auch teststatistische Auswertungen vorgenommen, die Rückschlüsse auf die Prüfungsqualität zulassen und somit einen wichtigen Teil zur Qualitätssicherung beitragen können.
Wie kann mit dem digitalen Prüfen gestartet werden?
Für die Einführungen digitaler schriftlicher Prüfungen sollten zunächst einfache Aufgabentypen mit klar definierten Bewertungskriterien ausgewählt werden, z. B. Single-Choice-, Multiple-Choice- oder Freitextaufgaben mit eindeutigem Punkt- und Lösungshorizont. Aber auch Prüfungen mit vielen Freitextaufgaben können dann erfolgreich digital abgebildet werden, wenn Punkte und Lösungshorizont klar definiert sind. Digitale Eingabe und Auswertung liefern selbst dann eine große Zeitersparnis, wenn es sich wie bei Freitextaufgaben nicht um automatisiert auswertbare Prüfungsaufgaben handelt. Je mehr Vertrautheit im Umgang mit der Prüfungssoftware herrscht, desto leichter lassen sich schrittweise weitere Prüfungen umsetzen, die mehr Aufwand in der digitalen Umsetzung der Prüfungsaufgaben benötigen.
Für die Durchführung fachpraktischer Prüfungen, in denen Prüfende mit dem Tablet die praktischen Fertigkeiten ihrer Prüflinge bewerten und dokumentieren, sollte zunächst eine Prüfung mit definierten Bewertungskriterien und einer eindeutigen Punktevergabe gewählt werden. Kleinere Prüfungsausschüsse eignen sich gut, weil intensiv mit der Software gearbeitet werden kann. Eine Prüfung mit einem oder maximal zwei Prüfungsorten sollte für die erste digitale Durchführung gewählt werden, da das Bereitstellen der Tablets an unterschiedlichen Orten einen zusätzlichen logistischen Aufwand bedeutet.
Wird es möglich sein, über den ProgressTest noch mehr Aufgabentypen am PC zu prüfen?
Zukünftig werden alle UCAN-Tools über eine Nutzungsoberfläche erreichbar sein. Diese Gesamtlösung (EXP) wird es ermöglichen, dass nicht nur alle aktuellen tEXAM-Aufgabentypen (siehe: „Blick in die App“), sondern zusätzliche neue Aufgabentypen am PC/Laptop zur Verfügung stehen.
