UCAN feiert 15-jähriges Bestehen – ProNet Handwerk hält Gastrede auf internationaler Konferenz

Am 30. September 2021 fand die diesjährige UCAN-Konferenz zum Thema „(E-)exams today. Best practice and future developments“ aufgrund der Corona-Pandemie vollständig auf virtuellem Wege statt. Das Institut für Kommunikations- und Prüfungsforschung (IKPF) mit Sitz in Heidelberg lud seine 77 Mitglieder aus acht Ländern dazu ein, gemeinsam auf 15 Jahre Forschung, Entwicklung innovativer Prüfungsformate und Implementierung von Prüfungsstandards zurückzublicken.

Insgesamt 90 Teilnehmende aus 39 Partnerinstitutionen tauschten sich über ihre Erfahrungen in der Durchführung digital gestützter Prüfungen aus. Diskutiert wurden neue Prüfungsmöglichkeiten, aber auch Grenzen elektronischer Prüfungen. Insbesondere in diesem Jahr wurden weitere Vorteile digital gestützter Prüfungen angesichts der Corona-Pandemie und der zunehmenden Sensibilisierung hinsichtlich einzuhaltender Hygienemaßnahmen deutlich.

Damit das Handwerk im Einsatz der UCAN-Tools an die Erfolge der bislang ausschließlich medizinischen Prüfungsdurchführung anknüpfen kann, ist die Weiterentwicklung der bestehenden UCAN-Tools ein zentrales Ziel des InnoVET-Projekts ProNet Handwerk. Als Verantwortliche des Arbeitspakets „Prüfungssoftware“ richteten Stefanie Leu und Astrid Dolle in ihrem Vortrag den Fokus auf Anforderungen, denen die Prüfungssoftware in handwerklichen Prüfungen begegnen muss. Die Handlungsorientierung innerhalb einer Prüfung ist richtungsweisend für eine gute Prüfungsaufgabe. Prüflinge benötigen für die Lösung der Prüfungsaufgaben Informationen zu musterhaften Handwerksunternehmen, die oftmals seitenlangen Anhängen entnommen werden müssen. Der Transfer dieser grundlegenden Prüfungsstruktur in die digitale Welt muss geleistet werden, d. h., nicht nur die Prüfungssoftware muss sich einer notwendigen Weiterentwicklung unterziehen, sondern auch Prüfende stehen vor der Herausforderung, Prüfungsaufgaben neu zu denken.

Das Team von ProNet Handwerk freut sich auf die weitere Zusammenarbeit und über die Unterstützung in der Gestaltung und Etablierung des digitalen Prüfens im Handwerk durch den erfahrenen UCAN-Verbund.

Zweiter Workshop „Anforderungen an eine Prüfungssoftware“ des InnoVET-Projekts ProNet Handwerk

Am 1. Juni 2021 kam das Verbundprojektteam mit insgesamt 29 Teilnehmenden aus Handwerkskammern und Fachverbänden zu einem zweiten Workshop zusammen, um die Anforderungen an eine Prüfungssoftware, die sich aus der Aufgabenerstellung und Prüfungszusammenstellung des Prüfungsprozesses ergeben, vorzustellen und zu diskutieren.

Bereits im Vorfeld des Workshops konnten die Teilnehmenden eine Demoprüfung testen und so die Prüfungssoftware aus Sicht einer zu prüfenden Person kennenlernen. Während der Veranstaltung stellte das Institut für Kommunikations- und Prüfungsforschung gGmbH (IKPF) die in der Demoprüfung enthaltenen Aufgabentypen ausführlich vor. In der anschließenden Diskussionsrunde wurden diese Durchführungswerkzeuge im Hinblick auf die Bedarfe im Handwerk bewertet.

Hierbei ließ sich feststellen, dass die vorgestellten Aufgabentypen umfangreich und für handwerkliche Prüfungen geeignet sind. Der Fokus der Weiterentwicklung liegt darauf, größere Mengen von Anlagen, die insbesondere in Meisterprüfungen eine wesentliche Rolle spielen, abzubilden, ohne die Sichtbarkeit der zugehörigen Aufgabenstellung einzuschränken. Die Realisierbarkeit von technischen Aufgabenstellungen, die oftmals Formeln für Berechnungen, Zeichnungen und Sonderzeichen enthalten, ist nach Einschätzung der Teilnehmenden eine Anforderung an die künftige Prüfungssoftware.

Mithilfe des UCAN-Tools IMS (ItemManagementSystem) demonstrierte das IKPF auch die Möglichkeit der kollaborativen Aufgabenerstellung und Prüfungszusammenstellung. Der Grundgedanke, einen gemeinsamen Prüfungsfragen-Pool zu erstellen und zu verwenden, wurde von vielen Teilnehmenden befürwortet. Um sicherzustellen, dass diejenigen, die für die Aufgabenerstellung zuständig sind, souverän mit den Prüfungstools umgehen können, werden umfassenden Anleitungen und Schulungen eine hohe Priorität beigemessen.

Wir danken allen Anwesenden für die konstruktive Zusammenarbeit!

 

 

 

Workshop „Anforderungen an eine Prüfungssoftware“ des InnoVET-Projekts ProNet Handwerk

Die Einladung an die Prüfungsabteilungen der Handwerkskammern zum Projekt-Workshop „Anforderungen an eine Prüfungssoftware“ am 25. März 2021 stieß auf großes Interesse.

Gemeinsam mit den insgesamt 54 Teilnehmer*innen aus 32 Handwerkskammern hat das Verbundprojektteam die Anforderungen an eine Prüfungssoftware im Workshop zusammengetragen, diskutiert und priorisiert.

Die Entwicklungsarbeit erfolgte in den zwei Arbeitsgruppen „Anforderungen an die Prüfungssoftware aus Sicht des Aufgabenerstellers und des Prüfungsausschusses“ und „Anforderungen an die Prüfungssoftware aus Sicht der zu prüfenden Personen und der Prüfungsabteilungen“.

Beide Arbeitsgruppen sehen die wichtigste Anforderung in der einfachen Bedienbarkeit der Prüfungssoftware. Mit Abstand wurde diese Anforderung durch die Teilnehmer*innen am höchsten priorisiert. Oftmals stehen der Vision eines vollständig digitalisierten Prüfungsverfahrens die Unsicherheit und fehlendes technisches Know-how des Bildungspersonals im Weg. Die einfache Bedienbarkeit kann Hemmschwellen und Berührungsängste mit der Software reduzieren.

Die Arbeitsgruppe „Anforderungen an die Prüfungssoftware aus Sicht des Aufgabenerstellers und des Prüfungsausschusses“ hält des Weiteren eine breite Palette von Aufgabentypen für sehr wichtig. Dazu gehören beispielsweise Multiple-Choice-Aufgaben, Freitextaufgaben, Zuordnungsaufgaben etc. Auch die darin oftmals enthaltenen Tabellen, Grafiken und Bilder stellen eine Anforderung an das Prüfungstool dar. Befürwortet wird von den Teilnehmer*innen des Workshops zudem eine Funktion, die es dem Prüfungsausschuss erleichtert, eine Aufgabenzusammenstellung gemäß der Prüfungsordnung vorzunehmen und gleichzeitig eine unabsichtliche Veränderung dieser verhindert. Mithilfe derartiger digitaler „Blaupausen“ können Standards im Prüfungsverfahren geschaffen werden.

Aus den Ergebnissen der Arbeitsgruppe „Anforderungen an die Prüfungssoftware aus Sicht der zu prüfenden Personen und der Prüfungsabteilungen“ geht hervor, dass insbesondere die Schnittstellenfunktion zu den Vorgangsbearbeitungssystemen (VBS) der Handwerkskammern eine hohe Priorität genießt. Auf diese Weise könne ein einfacher und sicherer Austausch von Daten der Teilnehmer*innen, Noten etc. vom VBS in die Prüfungssoftware und zurück sichergestellt werden. Um einen souveränen Umgang der zu prüfenden Personen mit der Prüfungssoftware zu gewährleisten, sollte es eine Demoprüfung für die Erprobung geben. Außerdem sollten die zu prüfenden Personen die Möglichkeit erhalten, Fragen zurückzustellen und bei „Abgabe“ der Prüfung einen Hinweis erhalten, falls Fragen noch unbeantwortet geblieben sind.

Die Ergebnisse des Workshops werden gemeinsam von der ZWH mit dem Institut für Kommunikations- und Prüfungsforschung gGmbH (IKPF) ausgewertet und fließen in die Weiterentwicklung der Prüfungssoftware mit ein.

Wir danken allen Anwesenden für die konstruktive Zusammenarbeit und freuen uns auf weitere Austausche.