Alle ATE-Projekte müssen Mittel für externe Evaluierungsdienste bereitstellen. Wenn es also um interne und externe Evaluation geht, ist es sicher, dass Sie einen externen Evaluator haben müssen. (In seltenen Fällen können alternative Vereinbarungen von einem Programmbeauftragten genehmigt werden.)
Es gibt zwei Arten von externen Evaluatoren:
Typ 1: Evaluatoren, die vollständig außerhalb der Institution sind
Typ-2-Evaluatoren, die außerhalb des Projekts, aber innerhalb der Institution sind (z. B. ein institutioneller Forscher oder ein Fakultätsmitglied aus einer anderen Abteilung als dem, in dem sich das Projekt befindet).
Beide Typen gelten als extern, solange der externe Evaluator vom Typ 2 wirklich unabhängig vom Projekt ist.
Ein interner Evaluator ist ein Mitarbeiter des Projekts, der direkt vom Projekt finanziert wird, z. B. ein Projektmanager. Häufiger ist die interne Bewertung eine gemeinsame Verantwortung der Teammitglieder. Es gibt viele Möglichkeiten, interne und externe Evaluationsfunktionen zu koordinieren. Im Laufe der Jahre habe ich vier grundlegende Ansätze festgestellt:
(1) Externer Evaluator als Coach: Der externe Evaluator bietet dem internen Projektteam während der gesamten Laufzeit des Stipendiums Anleitung und Feedback. Dies ist ein guter Ansatz, wenn unter den Teammitgliedern bereits eine gewisse Bewertungskompetenz besteht. Die Einbeziehung des externen Evaluators erhöht die Glaubwürdigkeit der Evaluation und hilft dem Team, seine Evaluierungskenntnisse und -fähigkeiten weiter auszubauen.
(2) Externer Evaluator als Schwerlastkraft: Der externe Evaluator übernimmt die Führung bei der Planung der Evaluation, dem Entwurf von Instrumenten, der Analyse von Ergebnissen und dem Schreiben von Berichten. Das interne Team sammelt hauptsächlich Daten und stellt sie dem externen Evaluator zur Verarbeitung zur Verfügung. Bei diesem Ansatz sollte der externe Evaluator eindeutige Datenerfassungsprotokolle bereitstellen, um eine systematische Erfassung und Verarbeitung der Daten durch das interne Team zu gewährleisten, bevor die Informationen an den externen Evaluator übergeben werden.
(3) Externer Evaluator als Architekt: Der externe Evaluator gestaltet die Gesamtbewertung und entwickelt Instrumente zur Datenerhebung. Das Projektteam führt den Plan bei Bedarf mit technischer Unterstützung durch den externen Evaluator durch – insbesondere an kritischen Punkten der Bewertung wie Analyse und Berichterstattung. Bei diesem Ansatz ist es wichtig, das Evaluierungsbudget im ersten Jahr des Projekts vorab zu laden, um eine intensive Einbeziehung des externen Evaluators zu ermöglichen.
(4) Teilen und Erobern: Das interne Team ist für die Bewertung der Projektumsetzung und der sofortigen Ergebnisse verantwortlich. Der externe Evaluator übernimmt die Evaluation der längerfristigen Ergebnisse. Dies ist der Ansatz, den EvaluATE verwendet. Wir verfolgen und analysieren sorgfältig Daten darüber, wie gut wir unser Publikum erreichen und ansprechen. Wir sind verantwortlich für die Bewertung der unmittelbaren Ergebnisse unserer Webinare und Workshops (z., Zufriedenheit der Teilnehmer, selbstberichtetes Lernen und Absicht, Inhalte zu verwenden). Unser externer Evaluator ist dafür verantwortlich, die Auswirkungen von EvaluATE auf die Bewertungspraktiken unserer Nutzer zu ermitteln und zu bewerten.
Ein Hinweis zur Vorsicht: Die interne Übernahme eines Teils einer Evaluation wird oft als Mittel zur Schonung von Projektressourcen angesehen und kann diese Wirkung haben. Aber machen Sie nicht den Fehler zu denken, dass die interne Bewertung kostenlos ist. Zumindest braucht es Zeit, die manchmal seltener ist als Geld. Kurz gesagt, es gibt keinen besten Weg, interne und externe Bewertungen zu koordinieren. Ihr Ansatz sollte für Ihr Projekt unter Berücksichtigung der verfügbaren Ressourcen (einschließlich Personalzeit und Fachwissen) und der für Ihr Projekt erforderlichen Bewertung sinnvoll sein.
Was mehr wissen? Schauen Sie sich dieses 5-minütige Video an, in dem ich erkläre, was als unabhängig gilt, wie Sie einen externen Evaluator finden und wie Sie die Verantwortlichkeiten zwischen internen und externen Evaluatoren aufteilen: Grundlagen der Evaluation Teil 4: Wer kann das?
