kaikkien ATE-hankkeiden on osoitettava varoja ulkopuolisiin arviointipalveluihin. Niin, kun se tulee sisäinen ja ulkoinen arviointi, yksi varma asia on, että sinulla on oltava ulkoinen arvioija. (Harvoissa tapauksissa ohjelmavastaava voi hyväksyä vaihtoehtoisia järjestelyjä.)
on olemassa kahdenlaisia ulkopuolisia arvioijia:
tyyppi 1: Arvioijat, jotka ovat täysin laitoksen ulkopuolisia
tyypin 2 arvioijia, jotka ovat hankkeen ulkopuolisia, mutta laitoksen sisäisiä (kuten laitostutkija tai tiedekunnan jäsen eri osastolta kuin missä hanke sijaitsee).
molempia tyyppejä pidetään ulkopuolisina, kunhan tyypin 2 ulkopuolinen arvioija on aidosti riippumaton hankkeesta.
sisäinen arvioija on hankkeen henkilöstön jäsen, joka saa hankkeesta suoraa rahoitusta, kuten projektipäällikkö. Yleisemmin sisäinen arviointi on jaettu vastuu tiimin jäsenten kesken. Sisäisten ja ulkoisten arviointitoimintojen koordinointiin on monia vaihtoehtoja. Vuosien varrella olen pannut merkille neljä peruslähestymistapaa:
(1) ulkopuolinen arvioija valmentajana: ulkopuolinen arvioija ohjaa ja antaa palautetta sisäiselle projektitiimille koko apurahan voimassaoloajan. Tämä on hyvä lähestymistapa, kun tiimin jäsenillä on jo jonkin verran arviointiosaamista. Ulkopuolisen arvioijan osallistuminen lisää arvioinnin uskottavuutta ja auttaa tiimiä jatkamaan arviointitietojen ja-taitojen kartuttamista.
(2) ulkopuolinen arvioija Heavynostajana: ulkopuolinen arvioija johtaa arvioinnin suunnittelua, välineiden suunnittelua, tulosten analysointia ja raporttien kirjoittamista. Sisäinen tiimi kerää pääasiassa tietoja ja toimittaa ne ulkopuoliselle arvioijalle käsiteltäväksi. Tässä lähestymistavassa ulkoisen arvioijan olisi laadittava selkeät tiedonkeruuprotokollat sen varmistamiseksi, että sisäinen ryhmä kerää ja käsittelee tiedot järjestelmällisesti ennen kuin se luovuttaa tiedot ulkopuoliselle arvioijalle.
(3) ulkopuolinen arvioija arkkitehtina: ulkopuolinen arvioija suunnittelee kokonaisarvioinnin ja kehittää tiedonkeruun välineitä. Hankeryhmä toteuttaa suunnitelman ja saa tarvittaessa teknistä apua ulkopuoliselta arvioijalta – erityisesti arvioinnin kriittisissä kohdissa, kuten analysoinnissa ja raportoinnissa. Tämän lähestymistavan mukaisesti on tärkeää ladata etukäteen arviointibudjetti hankkeen ensimmäisenä vuonna, jotta ulkopuolinen arvioija voi osallistua siihen tiiviisti.
(4) Divide-and-Conquer: sisäinen työryhmä vastaa hankkeen toteutuksen ja välittömien tulosten arvioinnista. Ulkopuolinen arvioija hoitaa pidemmän aikavälin tulosten arvioinnin. Tämä on lähestymistapa, jossa arvioidaan käyttötarkoituksia. Seuraamme ja analysoimme huolellisesti tietoja siitä, kuinka hyvin tavoittamme ja sitoudumme yleisöömme. Olemme vastuussa webinaarien ja työpajojen välittömien tulosten arvioinnista (ts., osallistujien tyytyväisyys, itse ilmoitettu oppiminen ja aikomus käyttää sisältöä). Ulkopuolinen arvioijamme on vastuussa Evaluaten vaikutuksen määrittämisestä ja arvioinnista käyttäjiemme arviointikäytäntöihin.
varoituksen sana: osa arvioinnista sisäisesti nähdään usein keinona säästää hankkeen resursseja, ja sillä voi olla tämä vaikutus. Mutta älkää erehtykö luulemaan, että sisäinen arviointi on maksutonta. Vähimmillään se vie aikaa, joka on joskus harvinaisempi hyödyke kuin raha. Lyhyesti sanottuna ei ole olemassa yhtä parasta tapaa koordinoida sisäistä ja ulkoista arviointia. Lähestymistapasi pitäisi olla järkevä hankkeesi kannalta, kun otetaan huomioon käytettävissä olevat resurssit (mukaan lukien henkilöstön aika ja asiantuntemus) ja se, mitä tarvitset arviointiasi tehdäksesi projektisi.
mitä tietää lisää? Tutustu tähän 5 minuutin video, jossa selitän, mitä lasketaan riippumaton, miten löytää ulkoinen arvioija, ja miten jakaa vastuuta integroida sisäisiä ja ulkoisia arvioijia: Evaluation perusteet osa 4: Kuka voi tehdä sen?
