Co tedy evaluace znamená a k čemu slouží? V obecném smyslu je slovo evaluace odvozeno z latinského slovesa valere (= být silný, mít platnost, závažnost) a znamená určení hodnoty, ocenění (Klimeš, 1998).
Evaluace je ve vzdělávání obvykle chápána jako systematické zkoumání kvality nebo hodnoty vzdělávacího programu nebo jeho jednotlivých částí, které umožňuje usuzovat o celkové efektivitě studia a o edukativním potenciálu vzdělávacího zařízení a jejím výsledkem je určení hodnoty a efektivity vzdělávacího programu. Jinými slovy evaluace slouží jako podklad pro určení kvality vzdělávacích programů, institucí či/a lektorů.
Aby evaluace sloužila jako nástroj určování, tedy zjišťování (a pokud jsou využity její výsledky tak i zajišťování) kvality ve vzdělávání, měla by být prováděna profesionálně a komplexně. Znamená to realizovat ji v různých fázích přípravy a realizace vzdělávací aktivity, ale také zaměřit ji na různé aspekty této aktivity.
Evaluaci můžeme realizovat již před zahájením nebo na začátku vzdělávací aktivity. V této fázi je realizována evaluace zaměřená na poznání účastníků, jejich vstupních znalostí a dovedností a jejich očekávání od kurzu. Tyto vstupní informace pak může využít jednak lektor při výuce, ale i organizátor vzdělávací aktivity při dalších fázích evaluace.
Evaluace v průběhu vzdělávací aktivity (někdy se tato evaluace nazývá průběžnou či formativní) se provádí zejména u dlouhodobějších vzdělávacích programů. Zjišťují se jí zejména názory účastníků na vzdělávací program a jednotlivé jeho součásti, např. lektora, prostředí výuky, využité didaktické metody a techniky, pomůcky, studijní materiály atd. Výsledky slouží zpravidla k případným korekcím téhož kurzu. Ne všechny evaluované součásti ovšem můžeme operativně měnit v průběhu běžícího programu (např. lektorské obsazení, studijní materiály), některé výsledky tedy slouží i jako podklad k plánování a realizaci dalších, stejných nebo podobných kurzů.
Evaluace na konci vzdělávací aktivity (finální či sumativní evaluace) se zpravidla zaměřuje na zjišťování reakcí účastníků na vzdělávací program, ale také na výsledky jejich učení, tedy na to, zda byly naplněny stanovené cíle vzdělávací aktivity.
V některých případech je žádoucí zjišťovat také to, zda účastníci přenesli nově naučené do svého pracovního života, co z nově naučeného použili a co ne a na základě těchto informací pak dělat změny v následných, stejných nebo podobných vzdělávacích programech a aktivitách, tedy realizovat evaluaci po ukončení vzdělávací aktivity.
Evaluaci je možné provádět v jedné, ve více, nebo i ve všech uvedených fázích vzdělávací aktivity. V druhém případě, tedy pokud je realizována ve všech fázích vzdělávacího procesu, poskytuje evaluace komplexnější výsledky, je ovšem také náročnější, a to jak po stránce finanční a časové, tak z hlediska využití lidských zdrojů.
Jedním z efektivních nástrojů pro realizaci evaluace je model, který vytvořil v 60. letech 20. století Donald L. Kirkpatrick. Původně byl tento model zkonstruován pro oblast firemního vzdělávání (obrázek 1), ale s určitými modifikacemi (zkrácený) může být využíván pro všechny oblasti vzdělávání dospělých, resp. dalšího vzdělávání (obrázek 2).
Kirkpatrick identifikoval čtyři úrovně evaluace vzdělávacího programu: (1) reakce, (2) učení, (3) chování a (4) výsledky. Evaluace by vždy měla začínat úrovní jedna (reakce) a pak postupně projít úrovněmi dvě, tři a čtyři. Každá následující úroveň vychází z té předchozí a navazuje na ni, resp. na informace v ní získané. Každá další úroveň je také přesnější, ale zároveň i obtížnější, nákladnější a časově náročnější než předchozí a tedy i méně často v praxi realizovaná. Tyto čtyři úrovně „tvoří jakýsi řetěz. Vzdělávání vyvolává reakce, které vedou k učení, které vede ke změnám pracovního chování, které vedou k výsledkům v organizační jednotce i celé organizaci.“ (Armstrong, 2002, s. 515)
Abychom dostali úplný soubor dat pro měření vzdělávacího programu, měla by evaluace být realizována na každé z těchto čtyř úrovní (srov. Belcourt, Wright, 1998; Bistritz, 2000):
Reakce – na této úrovni hledáme odpovědi na otázku: líbilo se jim to?
Měření reakcí účastníků, tedy jejich spokojenosti se vzdělávacím programem a jednotlivými jeho částmi, je nejčastěji prováděnou formou evaluace. Realizuje ji u svých programů a aktivit většina vzdělavatelů, protože se poměrně snadno provádí a umožňuje snadný sběr a analýzu dat.
Reakce účastníků měříme zpravidla jako zpětnou vazbu na konci programu, a to pomocí pozorování, rozhovorů a/nebo dotazníků. Zjednodušeně by se dalo říct, že účastníci se mají vyjádřit k tomu, co se jim na programu líbilo a co ne. Takto lze získat okamžitou zpětnou vazbu, která umožní rychlé korekce programu, a základ pro další úrovně evaluace. Samozřejmě evaluace na této úrovni je značně subjektivní a to, jakou informace vzdělavatel obdrží, závisí do značné míry na tom, na co se ptá a jak jsou otázky položeny. Klíčovou roli zde hrají také očekávání účastníků – pokud jsou tato očekávání příliš vysoká (např. proto, že vzdělávací instituce daný kurz inzeruje jako „to nejlepší, co vůbec existuje“), bývají často nenaplněna a účastníci kurz hodnotí výrazně negativněji, než kdyby jejich očekávání byla reálná.
Data získaná na této úrovni evaluace tedy sama o sobě mnoho nevypovídají o celkové efektivitě vzdělávacího programu (je potřeba mít na paměti, že na této úrovni evaluace zjišťujeme „pouze“ názory a preference účastníků, nikoliv realitu dané vzdělávací aktivity a její kvalitu nebo efektivitu), a proto je třeba realizovat evaluaci na další úrovni.
Učení – na této úrovni hledáme odpovědi na otázku: naučili se to?
Prostřednictvím evaluace na úrovni učení získávají jak účastníci, tak i lektor zpětnou vazbu o změnách ve znalostech, dovednostech a postojích jako výsledku účasti na vzdělávacím programu. Zjišťujeme tedy, zda byly naplněny stanovené cíle vzdělávací aktivity.
Evaluace na této úrovni je zpravidla realizována prostřednictvím různých forem ústních, písemných nebo praktických zkoušek. Nejefektivnější je použití techniky pre-testu a post-testu (re-testu), tedy provedení zkoušky znalostí a dovedností na začátku a na konci kurzu. Tak lze předpokládat, že jakékoliv zlepšení je výsledkem absolvování tohoto kurzu. Je ovšem možné využít také techniky řešení případových studií, hraní rolí apod.
Optimální je realizovat evaluaci na této úrovni nejen jako sumativní, ale i jako formativní, tedy v průběhu vzdělávacího kurzu, což umožňuje včasné korekce obsahu, použitých metod, technik, pomůcek atd.
Chování – na této úrovni hledáme odpovědi na otázku: použili to v praxi?
Evaluace chování zjišťuje, zda byly naučené dovednosti přeneseny do praxe, zda se nějak změnilo chování účastníků po absolvování vzdělávacího programu. Zjišťujeme tedy „transfer“ naučeného do života účastníka, resp. absolventa vzdělávací aktivity.
Na této úrovni už není realizace evaluace tak snadná. Je totiž velmi těžké odhadnout, zda se změna v chování udála v důsledku vzdělávacího programu, nebo na základě nějaké jiné intervence či zkušenosti, která s tímto programem přímo nesouvisí.
Jednou z možných technik, které používáme hlavně v pracovním prostředí, je pozorování. To by mělo probíhat před kurzem a po kurzu, aby bylo možné zjistit, zda opravdu došlo ke změně chování. Evaluátoři se také mohou dotazovat – ústně (rozhovor) či písemně (dotazník) – spolupracovníků nebo jiných osob, které jsou s účastníkem v kontaktu (podřízených, nadřízených, klientů apod.). Další možnou technikou, i když ne tak spolehlivou, je dotazování se samotného účastníka, zda opravdu přenáší naučené do praxe.
Tato evaluace je zpravidla prováděna po delším časovém období po absolvování kurzu. Jde o týdny až měsíce, někdy dokonce roky. Cílem je totiž zjistit, zda vzdělávací působení mělo dlouhodobé efekty, zda bylo opravdu pro praxi přínosem. Optimální by bylo provádět řadu měření rozprostřených do určitého časového úseku po ukončení vzdělávání. V praxi je to ovšem nereálné nejen z hlediska ochoty či spíše neochoty relevantních stran ke spolupráci, ale také z hlediska časového a finančního aj.
Výsledky – na této úrovni hledáme odpovědi na otázku: došlo ke změně efektivity organizace?
Měření výsledků, tedy vlivu vzdělávacího programu na podnikové ukazatele (obrat, produktivita, kvalita, ziskovost, snížená úrazovost, zvýšená spokojenost zákazníků apod.), je nejobtížnějším krokem evaluace. Měření na této úrovni je namáhavější, časově náročnější a finančně nákladnější než na předchozích třech.
Nejen že měření je tu velmi obtížné, ale je také nepravděpodobné, že bude možné prokázat přímou souvislost mezi vzdělávacím programem a např. zvýšením produktivity podniku. Pokud se ale podaří provést evaluaci na této úrovni správně, výsledkem jsou hodnotné informace týkající se kvality a efektivity vzdělávacího programu.
Evaluaci na této úrovni je ale možné realizovat pouze v případě, že jde o vzdělávací akci realizovanou pro jednu konkrétní organizaci a že ji absolvovali její klíčoví pracovníci.
Každá z výše popsaných úrovní poskytuje specifické informace a pouze realizace všech čtyř úrovní evaluace (popř. prvních tří, pokud se nejedná o oblast firemního vzdělávání) nám zajistí komplexní soubor dat pro vyhodnocení kvality a efektivity konkrétního vzdělávacího programu či aktivity.
Tyto úrovně tvoří jakýsi řetěz příčin a následků: vzdělávací aktivita vede k reakcím, které vedou k učení, které vede ke změnám v pracovním chování, které vedou ke změnám v organizaci. V zásadě platí, že pokud jsou reakce účastníků pozitivní, je o něco zvýšená pravděpodobnost, že se v daném kurzu také něco naučí, pokud jsou naopak reakce negativní, je o něco zvýšená pravděpodobnost, že se toho naučí méně. Pokud si v průběhu vzdělávací aktivity účastníci osvojí nové znalosti a dovednosti, je vyšší pravděpodobnost, že je také využijí v praxi, a naopak, pokud si nové znalosti a dovednosti neosvojí, je vysoká pravděpodobnost, že je v praxi nevyužijí.
Pomocí výše popsaných modelů a nástrojů tedy můžeme velmi komplexně zjišťovat kvalitu a efektivitu vzdělávacích aktivit. Důležité při tom je především správné nastavení cílů vzdělávací aktivity. Ty by měly být stanoveny na základě analýzy potřeb účastníků a měly by být správně formulovány (např. dle pravidla SMART). Na jejich základě by měl být stanoven obsah vzdělávací aktivity, metody, pomůcky a technika a lektor by měl v průběhu vzdělávací akce všemi svými aktivitami směřovat k jejich naplnění. Evaluací de facto zjišťujeme míru naplnění vzdělávacích cílů. Pokud tedy nejsou stanoveny vůbec nebo nejsou stanoveny správně, není možné správně nastavit ani evaluaci.
Evaluace ale, jak již bylo výše zmíněno, může sloužit nejen k zjišťování, ale i k zajišťování kvality a efektivity vzdělávacích programů, lektorů či institucí poskytujících programy a kurzy dalšího vzdělávání. Tuto funkci plní evaluace v případě, že jsou na základě jejích výsledků realizována opatření směřující k nápravě zjištěných, pokud ne všech, tak alespoň těch nejzávažnějších, nedostatků.
Samozřejmě v téměř kterékoliv vzdělávací aktivitě se objevují účastníci, kteří s jejím průběhem nebo nějakou její částí nejsou spokojeni. V takovém případě je jistě potřeba se negativními reakcemi zabývat, ale není nutné na základě těchto zjištění měnit klíčové parametry vzdělávací aktivity. K výrazným opatřením je ovšem potřeba přistoupit v případě, kdy jsou výsledky evaluace vzdělávací aktivity opakovaně spíše negativní než pozitivní. Pak je potřeba zjistit, které faktory či kombinace faktorů (např. nevhodný obsah, nevhodný časový rozvrh aktivity, vnější faktory, nevhodný výběr lektora, nevhodně zvolené metody, pomůcky, technika apod.) vedly k problému a ty změnit.
Takto realizovaná evaluace ale není zdaleka jediným nástrojem pro zjišťování a eventuálně zajišťování kvality vzdělávacích institucí, aktivit a lektorů.
Hodnocení kvality bývá prováděno pomocí standardů, tedy předem stanovených a formalizovaných požadavků na úroveň (jakost) nabízených produktů. V oblasti dalšího vzdělávání se využívají například ISO, EFQM, specificky pak EduQua, KWIK, LQW a další. Kromě nich jsou užívány i další nástroje zabezpečování kvality, např. benchmarking, akreditace apod.
Literatura
ARMSTRONG, Michael. Řízení lidských zdrojů. 1. vydání. Praha: Grada Publishing, 2002. ISBN 80-247-0469-2.
BELCOURT, Monica a Phillip C. WRIGHT. Vzdělávání pracovníků a řízení pracovního výkonu. 1. vydání. Praha: Grada Publishing, 1998. ISBN 80-7169-459-2.
BISTRITZ, Stephen J. Evaluating Sales Training Programs. Determining The Effectiveness Of Sales Trainings Programs. 2000. [online]. [20. 8. 2003]. Dostupné na: http://www.strategicaccounts.org/public/education/pdf/evaluating_siebel.pdf
BRÁZDOVÁ, Zdeňka. Hodnocení ve vzdělávání dospělých. 1. vydání. Olomouc: Univerzita Palackého, 2000. Bez ISBN.
KIRKPATRICK, Donald, L. a James D. KIRKPATRICK. Evaluating Training Programs: The Four Levels. 3rd. Edition. San Francisco: Berrett-Koehler Publishing, 2006. ISBN 1-57675-348-4.
MARGOLIS, Frederic H. a Bonnie J. SWAN. A Trainerʼs Handbook for Participative Learning. Amhers, Massachusetts: HRD Press, 1999. ISBN 0-87425-486-8.
PRŮCHA, Jan. Pedagogická evaluace: hodnocení vzdělávacích programů, procesů a výsledků. 1. vydání. Brno: Masarykova univerzita, 1996. ISBN 80-210-1333-8.
Autor: PhDr. Miroslava Dvořáková, Ph.D.