Jak se připravují testy k přijímačkám na vysokou školu (II)

Koordinátor, garant, oponent, pretestant a další role

Udělejme si na úvod pořádek v obsazení hlavních a vedlejších rolí.

Autor vytváří testové úlohy (otázky). Vychází ze specifikace testu a není na to sám – obvykle se na tvorbě úloh typického testu podílí nižší desítky lidí. Jedná se o mix autorů, kteří rozumí dané oblasti, lidé z vysokých i středních škol, specialisté jako psychologové, právníci, rodilí mluvčí a také ti nejlepší absolventi předchozích ročníků NSZ.

Garant sestavuje specifikaci testu, pomáhá autorům splnit formální požadavky na úlohy, kontroluje korektnost otázek a soulad se specifikací. Je to on, kdo při přípravě testu zpracovává připomínky.

Grafik má na starosti vizuální podobu testu – papírovou i digitální. Jeho úkolem je připravit vzhled, který řešitelům usnadní orientaci.

Koordinátor testu funguje jako projektový manažer. Na začátku vybere garanta, poté se podílí na sestavení specifikace, později oslovuje další specialisty, sestavuje testovací balíčky pro pilotáž a dohlíží na harmonogram prací.

Korektor prochází finální verzi testu, aby v ní nebyly chyby.

Oponent pročítá specifikaci testu a později i úlohy, u kterých hodnotí korektnost, kvalitu i soulad se specifikací. Každý test má jednotky oponentů, ti sepíší své připomínky a předají je garantovi. Není výjimečné, že oponentura probíhá v několika kolech.

Pilotant je obvykle student posledního ročníku střední školy, zástupce cílové skupiny, která bude skládat výsledný test. Učitelé vybraných škol od nás dostanou testovací balíčky, které pilotanti zodpoví. Díky jejich výsledkům zjistíme, jestli jsou úlohy srozumitelné (19letý člověk může chápat text jinak než čtyřicátník). Testy mají v této fázi obvykle pět možných odpovědí, tu v pilotáži nejméně využívanou z testu odstraníme.

Pretestant, stejně jako pilotant, obvykle studuje poslední ročník střední školy. Do vývoje testu je ale zapojený až později a jedná se o skupinu přibližně 5 žáků. Jejich úkolem je vyřešit test a poté poskytnout detailní zpětnou vazbu garantovi.

Proces, který zabere více než rok

Vývoj testu začíná sestavením dokumentu, který Scio nazývá Specifikace testu. Je to taková ústava, kterou se řídí garant, autoři a všichni další zapojení specialisté. Ve specifikaci se stanoví, co chceme testovat, jaký typ a kolik úloh potřebujeme a definuje se i jejich obtížnost. Součástí Specifikace testu je i cíl testování. Nejde o akademickou otázku, ale o zásadní parametr přípravy testu – srovnání žáků vyžaduje totiž jiný přístup než ověření znalostí žáků (např. u srovnání žáků potřebujeme otázky, které odliší i nadprůměrně dobré a vynikající řešitele, u ověřování znalostí, kam patří mimo jiné maturita nebo jazykové zkoušky, musíme nejprve detailně popsat kritéria dané úrovně).

S „ústavou“ v ruce se lze pustiti do vytváření úloh. Autoři vymýšlejí pro každý test originální otázky, takže nehrozí, že by se řešitelé při různých termínech NSZ setkali se stejnou úlohou. V souhrnu autoři vytvoří zhruba dvojnásobek úloh, než se reálně využije. Důvod? Úlohy se testují, takže je potřeba mít dostatečnou zásobu. Při hodnocení úloh se sleduje především to, jestli:

• řešitelé zvládají test vyřešit včas;
• řešitelé chápou otázky;
• je obtížnost úloh přiměřená – extrémně lehké ani extrémně těžké úlohy k ničemu nepomohou – a srovnatelná s jinými testy;
• úlohy dobře rozliší mezi lepšími a horšími řešiteli (faktor diskriminace);
• úlohy tzv. ladí se Specifikací testu.

Jak se pozná kvalitní úloha nebo test? Vysvětlujeme validitu, reliabilitu a další zásadní parametry >>

Úlohy se poté sestaví do testu. Scio při NSZ využívá statický způsob, tzn. úlohy a jejich pořadí jsou dopředu pro všechny dané (dynamický způsob skládá otázky na míru podle předchozích odpovědí a je vhodný např. při rozřazování studentů cizích jazyků do skupin podle pokročilosti). Teprve poté se hodnotí test jako celek. 

Práce od sestavení Specifikace testu po hodnocení obvykle zaberou více než rok. Časově nejnáročnější fázi je vytváření úloh a zapracování připomínek. 

Finální test vidí pouze jednotky lidí

Veškeré úlohy se nahrávají do tzv. Autorského nástroje (AN), což je online databáze otázek, nástroj pro sestavování testů a zároveň i platforma, přes kterou komunikují specialisté zapojení do tvorby testu. Díky tomu se neztrácí žádné informace a kdykoliv je možné zpětně dohledat jakékoliv úpravy úloh nebo testu. Do AN se přidávají i poznámky pro snadné dohledání, v jakém testu byla jaká úloha použita, případně jestli ještě čeká na využití.

Zatímco na přípravě testů se podílí desítky lidí, finální podobu už vidí pouze jednotky zaměstnanců Scio, což zaručuje férové podmínky pro všechny. Testy jsou uložené v zabezpečeném režimu a dostanou se k nim jen lidé s čipem. Závěrečné kontroly testů navíc většinou probíhají na papíře – zjednodušeně řečeno, testy se nikam neposílají, pouze tisknou, předkládají ke kontrole a po dokončení kontroly se zase vyberou.

50 velkých testů ročně

Pro každý termín (a předmět) Národní srovnávací zkoušky je vytvářen unikátní test s originálními úlohami. Za rok tímto způsobem ve Scio vznikne téměř 50 testů, kterými projdou tisíce studentů. Rozsáhlé zkušenosti nabízí Scio i vysokým školám, které chtějí pomoct s přípravou přijímacích zkoušek na míru – ať už jde o klasickou papírovou formu, nebo online podobu.