Při přípravě testu si stanovte, co chcete měřit, a sbírejte zpětnou vazbu, radí specialistka ze Scio

Kolik lidí už skládalo testy, na jejichž tvorbě jste se podílela?

Tvořím různé testy a moje role je vždy trochu jiná. Když to sečtu dohromady, odhaduji, že se s testy, na kterých jsem se podílela, setkaly za 15 let nižší stovky tisíc lidí – uchazeči o studium na vysokých školách nebo třeba středoškoláci, kteří testy dělali jako maturitní trénink.

Pamatujete si na svůj první test?

Testy jsem začala vytvářet už na základce a testovala jimi své spolužáky. V televizi tehdy běžela soutěž IQ Test národa a já chtěla porovnat, jak dopadnou spolužáci v mém testu a jak zvládnou IQ test z televize. Vlastně jsem zkoumala validitu testu, ačkoliv jsem tehdy vůbec netušila, že takové slovo existuje. Ale předpokládám, že vás zajímá test pro Scio. Po maturitě jsem šla na NSZ, a protože se mi test povedl, Scio mě oslovilo, jestli bych se chtěla jako úspěšná řešitelka podílet na vývoji příštích testů. Přesně si už ten první test nepamatuji, ale i díky němu se z flexibilní brigády staly roky zajímavé práce.

Jak se liší příprava testů, které jste pro Scio dělala dříve, od těch současných? 

Rozdíly nejsou velké. Nepřeháním, když řeknu, že jsme je kvalitně dělali už tehdy. Změnila se například struktura testu Obecných studijních předpokladů (OSP) – dříve měl 3, pak 4 oddíly, teď má oddíly 2, verbální a analytický. Strukturou se změnil i test z angličtiny, některé testy jako třeba francouzština se už nedělají vůbec, jiné jako čeština pro cizince naopak přibyly v návaznosti na aktuální potřeby škol. Metodika je ale podobná.

Zjistěte, jak ve Scio připravujeme testy nebo kolik lidí je do procesu zapojených >>

Co pro vás jako odbornici znamená kvalitní test?

Kvalitní test měří to, co chci, aby měřil. Pokud mě zajímají znalosti angličtiny, musím v testu ověřovat znalosti angličtiny, nikoliv rychlost čtení. Měl by také plnit účel, kvůli kterému ho autoři připravují. Kvalitní přijímací test vybere ke studiu lidi, kteří pak obor i vystudují. Musí mít vysokou reliabilitu a přiměřenou obtížnost. Pokud vytvoříte test, který budou mít všichni špatně, tak vám to k ničemu nebude.

Validita, reliabilita a další pojmy související s vývojem testů >>

Jaké jsou naopak příznaky špatného testu?

Vždy záleží na typu testu. Když mám ale vybrat uchazeče ke studiu, musím si dát pozor na porovnatelnost výsledků. Dám vám příklad. Občas se stává, že uchazeči přijdou do velké auly, a aby od sebe neopisovali, připraví škola dvě varianty testů. Jenže ono to není tak snadné, že si řeknete: aha, obě varianty jsou více méně stejné, oboduju je a seřadím všechny uchazeče podle dosažených bodů. Náročnost testu se obvykle liší a 50 bodů v první variantě je neporovnatelných s 50 body ve druhé variantě. 

Dá se taková situace nějak vyřešit?

Určitě. Pokud výsledky přepočítáte na percentily, dosáhnete férovějšího hodnocení. Když ale u více variant testu percentily nejsou a výsledek určují body, je to pro mě příznak špatného postupu.

Řekněme, že si chci vytvořit test k přijímacím zkouškám svépomocí. Jak bych měl postupovat?

Než zasednete k počítači, stanovte si, co má test měřit. Zní to triviálně, ale zapomíná se na to. Pokud jste zástupce fakulty, kde se hodně „drtí“ znalosti, připravte test, který znalosti ověří. Pokud při studiu spíš rozvíjíte přemýšlení, netrapte uchazeče znalostním testem – pravděpodobně nevyberete vhodné lidi. Jakmile máte koncepci testu, připravujete úlohy. Je vhodné, abyste k nim získal pilotní data. Bez nich totiž nikdy nevíte, jestli je test přiměřeně obtížný. Ale musíte dbát na bezpečnost, aby se při sběru pilotních dat nedostaly úlohy v předstihu k uchazečům.

Kolik lidí by tedy test mělo vidět?

Na to nedokážu přesně odpovědět. Ale určitě si jej nenechávejte jen pro sebe. Ve Scio koordinuje práci autorů úloh garant, který poskytuje zpětnou vazbu, úlohy vidí i oponenti. Všichni tito lidé si mohou všimnout nejednoznačností, které vám jako autorovi úloh uniknou. A ještě bych dodala jednu věc – zpětnou vazbu by vám měl dát někdo, kdo má přehled o úrovni znalostí uchazečů. Pokud úlohy připravují doktorandi, tak ti si mnohdy už nepamatují, co vědí 19letí maturanti. Zvlášť pokud chystáte tzv. srovnávací test, nesmí mít jen obtížné úlohy, potřebujete i nějaké jednoduché a průměrně obtížné. Úloha, kterou nikdo nevyřeší, je vám k ničemu.

Jakou radu byste dala ohledně přípravy testů pro uchazeče se specifickými potřebami?

Pokud jde o takové ty nejrozšířenější jako dyslexie nebo dysgrafie, tak tam je vhodná alespoň drobná časová úprava. Pokud jsou úlohy hodně textové, lze dát takovým uchazečům na test víc času. Dobře vám poradí třeba specialisté z pedagogicko–psychologických poraden.

Spolupracujete při přípravě NSZ s nějakou takovou organizací?

Ano, úzce spolupracujeme s centrem Teiresiás, které spadá pod Masarykovu univerzitu. Jsou skvělí při úpravách testů pro uchazeče se smyslovými handicapy. Pokud někdo hůře slyší, zajistí přepisy nahrávek, respektive jejich převod do videí. U zrakových handicapů se dá třeba zvětšit písmo nebo zadání přepsat do Braillova písma. Ale existují i jednoduché úpravy, které zadání testu hodně zpřístupní.

Které?

Zajímavé je třeba správné zarovnání textů. Lidé se zrakovou poruchou si často přibližují texty lupou. Když napíšete vzoreček doprostřed papíru nebo obrazovky, oni ho pak mohou přehlédnout. A další dobrá rada je zbytečně nezahlcovat zadání textem. Pokud slabozraký člověk používá čtečku, tak ta čte úplně všechno včetně třeba citace zdroje textu, což zvyšuje časovou náročnost. 

Pro uchazeče končí test vyhodnocením výsledků. Jak s výsledky pracujete vy jako analytička?

Standardně analyzujeme každou úlohu, abychom věděli, jestli měla takové výsledky, jaké jsme očekávali. Zkoumáme i obtížnost a reliabilitu celého testu a jednou za čas děláme kompletní revize například s pomocí faktorové analýzy. Jednoduše řečeno zjišťujeme, jakou strukturu dovedností testy ověřují. Zabýváme se také tím, jestli někoho nediskriminujeme. Kdybychom třeba zadávali jenom samé úlohy o fotbale, mohli bychom tím zvýhodnit kluky. Přidala bych ale ještě jeden aspekt práce s testem, který mi přijde důležitý.

Povídejte.

Po vyhodnocení výsledků mají uchazeči možnost vznést námitky. Nezdá se jim výsledek, protože otázky pochopili jinak. A občas takové námitky uznáme. Příprava testů je ve Scio velmi pečlivá a každou úlohu vidí desítky lidí. Jenže při skládání NSZ si úlohy čte řádově mnohem víc studentů a opravdu se stává, že někdo pochopí zadání trochu jinak. A myslím, že by taková veřejná oponentura testů a možnost se proti něčemu odvolat měla být součástí veškerého testování.

V čem je podle vás největší přínos testování při vzdělávání?

Obecně testy vnímám jako efektivní způsob, jak systematicky a standardizovaně zjistit informace. Třeba o svém zlepšování nebo stagnaci, jestli jsem dosáhla určité úrovně znalostí, nebo se porovnám s ostatními. Když pak s výsledky dobře pracuji, vím, na co se ve studiu zaměřit. 

A kde naopak vidíte nedostatky testování?

Kritika testování se ozývá především u tzv. high-stakes testů, což jsou třeba přijímačky na vysoké školy nebo maturity. Často se diskutuje o míře stresu pro uchazeče. Ovšem testy OSP nebo oborové testy od Scio se konají v několika termínech, čímž lze eliminovat vlivy typu špatně se vyspíte, zaseknete se u třetí otázky, odpověď napíšete do špatného řádku výsledkového archu a pak máte vše posunuté. Podle mého neexistuje lepší způsob, jak z velké množiny uchazečů rychle a efektivně vybrat vhodné studenty než vhodně zvolený a správně sestavený test. Můžete dělat pohovory, ale ty jsou náročné na čas a mohou být subjektivní. 

Když zmiňujete testy OSP, jak se liší od angličtiny, matematiky a dalších oborových testů, které také patří do NSZ?

Oborové testy ověřují znalosti, dá se na ně naučit. Na OSP se nenaučíte, ty měří vaše studijní předpoklady, buď je máte, nebo ne. Svou situaci můžete však vylepšit tím, že se dopředu s testy OSP seznámíte. Doporučila bych všem, aby si prošli testy z minulých let; několik takových je vždy k dispozici zdarma na webu Scio. Například analytické úlohy mají několik způsobů řešení. Výsledek je vždy jeden, ale dá se to dělat tak trochu otrocky, nebo elegantněji, určitou úvahou. Dobrým příkladem jsou úlohy se souborem podmínek, tzv. „zebry“ – máte 5 kamarádů, první z nich chce jít se třetím, ten ale nemůže ve středu a rád by šel na film X. Je dobré si vyzkoušet, jak se vám to nejlépe řeší. Pak můžete ušetřit dost času.

Mění nástup velkých jazykových modelů (LLM), potažmo umělé inteligence vaši práci?

Co se týče NSZ, tak zatím ne. Samozřejmě experimentujeme a zkoušeli jsme tvorbu úloh zadat i nástrojům používajícím LLM. Ale pořád trvá mnohem déle vysvětlit umělé inteligenci, co je to za nás dobrá úloha, než si ji vytvořit svépomocí. Narážíme na technická omezení, ale i na bezpečnost. Museli bychom do nástroje nalít tisíce příkladů, ale určitě nechceme, aby naše know-how a citlivé informace létaly někde v cloudu. AI zatím dokáže pomoct s vyhodnocením. Prvky AI využívá online proctoring, ale vždy je tam kontrola nebo supervize od reálného člověka.

Přečtěte si, jak umělá inteligence pomáhá při online zkouškách na vysokou školu

Existuje typ testu, který byste chtěla jednou vytvořit a proč?

Ráda bych se dočkala rozšíření adaptivního testování. Je to forma testu, který jde dělat pouze na počítači, a zjednodušeně řečeno jde o to, že dostáváte úlohy na míru. Šikovnější studenti mají složitější úlohy, méně zdatní dostanou jednodušší. Skvělé využití je třeba u jazykových testů. Když po prvních třech otázkách zjistíme, že máte jazykovou úroveň někde na C1, tak proč vás zdržovat úlohami pro A1. Adaptivní test vám zpřísní otázky a pak se s pomocí pokročilých statistických metod na pozadí vše dopočítá tak, že máte studenty seřazené podle znalostí. Ale je zapotřebí osvěta, aby lidé chápali, že i tento test je férový.

Lenka Fiřtová patří k desítce specialistů, kteří se ve Scio dlouhodobě zabývají vytvářením testů. Začala jako externistka hned po maturitě, od roku 2016 působí ve Scio na plný úvazek jako Test Developer a Data Analyst. Vystudovala ekonometrii na VŠE, má za sebou zahraniční stáže zaměřené na psychometrii na University of Cambridge nebo University of York.