Na online zkoušky dohlédne umělá inteligence z České republiky
Zajistit spravedlivý, účinný a spolehlivý dohled nad nejrůznějšími online zkouškami a testy – to je hlavní úkol nové technologie, kterou vyvinuly české společnosti Scio a Born Digital. Řešení využívá umělou inteligenci k tomu, aby byla zaručena regulérnost zkoušek a usnadněna práce v online prostředí zkoušejícím i zkoušeným. Vyvíjený produkt s názvem ScioLink je unikátní nejen na českém, ale i na světovém trhu.

Vzdělávací společnost Scio musela v loňském i letošním školním roce neplánovaně a v krátkém čase zajistit online podobu Národních srovnávacích zkoušek (NSZ), které nahrazují či doplňují přijímací zkoušky na desítky vysokých škol v Česku i na Slovensku. Reagovala tak na nepříznivý vývoj pandemie COVID-19. Od té doby uspořádala více než 78 tisíc online zkoušek, nyní plánuje udržet jejich online podobu i do budoucna, avšak s využitím vlastního moderního testovacího prostředí.
Poučení z desítek tisíc testů
Scio na testování dosud spolupracovalo se zahraniční společností, nyní se však rozhodlo spojit síly s českým technologickým startupem Born Digital a společně vyvinuly produkt ScioLink. „V posledních měsících jsme si ověřili, že jsme schopni uspořádat tisíce online zkoušek najednou, stále jsme však byli závislí na testovacím prostředí, které nebylo naše vlastní. S Born Digital jsme schopni vyvinout online řešení v podobě, která nám bude stoprocentně vyhovovat, a navíc v celosvětově bezkonkurenční kvalitě,“ uvedl vedoucí projektu NSZ Martin Drnek.
Součástí online zkoušek bude i nadále proctoring neboli vzdálený dohled pomocí umělé inteligence. Ta však bude nově schopná v reálném čase upozorňovat účastníky na potenciální porušení pravidel. Základem unikátního řešení je technologie detekce objektů, osob a hlasů. Skrze vybavení počítačů snímá všechny zkoušené, přičemž je upozorňuje na nejrůznější předměty a aktivity, které podle zadání zkoušky vyhodnotí jako nedovolené.
„Když například kamera zachytí objekt připomínající mobilní telefon, upozorní studenta a zároveň zaznamená čas, kdy se předmět v záběru objevil. Lidský kontrolor pak v záznamu pouze projde všechny podobné sporné momenty a posoudí, zda k porušení pravidel zkoušky skutečně došlo,” vysvětluje Drnek. Nová technologie podle něj povede k tomu, že od zkoušky nebudou muset být vyloučeni třeba účastníci, kteří si nepovolené předměty nechají ve své blízkosti omylem. Po upozornění je totiž budou moct odnést jinam.
Jednodušeji to nejde
Velkou výhodou technologie ScioLink je, že tvoří přímou součást online testu. Proctoring je integrován v testovém rozhraní, což znamená i nižší nároky na technologické vybavení uchazečů. Novinkou je i to, že organizátoři budou v případě potřeby schopni zaslat hromadnou zprávu účastníkům přímo během zkoušky. „Technologie je schopná spolehlivě monitorovat i zkoušky s tisícovkami účastníků najednou. V takovém případě ušetří zkoušejícím ohromné množství času a práce,“ doplnil ředitel Born Digital Tomáš Malovec.
V novince, která má potenciál posunout kvalitu online testování na další úroveň, se potkávají zkušenosti dvou českých firem. Technologie propojuje dlouholetou praxi společnosti Scio s organizací a vedením zkoušek a detailní znalosti vývoje umělé inteligence, které nabízí startup Born Digital. Bohatým zdrojem informací byl pro vývoj produktu uplynulý rok, který ukázal, jaké největší problémy se s online testováním pojí. A právě v jejich řešení nový produkt, který se dostane na trh v nadcházejícím školním roce, exceluje. Scio navíc plánuje, že ScioLink k testování nabídne i vysokým školám v zahraničí, soukromým firmám a státní správě.
Co přinesly online Národní srovnávací zkoušky
Celkem 61 tisíc uspořádaných online zkoušek, kterých se zúčastnilo 22630 zájemců o vysokoškolské studium v České republice a na Slovensku – tak vypadaly v tomto školním roce Národní srovnávací zkoušky. A právě z nich Scio čerpalo své zkušenosti při vývoji aplikace ScioLink. Zkoušky využívá více než 50 českých a 30 slovenských fakult. Ty ve školním roce 2020 / 2021 však byly výjimečné tím, že s ohledem na protiepidemická opatření proběhly výhradně online.
Nejvyšší prioritou při online testování, se kterým v Česku ani na Slovensku neměl dosud nikdo větší zkušenost (a v rozsahu desetitisíců testů v oblasti vzdělávání taková zkušenost nebyla ani ve světě), bylo zajištění stejné férovosti, transparentnosti a bezpečnosti jako v případě prezenčního testování. Uspořádat takové množství bezpečných online zkoušek tedy představovalo po technické i organizační stránce velkou výzvu. Desetitisíce zkoušek totiž mj. znamená i desetitisíce různých počítačů s individuálním nastavením, stejně jako na straně uživatelů internetové připojení rozličné kvality. V takovém množství je statisticky skoro nemožné, aby nedošlo k žádným technickým potížím, přesto až na jeden větší výpadek k žádným zásadním technickým potížím při pořádání NSZ nedošlo. U každého termínu se týkaly necelého jednoho procenta uchazečů. Výjimkou byl zmíněný výpadek v únoru, který zasáhl necelých 8 % uchazečů. Ve výsledku tedy bylo 98,48 % všech zkoušek úspěšně dokončeno. Pro uchazeče, kteří kvůli technickým problémům zkoušku nedokončili, společnost Scio uspořádala náhradní termíny zkoušek.
Nechtěné chyby i odhalení podvodníci
To ovšem neznamená, že všechny testy byly vyhodnoceny jako regulérní. S online zkouškami se pojila přísná kontrolní opatření, a pokud účastníci porušili pravidla nebo podváděli, byl jejich výsledek zablokován a vysokoškolské fakulty jej neobdržely. Konečný počet blokací výsledku kvůli porušení pravidel dosáhl 3,47 % z celkového počtu zkoušek. „I když jsme se s porušováním pravidel setkali u všech termínů, většinou se nejednalo o cílené podvádění, ale o nedodržení pravidel zkoušky,“ říká Martin Drnek. „Přestože účastníci testů byli zcela jasně a opakovaně seznámeni s podmínkami, které je nutné dodržet, mezi nejčastější prohřešky proti pravidlům online zkoušky patřil neúplný sken místnosti, nepovolené předměty jako mobil nebo kalkulačka v blízkosti účastníka, opuštění záběru kamery v době konání zkoušky, nasazená sluchátka nebo otevření online nápovědy například v podobě Google hledání či spuštění online kalkulačky,“ dodává Drnek. Někteří účastníci se přesto pokoušeli o záměrné podvádění, nejčastěji s pomocí „nenápadného“ vyhledávání informací na mobilu nebo za účasti druhé osoby v místnosti.
A právě vyhodnocování regulérnosti desetitisíců testů by bylo prakticky nemožné bez pomoci softwaru s prvky umělé inteligence. Ta v záznamech o průběhu každé zkoušky vyhledávala sporné momenty, které posléze posuzovali živí školení hodnotitelé. Takto získané zkušenosti nyní Scio využilo při vývoji vlastního tzv. proctoringového systému ScioLink, který bude dohlížet na průběh online Národních srovnávacích zkoušek už v nadcházejícím školním roce.

