Umělá inteligence sama nerozhoduje. Ale významně pomáhá lidem

Umělá inteligence (AI) potřebuje mantinely, a proto nelze než vítat současnou snahu Evropského parlamentu stanovit přehledné prostředí pro využití AI ve vzdělávání. Jedny z největších zkušeností s nasazením AI v českém prostředí má společnost Scio, a právě na nich lze dobře ukázat, o jak užitečný se může jednat, ale i kde by – při nesprávném nestavení systému – mohly vznikat problematické situace.

Ušito na míru

Proctoringové řešení ScioLink využívá umělou inteligencí při dohledu na regulérnost online testů – AI zde funguje jako pomocník, který usnadňuje práci lidem. Právě ti, proškolení hodnotitelé, ale ve finále rozhodují, jestli uchazeč hrál podle pravidel.

Společnost Scio je při online zkouškách na vysoké školy ve výjimečném postavení. Jako jedna z mála v Evropě totiž testování realizuje, ale zároveň vytvořila i vlastní proctoringový systém, ve kterém zkouška probíhá, tedy zmíněný ScioLink. Obvykle se totiž firmy zabývají jen jednou částí. Protože má firma ve svých rukou oba dílky, má pod 100% kontrolou i pravidla a rozhoduje, do jaké role obsadí umělou inteligenci.

A jí přisouzená role je taková, že má upozorňovat na potenciálně problémové momenty v průběhu zkoušky, ale nikdy nemá činit finální rozhodnutí, zda takový moment byl či nebyl skutečně porušením pravidel. Umělé inteligenci uniká kontext lidského jednání. Identifikuje podezřelou situaci, avšak není vždy schopna přesně určit, proč se daná situace odehrála a neumí rozhodovat v okrajových situacích. Z toho důvodu dohlížejí nad kontrolou zkušení lidští hodnotitelé, kteří mají v konečném rozhodování o zkoušce poslední slovo.

Jak probíhá zkouška 

Uchazeč se před zahájením testu legitimuje s pomocí webkamery – ukáže průkaz totožnosti a pak sebe. Fotografii průkazu stejně jako u prezenční zkoušky kontroluje hodnotitel. Poté uchazeč webkamerou natočí okolí svého pracovního místa, tzn. stůl a pokoj, ve kterém zkoušku skládá. „Tím doloží, že nemá nikde připravené nepovolené pomůcky a nablízku není kamarád, který by mu napovídal,“ vysvětluje Jáchym Vintr, vedoucí vývoje testovací aplikace ScioLink.

Než zkouška začne, ScioLink zajistí sdílení pracovní plochy, dění na monitoru a připojení externích obrazovek, kterým ověřuje, co se děje na monitoru nebo jestli vedle není připojena externí obrazovka s nápovědou. Poté se rozběhne čas a uchazeč ve ScioLinku odpovídá na otázky. „Webkamera i mikrofon běží po celou dobu testování. Po skončení testu se ve ScioLinku uloží jednak odpovědi, jednak veškeré obrazové a zvukové záznamy. Tím trackování končí,“ popisuje Vintr.(detailní popis online proctoringu ZDE).

Regulérnost ověřuje stovka hodnotitelů

Přínos umělé inteligence integrované do ScioLinku spočívá v tom, že  označuje podezřelé momenty z průběhu zkoušky. Pokud se například uchazeč při testu vzdálí z pracovního místa, vytáhne si mobil, na kterém hledá nápovědu, nebo se proviní proti pravidlům jiným způsobem, označí umělá inteligence danou pasáž záznamu „vlaječkou“.

„Záměrně jsme umělou inteligenci „vycvičili“ tak, aby byla citlivější. Označí sebemenší náznak toho, že se stalo něco podezřelého. Třeba i samomluvu, když si uchazeč sám pro sebe říká, co počítá,“ dává příklad Vintr. Máme citlivost nastavenou tímto způsobem, protože po umělé inteligenci všechno kontroluje člověk.Bez její pomoci by realizace online zkoušek v masovém měřítku byla prakticky nemožná.

„Platnost dokladu, shodu fotografie s uchazečem a také záznam okolí pracovního místa vždy ve ScioLinku kontroluje člověk“.

Řekněme, že zkouška trvá i s úvodní přípravou hodinu a zúčastní se jí 500 uchazečů. Tím vznikne 500 hodin záznamu z webkamery a mikrofonu a zároveň i 500 hodin záznamu dění na monitorech jednotlivých uchazečů. Ale třeba každoroční realita Národních srovnávacích zkoušek představuje ještě mnohonásobně větší objem dat a je prakticky nemožné, aby kontrola stála pouze na lidech, kteří by od začátku do konce procházeli jednotlivé záznamy.

Umělá inteligence tedy označí podezřelá místa a teprve poté se do kontroly pustí lidští hodnotitelé. „Máme na to tým více než 100 lidí, mezi které se jednotlivé záznamy rozdělují. Sledují je převážně ve zrychleném režimu, aby se mohli naplno soustředit na označená podezřelá místa. Hodnotitele školíme, dáváme jim feedback a algoritmus jim záznamy ke kontrole rozděluje podle klíče, který zajistí nahodilost a zároveň i předejde tomu, aby stejný hodnotitel prověřoval záznamy stejného uchazeče,“ podotýká Vintr.

Na rozdíl od velké části zahraničních řešení vůbec ScioLink nepouští umělou inteligenci k úvodní identifikační části zkoušky. „Uchazeči často mají občanku s fotkou ze svých patnácti let. Teď jim táhne na dvacet a umělá inteligence až příliš často vidí problém tam, kde není,“ prozrazuje Vintr. Platnost dokladu, shodu fotografie s uchazečem a také záznam okolí pracovního místa vždy ve ScioLinku kontroluje člověk. 

Lidské hodnocení přitom probíhá v několika úrovních. Pokud hodnotitel zjistí, že umělá inteligence použila vlaječku špatně, jedním kliknutím ji odstraní. Pokud dá člověk AI za pravdu a usoudí, že skutečně došlo k porušení pravidel, přejde záznam ke komisaři, který verdikt hodnotitele buď potvrdí, nebo ho opraví (u online Národních srovnávacích zkoušek existuje dokonce i třetí instance, tzv. odvolací komisař).

Po zkontrolování všech záznamů odcházejí výsledky fakultě, a ta stanoví hranici – přijat / nepřijat. U uchazečů, u kterých bylo odhaleno a hodnotiteli potvrzeno provinění proti pravidlům, je poznámka s popisem, kde pochybili. Konečný verdikt je však opět na zástupcích fakulty.

Je dobře, že proctoring dostane právní rámec

Během posledních tří let se přes ScioLink uskutečnilo přes 60 tisíc online zkoušek na vysoké školy. „Umožnili jsme spoustě studentů v důležitém momentu jejich života skládat zkoušku z domova. Vyhnuli se tím komplikovanému cestování a zbytečnému stresu. ScioLink také usnadnil situaci spoustě fakult, proto jsem přesvědčený, že je online proctoring správný směr,“ shrnuje Vintr a dodává, že transparentní pravidla tomu jenom pomohou: „Aktuální debatu o regulaci umělé inteligence ve vzdělávání vítáme a bedlivě sledujeme. Souzníme s názory, že při zkouškách není potřeba sbírat kvanta údajů ani biometrické údaje, které některé jiné proctoringové služby sbírají. A když už, tak se musí citlivá data uchazečů pečlivě chránit. Nástroje, které nechávají o osudu studentů volně rozhodovat AI, potřebují předělat.“

Jáchym Vintr také upozorňuje, že online testování musí být maximálně přístupné i pro handicapované nebo sociálně slabší. Ať už formou delší lhůty pro dokončení online testu, nebo zachováním offline varianty testu. „Nesouhlasíme však s tím, aby bylo využívání AI ve školství univerzálně vnímané jako škodlivé. Pokud umělá inteligence sama nerozhoduje, ale slouží jen jako pomocník, přináší do školství spoustu pozitiv pro studenty i vysoké školy“.

(Pokud vás zajímá, jak online testy hodnotí studenti, přečtěte si samostatný článek >>)