Písmenka skládá hezky, s pravdou si hlavu neláme

Vody internetu nedávno rozvířit příspěvek v diskuzi o neziskové organizaci OpenAI (která vyvíjí jazykové modely umělé inteligence) na fóru Reddit s výstižným titulkem Artificial Intelligence allows me to get straight A’s („Díky umělé inteligence můžu mít samá áčka“):

„Tento nástroj používám nějaký čas a až nedávno mě napadlo, že by se s ním daly psát eseje, odpovědi na otázky o filmech a knihách ve školních projektech a mnoho dalšího. Cítím se kvůli tomu trochu provinile, ale už mi to je víceméně jedno. Po několika týdnech mám vyděláno 100 dolarů ‚psaním‘ úkolů za ostatní spolužáky a teď mě mají za génia. Co si o tom myslíte? Udělali jste to taky? Ano, tento příspěvek byl přepsán umělou inteligencí,“ napsal anonymní uživatel.

Omezená slovní zásoba, ale čitelný text

Zatímco se část diskutujících zděsila, že dny učitelů jsou sečteny, část se na příspěvek podívala skepticky a rozjela vlastní pátrání. Konkrétně uživatel TFenrir sám zadal softwaru úkol, aby napsal esej na téma vztahu internetu a kulturních revolucí ve světě, a odpověď zveřejnil.

Esej publikovaná v angličtině, ale i další, které na stejné zadání software napsal, jak zjistila redakce, sice mají strukturu eseje, tedy úvod, stať a závěr, nicméně by sotva obstály jako seminární práce na vysoké škole, už jenom z toho důvodu, že nepoužívají citační konvence, které jsou běžné na vysokých, ale i středních školách. Ostatně, texty v rozsahu zhruba 500 slov nezmiňují myšlenky žádných historiků, kulturologů, sociologů internetu ani žádných dalších odborníků, kteří se touto problematikou zabývají.

Druhým problémem je informační povrchnost odpovědí, které se omezují na sdělení, že např. v Arabském jaru sehrála sociální média „významnou roli“ nebo že internet má „moc šířit projevy nenávisti a dezinformace, jež posilují naše stávající představy a ztěžují nám podívat se na věc z jiného úhlu“.

Dalším neduhem textů je opakování slov nebo frází (v jedné z esejí začalo šest odstavců ze sedmi slovem „internet“), které samozřejmě nemá vliv na faktickou (ne)správnost sdělovaných informací, nicméně nedokáže konkurovat stylisticky zdatnému lidskému autorovi. Ba co víc, jak bylo zmíněno v diskuzi, některé informace, které v textu zazněly, byly chybné – ačkoliv se v eseji píše, že řecká vláda v roce 2016 vypnula přístup k Twitteru a Facebooku, neexistují důkazy pro tento čin.

Že některé nástroje vytvořené organizací OpenAI neprodukují vždy pravdivý obsah, si už všimlo více uživatelů, a tak najdeme na sociálních sítích příklady nepravdivých informací, které její konverzační nástroj Chat GPT vytvořil, když dostal dotaz, kdo je jaká známá osobnost. Je sice pravda, že k tréninku této umělé inteligence byly použity informační zdroje (předpokládá se, že se jednalo o téměř 500 miliard jednotlivých slov), jazykové modely GPT, které OpenAI vyvíjí, jsou však založeny v první řadě na schopnosti konverzovat s uživatelem, nikoliv ověřovat informace. Zatímco tedy Google a podobné služby prohledávají internet, aby citovaly nebo parafrázovaly nalezené odpovědi, ChatGPT3 se jimi pouze inspiruje, aby věděl, jak má odpověď napsat. 

Filtr (pod)průměru

Podobný experiment zopakoval britský pedagog zaměřující se na vzdělávací technologie Mike Sharples. Nechal totiž software GPT-3 napsat esej o stylech učení se a dodal mu na úvod větu: Konstrukt „stylů učení se“ je problematický, protože…

Výsledek publikoval na blogu britské vysoké školy London School of Economics. Na první pohled se nezdá úplně špatný; obsahuje tezi, že styly učení se (zrakový, sluchový apod.) nebyly nikdy vědecky prokázány, dokonce cituje výzkum Dunnových, který nenašel žádné důkazy pro to, že by každý člověk na světě byl predisponován k určitému stylu učení.

Vtip je v tom, jak píše Sharples, že i když Dunnovi na toto téma výzkum prováděli, nebyl publikován v časopise Journal of Research in Education, tento časopis ani nemá vydání „7(2)“, jak uvádí esej, ba co víc, Dunnovi nikdy takovou studii nepublikovali.

Znovu se tedy přesvědčujeme, že tato umělá inteligence umí poskládat písmena do slov a ty následně do vět tak, aby se text dal číst, neznamená to však, že dodané informace budou pravdivé.

Leckdo by jistě namítl, že špatné citace by správně měly být penalizovány, tudíž se nabízí otázka, jestli by software s těmito chybami vůbec měl studentům co nabídnout. Na to postačuje argument, že pro studenty, kteří neumí napsat strukturovaný text bez ohledu na správnost citací, si ulehčí práci a zlepší známku – možná ne nutně na tu nejlepší, ale bude to lepší než propadnutí.

To se ostatně stalo i Pieteru Snepvangersovi, bývalému studentovi na britské Bristolské univerzitě, který si nechal softwarem ChatGPT napsat esej, jak uvádí server BBC. Ta dostala pouhých 53 %, přičemž vyučující, který práci známkoval, si byl vědom toho, že ji napsala umělá inteligence. „Řekl mi, že to je psané přesvědčivou angličtinou, ale fakticky se to vyhýbá odpovědi na zadání,“ uvedl student.

Svým způsobem tento scénář připomíná diskuze o nahrazování překladatelů strojovými překlady: Ačkoliv neumí počítače překládat tak dokonale jako někteří špičkoví překladatelé, pokud máme ten nejjednodušší, který anglickou frázi Attorney General přeloží jako generál Attorney místo nejvyšší státní zástupce, bude to samozřejmě pořád špatně, ale špatnému překladači na rozdíl od toho lidského nebudeme muset za práci zaplatit.

Existuje několik řešení, jak si s tím poradit: jednou z nich je zvýšit nároky na studenty, případně změnit způsob ověřování znalostí. Na druhou stranu, jak vidíme na výše uvedených příkladech, ačkoliv už stroje umí psát texty, neznamená to, že jsou v současné době schopny plně nahradit každého autora.