Feng (Kevin) Jiang, První autor studie. School of Foreign Languages, Beihang University, Beijing, China. Kredit: K.Jiang.

Když student odevzdá práci vygenerovanou umělou inteligencí, nedá se mu to se stoprocentní jistotou prokázat a učiteli nezbývá než ji akceptovat. Ostatně, v praxi budou dnešní studenti umělou inteligenci zcela jistě využívat, tak proč by ji měli mít během studia zakázanou. To by bylo podobné, jako kdybychom budoucímu chirurgovi zakázali během studií sáhnout na skalpel. Na druhé straně je namístě otázka, co studentovi dá práce zhotovená umělou inteligencí a co mu přinese poctivé sepsání práce. A v neposlední řadě je tu otázka věcné správnosti. Za tu student ručí vždy, ať už text pochází z jeho hlavy nebo z umělé inteligence.

To, že je text napsán správně (věcně i gramaticky), ještě neznamená, že je napsaný dobře, tedy že se dobře čte, že je přesvědčivý a čtenáře zaujme. Přitom i tohle je důležitý aspekt textu, protože ať už jde o motivační dopis pro přijímací řízení nebo o zprávu pro šéfa, je v zájmu autora, aby adresát text dočetl do konce a aby v něm obsažené argumenty vzal za své. Umí tohle umělá inteligence stejně dobře jako studenti? To byla otázka, kterou řešili Ken Hyland z University of East Anglia v anglickém Norfolku a Kevin Jiang z university v čínském Ti-linu.

Ken Hyland. Spoluautor studie. School of Education and Lifelong Learning, University of East Anglia, Norwich, Norfolk, UK. Kredit: UEA.

„Panují obavy, že ChatGPT a další nástroje pro psaní s využitím umělé inteligence usnadňují podvádění a mohou oslabit základní gramotnost a kritické myšlení. A my zatím nemáme nástroje pro spolehlivou detekci textů vytvořených umělou inteligencí. Proto jsme chtěli zjistit, jak věrně dokáže umělá inteligence napodobit eseje psané lidmi. Zaměřili jsme se především na to, jak autor textu komunikuje se čtenářem,“ vysvětluje záměr studie Ken Hyland.

Výsledky bádání Hylanda a Jianga zveřejnil vědecký časopis Written Communication.

Texty studentů jsou přesvědčivější

Hyland a Jiang vybrali 145 argumentačních esejů z Louvain Corpus of Native English Essays (LOCNESS). Jejich autory byli studenti britských či amerických univerzit, kteří dosáhli hodnocení A. To znamená, že se jejich práce vyznačovaly „jasnou a souvislou argumentací, pokročilými jazykovými znalostmi a dodržováním akademických konvencí psaní“. Texty měly zhruba 500 slov. K nim pak nechali ChatGPT vytvořit protějšky, když zadali umělé inteligenci stejné téma. Oba autoři si uvědomovali, že kvalita práce generovaná ChatGPT závisí hodně na tom, jaké dostane umělá inteligence zadání. Proto se při formulaci úkolu pro ChatGPT drželi uznávaných doporučení.

Oba vědci sledovali na textech studentů i textech vytvořené umělou inteligencí prvky, kterými je osloven čtenář. Ty totiž dodávají textu na čtivosti a přesvědčivosti. Tyhle prvky používají jak studenti, tak i ChatGPT. Mohou napsat: „Víme, že…“, nebo také: „Je všeobecně známo, že…“. První varianta je osobnější a „zatahuje“ čtenáře do textu. Podobně působí i řečnické otázky.

„Zajímaly nás hlavně tzv. ‚markery zapojení‘, jako jsou otázky a osobní komentáře,“ přibližuje hodnocení esejů Hyland.

Jak studenti, tak i umělá inteligence použili v esejích tyto prvky častěji, než je běžné třeba v článcích publikovaných ve vědeckých časopisech. Studenti je ale zařazují do textu mnohem častěji než ChatGPT.

„Zjistili jsme, že eseje napsané studenty obsahují bohatou škálu prvků důležitých pro ,zapojení čtenáře´. Jsou plné rétorických otázek, osobních poznámek a přímých apelů na čtenáře, což zvyšuje srozumitelnost, navazuje kontakt s čtenářem a přispívá to k přesvědčivosti argumentů. Oproti tomu eseje generované ChatGPT jsou sice jazykově plynulé, ale zároveň působí neosobně. Eseje vytvořené umělou inteligencí napodobují akademické konvence psaní, ale nevnášejí do textů osobní nádech a neprezentují jasný postoj. Vyhýbají se otázkám, omezují osobní komentáře. Celkově jsou méně poutavé, méně přesvědčivé a neexistoval v nich silný pohled na dané téma. Odráží to povahu dat, na kterých se umělá inteligence učí, a také statistické metody učení, které upřednostňují soudržnost textu před konverzačními nuancemi,“ shrnuje závěry studie Ken Hyland.

K čemu používat AI a k čemu ne?

Hyland a Jiang rozhodně nejsou proti používání umělé inteligence při studiu. Uznávají, že je to dobrý pomocník při plnění mnoha studijních povinností. Dnes je třeba běžné, že si studenti během přednášky prostřednictvím umělé inteligence ověřují, jestli vykládaný problém správně chápou. Nechávají si například vysvětlit použité odborné termíny. Pro něco se ale AI nehodí.

„Když studenti nastoupí na školu, neučí se jen psát texty na nejrůznější témata, ale především se učí myslet. A to je něco, co je žádný algoritmus nenaučí,“ říká Hyland.

Logo ChatGPT. Kredit: OpenAI

Někdy skutečně není od věci napsat text vlastnoručně, protože ten pak má větší dopad a pisateli se to vyplatí. K tomu je ale dobré psaní takových textů trénovat. Představa, že si student nechá všechno napsat umělou inteligencí a pak napíše skvělý text v situaci, kdy to naléhavě potřebuje, je naivní. Neplatí to jen pro psaný text, ale třeba i pro komentář k prezentacím nebo pro vytvoření samotné prezentace.

Psaní esejů dává studentovi příležitost zformulovat vlastní názor. Bohužel, na našich školách se vlastní názory po studentech moc často nechtějí. Větší důraz se klade na to, aby u zkoušky co nejvěrněji zopakovali, co jim vyučující odříkal na přednáškách a co se píše v učebnicích a skriptech. Pokud už se studentům naskytne možnost vlastní pohled na problematiku vyjádřit v eseji, je docela škoda, když tu příležitost promarní tím, že „přehrají“ úkol na ChatGPT. Kdo ví, kdy po nich zase někdo bude jejich vlastní názor chtít.

Pramen: Jiang, F., & Hyland, K. (2024). Does ChatGPT write like a student? Engagement markers in argumentative essays. Written Communication, 07410883251328311.