Nejlíp jí to jde tam, kde jsou jasná kritéria: krátké odpovědi, výpočty, úlohy s jednou správnou odpovědí nebo práce, ke kterým máte hodnoticí kritéria či klíč. Hůř si vede u slohu a delších textů, kde dobrá odpověď může vypadat různě. A výrazně se zlepší, když jí dáte svoje kritéria a nenecháte ji, aby si je vymyslela sama.
Výzkum ukazuje, jak moc na kritériích záleží. Profesor fyziky, který o tom psal pro APS News, zjistil, že s podrobnými kritérii, jasnými pokyny a zdůvodněním u každého bodu se AI shodovala s lidmi zhruba stejně často, jako se shodují opravující mezi sebou. Studie University of Georgia ukazuje druhou stranu: starší otevřený model Mixtral, který si kritéria k odpovědím žáků druhého stupně z přírodních věd psal sám, opravoval výrazně méně přesně.
Jak přesná bude u vás, záleží i na fotce a na tom, jaký model AI v nástroji běží. A ani učitel není neomylné měřítko: dva učitelé často ohodnotí stejnou otevřenou odpověď jinak. Podstatné je tedy to, jestli vidíte, co AI udělala, a jestli to umíte rychle opravit.