Boljši rezultat z AI še ne pomeni boljšega znanja

Enej Gradišek

Z AI so bile domače naloge bolje rešene in hitreje končane. Na preizkusih brez pomoči AI pa so bili rezultati slabši.

To je precej dober razlog, da se ustavimo pri vprašanju, kaj sploh merimo, ko govorimo o produktivnosti z AI. Hitrost izdelave dokumenta je en podatek. Razumevanje njegove vsebine je drug.

Kaj so ugotovili raziskovalci

David Strömberg, Victor Lei in Yanhui Wu so v raziskavi The Generative AI Learning Penalty analizirali 30 mesecev podatkov o 26.811 učencih in dijakih od 7. do 12. razreda na Kitajskem. Povezali so rezultate domačih nalog, čas reševanja in preizkuse znanja pri devetih predmetih.

Po šestih mesecih uporabe generativne AI so ocenili 18 % višje rezultate domačih nalog, 30 % manj porabljenega časa in 20 % nižje rezultate mesečnih preizkusov brez pomoči AI. Odstotki se nanašajo na povprečne vrednosti pred začetkom uporabe, ne na odstotne točke. Raziskava CEPR

Šlo je za opazovalno raziskavo. Avtorji so primerjali spremembe pri učencih, ki so AI začeli uporabljati ob različnih časih, s spremembami pri tistih, ki ga takrat še niso uporabljali.

Večji upad rezultatov so zaznali pri uporabnikih z zelo kratkim časom reševanja in visokimi ocenami domačih nalog. Tak vzorec je skladen s prepuščanjem nalog AI, ni pa neposreden vpogled v vsak njihov pogovor z orodjem. Pri uporabnikih s primerljivim časom reševanja kot pri neuporabnikih je bil upad precej manjši. Avtorji opozarjajo, da se skupini lahko razlikujeta tudi po motivaciji in veščinah uporabe AI. Pojasnilo avtorjev

Vprašanje za podjetja

Raziskava ne dokazuje, da se enako dogaja zaposlenim. Ne moremo vzeti rezultata kitajskih šolarjev in ga razglasiti za izmerjen učinek AI v slovenskih podjetjih.

Odpira pa vprašanje, ki se mi zdi pomembno tudi pri delu in izobraževanjih: ali človek razume rezultat, ki ga je pripravil s pomočjo AI?

Recimo, da sodelavec z AI pripravi analizo trga. Besedilo je pregledno, zaključki jasni, priporočilo prepričljivo. Pri oceni takega dela je smiselno preveriti, na katerih podatkih temelji, kaj je bilo predpostavljeno in katere informacije bi lahko spremenile priporočilo. Nekdo mora znati tudi pojasniti, zakaj je ekipa izbrala prav ta predlog.

Če vse to zna, je hitrejša priprava analize lahko zelo uporabna. Če ne zna, imamo dokument, katerega zanesljivosti še ne moremo dobro presoditi. Prihranek časa pri pisanju sam po sebi te razlike ne pokaže.

Zato me pri uvajanju AI zanima tudi, kaj je človek v procesu preveril, popravil in zavrnil. Iz tega lažje razumemo njegovo presojo kot iz samega končnega izdelka.

Tudi dobra uporaba AI je znanje

Iz tega ne sledi, da moramo vse narediti ročno ali si zapomniti vsako podrobnost. Znati uporabiti AI, postaviti dobro nalogo in preveriti odgovor je del usposobljenosti za delo.

Pomembno pa je, pri čem želimo človeka razbremeniti in kaj mora še vedno razumeti. Če AI preuredi že preverjene podatke v drug format, je cilj lahko predvsem prihranek časa. Če se nekdo uči presojati poslovni predlog, je pomembno tudi, da zna razložiti merila in prepoznati šibek argument.

Ti nalogi potrebujeta različna merila uspeha. Pri prvi lahko preverimo pravilnost prenosa in porabljeni čas. Pri drugi nas zanima še, ali zna človek svoje razumevanje uporabiti, ko se okoliščine nekoliko spremenijo.

Če pri obeh gledamo samo hitrost in urejenost končnega izdelka, spregledamo del tega, kar smo želeli doseči.

Kako preveriti razumevanje na usposabljanju

Za vajo lahko vzamete konkreten poslovni predlog, pripravljen s pomočjo AI. Udeleženec naj poleg izdelka pokaže, kako je prišel do njega. Kateri podatek je preveril v viru? Kateri del odgovora je popravil? Kaj ostaja negotovo?

Nato spremenite eno okoliščino. Proračun je manjši, rok krajši ali pa ključna predpostavka ne velja več. Udeleženec naj najprej pojasni, kaj bi to spremenilo pri njegovem priporočilu. Zatem lahko z AI preveri možnosti in dopolni odgovor.

Takšna vaja omogoča opazovanje razumevanja, ki ga končna predstavitev sama ne pokaže. Če udeleženec ne zna povedati, kaj se mora spremeniti, imamo konkreten razlog za dodatno razlago ali vajo. Če zna, lahko preverimo še, kako dobro uporabi orodje pri naslednjem koraku.

To je predlog za zasnovo usposabljanja, ne rezultat omenjene raziskave. Njegov namen je preprost: poleg kakovosti izdelka preveriti tudi kakovost presoje.

Kaj to pomeni za merjenje uspeha

Prihranjen čas je vreden merjenja. Prav tako število opravljenih nalog in uporabnost rezultata. Kadar pa je cilj tudi razvoj znanja, potrebujemo dokaz, da človek vsebino razume in jo zna uporabiti pri naslednjem problemu.

Pri praktičnih GenAI izobraževanjih zato priprava navodil sodi skupaj s preverjanjem odgovorov in presojo, kdaj je AI pri nalogi smiseln. Lep končni izdelek je dober začetek za pogovor o tem, kaj se je udeleženec naučil.

Če želite tak način preverjanja preizkusiti na nalogah svoje ekipe, poglejte GenAI delavnice z Enejem Gradiškom. Za začetek izberite eno nalogo, pri kateri morate poleg hitrosti ohraniti tudi razumevanje.

AI nam lahko pomaga narediti več. Koliko se ob tem naučimo, moramo preveriti posebej.

Viri in izhodišče

Strömberg, D., Lei, V. in Wu, Y. (2026). The Generative AI Learning Penalty: Evidence from Chinese Secondary Education. CEPR Discussion Paper 21577.

Strömberg, D., Lei, V. in Wu, Y. (2026). The generative AI learning penalty in secondary school. Pojasnilo avtorjev na VoxEU, 4. september 2026.

The Economist (2026). Does AI stop children from learning? Graphic detail, 18. avgust 2026.

Enej Gradišek. Izhodiščna objava na LinkedInu.