Poročilo je pripravila AI. Kdo je preveril trditve?

Poročilo ima urejene naslove, prepričljiv povzetek in seznam virov. Vodja ga prebere, pošlje naprej in na njegovi podlagi predlaga spremembo poslovanja. Težava se pokaže šele na sestanku: navedeni vir ne podpira ene od ključnih trditev. Priporočilo je videti utemeljeno, dokaz zanj pa manjka.

To je ponazoritveni primer, vendar odpira zelo konkretno vprašanje: kaj mora človek preveriti, preden poročilo, pripravljeno z AI, odda kot svoje delo?

V skupinski razpravi RE:moat #37 se sogovorniki dotaknejo odgovornosti za poročilo, pri katerem je bila uporabljena umetna inteligenca, preverjanje pa ni bilo zadostno. Iz tega izhaja uporabno delovno pravilo: odgovorna oseba mora znati pojasniti, na čem dokument temelji. Pojasnilo, da je besedilo pripravilo orodje, prejemniku ne pomaga presoditi njegove zanesljivosti.

Spodnji postopek je praktična razdelava te teme. Namenjen je ekipam, ki z AI pripravljajo analize, priporočila, poročila in gradiva za odločanje.

Najprej določite, kaj bo poročilo povzročilo

Obseg pregleda je odvisen od namena dokumenta. Interni seznam idej dopušča več odprtih vprašanj kot priporočilo, po katerem bo podjetje izbralo dobavitelja. Besedilo za javno objavo zahteva drugačen pregled kot delovni osnutek za tri sodelavce.

Pred pripravo zato zapišite tri stvari:

• Kdo bo dokument uporabil in za katero odločitev?

• Katera napačna trditev bi lahko to odločitev spremenila?

• Kdo bo pred oddajo potrdil vsebino?

Če je poročilo podlaga za strokovno odločitev, potrebuje tudi pregled človeka z ustreznim znanjem. Jezikovni pregled ne more nadomestiti presoje pravnega, finančnega ali tehničnega priporočila.

S tem se spremeni tudi načrtovanje časa. Pregled mora biti del naloge od začetka. Če osnutek nastane tik pred rokom, bo ekipa težko preverila vire, preračunala rezultate in popravila sklep, ki se izkaže za premočan.

Trditve povežite z dokazi, še preden urejate slog

Pri daljšem besedilu je koristno pripraviti preprost seznam ključnih trditev. Ob vsaki navedite vir, mesto v viru in ugotovitev pregledovalca. Povezava do domače strani organizacije je premalo. Pregledovalec mora najti podatek, iz katerega trditev izhaja.

Za začetek razločite tri vrste vsebine:

Preverljivo dejstvo. Podatek, datum, dogodek, lastnost izdelka ali navedba raziskave. Potrebuje ustrezen vir in pravilno razumevanje njegovega obsega.

Izračun. Rezultat, ki ga dobimo iz podatkov. Poleg virov potrebuje preverjanje formule, enot, obdobja in zajetih podatkov.

Presoja. Razlaga ali priporočilo. Temelji lahko na preverjenih podatkih, vendar mora biti razvidno, kje avtor iz njih izpeljuje svoj sklep.

Pri pregledu se te kategorije pogosto pomešajo. Poročilo na primer ugotovi, da je bilo v enem mesecu manj pritožb, nato pa brez dodatne podlage sklene, da jih je zmanjšala nova storitev. Prva trditev je lahko pravilna. Druga zahteva razmislek o drugih možnih razlogih, primerljivosti obdobij in tem, ali imamo dovolj podatkov za takšno razlago.

AI lahko pomaga sestaviti seznam trditev in opozori na manjkajoče navedbe. Preverjanje pa zahteva odpiranje izvornega gradiva. Tudi drugi model, ki prvi odgovor označi za pravilen, sam po sebi še ni dokaz.

Vir lahko obstaja, pa trditve vseeno ne potrjuje

Pri pomembni navedbi preverite več kot naslov dokumenta. Ali vir govori o istem izdelku, trgu, obdobju in skupini ljudi? Je podatek dejanska ugotovitev ali napoved? Ali poročilo izpusti pogoj, brez katerega navedba spremeni pomen?

Vzemimo še en izmišljen primer. Vir opisuje rezultate kratkega preizkusa na izbranih nalogah. V poročilu iz tega nastane trditev, da je rešitev primerna za celotno podjetje. Povezava deluje in raziskava obstaja, toda sklep presega dokaze.

Pregledovalec ima v takšnem primeru več možnosti. Trditev lahko omeji na to, kar vir dejansko potrjuje, poišče primernejše dokaze ali jo odstrani. Če neznanka vpliva na priporočilo, jo mora videti tudi bralec. Ne sme izginiti med slogovnim urejanjem.

Posebej pozorno preverite citate, imena, datume in strokovne reference. Pri odločilnih trditvah se ne zadovoljite s povzetkom povzetka, kadar je izvorni dokument dostopen. Če do njega ne morete, to upoštevajte pri teži, ki jo dajete navedbi.

Številke preverite zunaj tekočega besedila

Napako v izračunu je v odstavku težje opaziti kot v preglednici z vidnimi vhodnimi podatki. Ključne rezultate zato ponovno izračunajte z ustreznim orodjem in shranite postopek.

Preverite predvsem:

• Ali primerjate enaki obdobji in enak obseg dela?

• Ali so zneski v isti valuti in vključujejo iste stroške?

• Ali ločujete relativno spremembo od razlike v odstotnih točkah? Prehod z 10 na 12 odstotkov pomeni 2 odstotni točki oziroma 20-odstotno povečanje.

• Ali povprečje skriva velike razlike med skupinami?

• Ali se vsote v besedilu, grafih in prilogah ujemajo?

To velja tudi, ko je začetne podatke pripravil človek. Poročilo lahko pravilne številke postavi v napačno primerjavo. Pregled mora zato zajeti pomen rezultata, ne le računanja.

Preberite povzetek brez preostanka poročila

Povzetek pogosto zveni bolj odločno kot preostanek analize. Med krajšanjem lahko izginejo omejitve, pogojni sklep pa postane priporočilo brez zadržkov.

Pred oddajo preberite samo povzetek in predlagane ukrepe. Nato preverite, ali dokument zanje res ponuja dovolj podlage. Vprašajte se, kateri del priporočila bi morali spremeniti, če bi bila najbolj negotova predpostavka napačna.

Koristna je tudi kratka drugačna razlaga istih podatkov. Če poročilo predlaga zamenjavo dobavitelja zaradi zamud, preverite, ali podatki izključujejo težave pri naročanju, spremembe zahtev ali zamike na strani naročnika. Namen je ugotoviti, ali smo preverili razlage, ki bi bistveno spremenile odločitev.

Pri pomembnem dokumentu naj ta del pregleda še nekdo, ki ga ni pripravljal. Avtor pozna svojo namero in lahko med branjem nezavedno dopolni manjkajoče korake. Drug bralec lažje opazi, da sklep nima dovolj opore.

Določite, kdaj poročilo še ni pripravljeno za oddajo

»Pregledano« naj pomeni nekaj konkretnega. Pred oddajo naj bodo ključne trditve preverjene, pomembni izračuni ponovljeni in odprta vprašanja jasno označena. Znano mora biti tudi, kdo je potrdil priporočilo.

Oddajo ustavite, če manjka vir za odločilno trditev, če se izračuni ne ujemajo ali če pomembnega strokovnega vprašanja nihče ne zna presoditi. Rok lahko zahteva krajši dokument ali ožje priporočilo. Ne odpravi pa vrzeli v dokazih.

Ob končni različici ohranite uporabljene vire, izračune in zapis bistvenih popravkov. Dostop do tega gradiva uredite glede na njegovo vsebino. Za delo z AI uporabljajte odobrena orodja in podatke, ki jih smete vnesti vanje. Pregled pravilnosti ne nadomesti pregleda zaupnosti.

Če napako odkrijete po oddaji, preverite njen vpliv na sklep in obvestite prejemnike, kadar lahko spremeni njihovo odločitev. Samo zamenjava datoteke morda ne doseže človeka, ki je že začel uporabljati prejšnjo različico.

Preizkusite postopek na enem svojem poročilu

Na naslednjem ekipnem pregledu izberite poročilo, ki ga dobro poznate. Označite tri trditve, ki najbolj vplivajo na priporočilo, poiščite njihove dokaze in preverite en ključni izračun. Zabeležite, kaj je bilo lahko preveriti in kje je bilo treba ponovno raziskovati.

Iz te vaje lahko nastane uporaben dogovor: kaj mora pripraviti avtor, kaj preveri pregledovalec in katere pomanjkljivosti ustavijo oddajo. Tako zahteva po odgovorni uporabi AI dobi obliko, ki jo lahko ekipa dejansko izvaja.

Če želite takšen način dela postaviti v svoji ekipi, si oglejte GenAI izobraževanja FaciliTribe. V povpraševanju opišite vrsto poročila, ki ga pripravljate, kdo ga uporablja in pri katerem delu preverjanja se največkrat zatakne.

Izhodišče članka je skupinska razprava v RE:moat #37. Postopek pregleda in ponazoritveni primeri so uredniška praktična razdelava teme, ne navedbe ali opis konkretne uvedbe iz podkasta.