DI — visų klaidų klasių meistrė

Priimti klaidą kaip neišvengiamybę. Iš tiesų, giliai viduje. Padaryta! Ir tada atsiranda koks nors hiperaktyvus superprotingas jaunuolis, kuris spaudžia iki dugno per „YouTube” arba drebia tau kilogramą „Insta” tiesiai į veidą, siūlydamas universalų, viskam tinkantį stebuklingą vaistą nuo nepagydomos DI klaidligės. Šito neturėtume tiesiog taip priimti.

Tik nesupraskite manęs klaidingai: tokius dalykus mielai žiūriu, ten daug naudingo, o šiek tiek triukšmo priklauso amatui.

Bet atvirai kalbant.

• Su šiuo triuku DI nebedaro klaidų
• Taip priversi „Claude” visada sakyti tiesą
• Tik 0,000000001 % žmonių naudoja šį pranašo triuką

Kaip jie gali taip teigti, kai sprendimą, kaip elgtis su DI klaidomis, turiu aš vienas. Ir sau asmeniškai jį iš tikrųjų turiu. Ne kaip vieną visiems atvejams tinkantį įstatymą, vieną gudrybę, kuri visada veikia. Nes tokios nėra. Ne taip, kad „Google”, „OpenAI” ir „Anthropic” ją tiesiog aplaidžiai įgyvendino. Ir niekas to nepasiekia jokiu triuku ar gudrybe. DI klaidos tiesiog iš esmės neišvengiamos. Tai galioja ir bendrapiliečiams, ir visoms kitoms greta gyvenančioms intelektų rūšims: gyvūnams, DI ir kitokiems ateiviams.

Jei išvengti neįmanoma, tada verčiau elkimės su jomis kuo geriau. Ir čia yra principų bei metodų, kurie atitinka problemos esmę. Bent jau labiau nei bet koks vieno paspaudimo stebuklas, kuris veikia lygiai taip pat gerai kaip ir bet kuris kitas amžinasis variklis. Nenoriu kolegai nieko blogo — jis kuria gana sėkmingus ir gerus vaizdo įrašus — bet jis siūlo vaistą nepaaiškindamas ligos. Bėda ta, kad jis net veikia, o dėl to nėra nekenksmingas. Jis sukelia priklausomybę, nes palieka vartotoją nieko nesuprantantį. Pakuotės lapelio nėra visai.

Pažadas, kad kažkas nepriekaištingai ir visada padeda nuo visų klaidų, yra šiuolaikinis šarlatanizmas.

Bet svarbiausia, kad tai supa netikru saugumu, kaip tik todėl, kad iš tiesų veikia, skamba logiškai ir turi milžinišką tiesos grūdą.

Paaiškinsiu konkrečiu pavyzdžiu. Minėtasis jutuberis stipriai remiasi įgūdžiais grįsta sistema, kuri priverčia „Claude” atsakymą dar kartą permalti per 10 — žodžiais, dešimties — agentų mėsmalę. Vienas agentas iš naujo permąsto klausimą, kitas bando kitame kontekste. Vienas vaidina velnio advokatą. Dar kitas patikrina arba paneigia teiginius. Vienas neigia klausimą ir prašo priešingybės, ir dar kiti veiksmai. O kai tie 10 agentų baigia, atsakymas esą be klaidų. Bent jau taip teigiama.

Bet gero priešingybė vis dėlto yra gerai sumanyta. Ir visi 10 agentų atskirai yra teisingi ir turi savo teisėtą vietą kovoje su DI klaidomis. Juos galima ir netgi reikia derinti. Bet sumesti viską į maišytuvą, gerai suplakti ir parduoti tai kaip sprendimą nuo klaidų yra nesąžininga — ir savaime žiūrint, ironiškai, sisteminė klaida.

Štai kodėl esu prieš tokio tipo „viskas viename” sprendimą.

1. Tai neekonomiška. Nesu šalininkas atkakliai taupyti žetonus. Ne todėl, kad mėgčiau mėtyti pinigus pro langą, bet taupymas turi būti vėliau. Mokantis vairuoti — kur susilieja viskas: kelių eismo taisyklės, neįprasti judesiai, situacinis ir reaktyvus maksimumas — taip pat nenaudinga jau per pirmąsias praktikos valandas įtraukti degalų taupymą ir dėl to pamiršti posūkio signalą ar žvilgsnį per petį. Tai gali būti tema vėliau, kai jau moki vairuoti. Taigi tai tikrai silpniausias mano argumentas prieš 10 agentų klaidų terminatorių. Bet paleisti 10 agentų ant kiekvienos menkos problemėlės tikrai per daug.
2. Tai supa netikru saugumu. Sudarydamas įspūdį, esą tai paprastas ir nepriekaištingas sprendimas — kuriuo jis kaip tik nėra! — jis veda prie rūpestingumo pareigos ir rezultato patikrinimo apleidimo. Rizikos perkompensavimas. Dėl to visa sistema kartais atsiduria net aukštesniame rizikos lygyje, nes paskutinė tikrinimo instancija tiesiog praleidžiama arba pasirodo per silpna.
3. Tai neteisinga. Lemiamas ir neginčijamas argumentas, užbaigiantis diskusiją. Tai apskritai negali išvengti visų klaidų. Neįmanoma. Visų tikrai ne, o šiuo būdu trigubai ne. Nes agentai yra koreliuoti, t. y. nepriklausomi vienas nuo kito nėra — jie tos pačios konstrukcijos. Dešimt to paties tiriamosios žurnalistikos autoriaus straipsnių skirtinguose leidiniuose taip pat nepadaro jo istorijos teisingesnės. Tikrinti pačiam save geriau nei netikrinti visai, bet tai tikrai nėra — turint omenyje tikrą mokslinę garantiją — sistema be klaidų. Ir čia didžioji tikroji mano bėda su tuo. Tai sistemina šią klaidą ir parduoda rezultatą kaip beklaidį. Klaidinantis etiketavimas — dar švelniausia, kas man ateina į galvą.

Bet gana bambėti apie tai, ko kiti nedaro tobulai. Iš tikrųjų juk kalbama apie tai, kaip gauti kuo mažiau klaidų turinčią bendrą sistemą, jei jau atskiras LLM to nesugeba. Sistemą, kurioje DI įneša savo vertingą dalį.

Tai koks gi tas mano toks nuostabus sistemos variantas, kuris viską pagerina? Kodėl mano metodas vertingesnis ir kur bei kaip tai galima pačiam patikrinti, pone Visažini? Pone Gudročiau, jūsų eilė.

Mielai.

1 žingsnis: pagrindo supratimas Tikiuosi, jį sukūriau savo paskutiniame įraše. Perskaitykite, jei dar to nepadarėte, arba tiesiog patikėkite. Kažkas mokantis — žmogus, gyvūnas ar mašina — privalo daryti klaidas, antraip būtų nepajėgus mokytis. Taigi visiškai, amžiams ir visur pašalinti klaidas yra aklavietė. Faktas, ir taškas.

2 žingsnis: rasti analogijas DI moka mokytis ir daro klaidas. Bet su mokytis gebančiomis ir klystančiomis žmogiškomis būtybėmis mums jau puikiai sekasi. Tą pakankamai ilgai treniravome ir tobulinome patys ant savęs.

Tik nedidelė ištrauka iš to, kiek strėlių turime savo strėlinėje kovoje su klaidomis. Visos tikros ir konkrečiai naudojamos. Ir yra dar daug daugiau:

[Ši pastraipa sugeneruota DI — pradžia]

Poka-yoke, guminė antis, mirusio žmogaus jungiklis, keturių akių principas, canary, shisa kanko, šveicariškas sūris, priešskrydinis patikrinimas, Andon virvė, smoke test, red team, formos sujungimas, kontrolinis sąrašas, fail fast, read-back, blokuotė, dry run, kill switch, tikėtinumo patikra, pair programming, sterili kabina, watchdog, permiegoti taisyklė, kontrolinis skaitmuo, velnio advokatas, rollback, point-and-call, dviejų rankų valdymas, pre-mortem, atranka, jidoka, kontrasignavimas, chaos engineering, apytikslis skaičiavimas, buddy system, forcing function, kasos patikra, guardrails, generalinė repeticija, two-man rule, skaitmenų suma, saugos atsarga, heartbeat, regresijos testas, diržas ir petnešos, dual control, sanity check, 5-why, stage-gate, skaičiavimas atgal, circuit breaker, cooling-off, crew resource management, atsarginė kopija, fishbone, tripwire, A/B testas, perteklius, kontrolinė suma, FMEA, beveik įvykių pranešimai, safe defaults, sutikrinimas, blameless postmortem, dreifo aptikimas, sign-off, gynyba gilumoje, speak-up kultūra, graceful degradation, just culture, feature flag, apžiūra, fail safe, aptarimas, atšaukti, inventorizacija, ribos signalizacija, techninė apžiūra

[Ši pastraipa sugeneruota DI — pabaiga]

3 žingsnis: supaprastinti ir perkelti Paimkime tai, ką mes, žmonės, sukūrėme kaip ginkluotę prieš klaidas, ir perkelkime DI, ypač atsižvelgdami į tas kelias žmonėms nebūdingas DI savybes. Nebūtina kiekvienos atskiros klaidų procedūros tikrinti ir pritaikyti DI tinkamumui. Bet pagrindinius principus už šio ilgo sąrašo galima suvesti į kelis — pagal tris klausimus:

• Kaip užkirsti kelią klaidoms?
  • Padaryti klaidą neįmanomą (poka-yoke): kur įmanoma, žinoma, stipriausias svertas — ne pagauti klaidą, o konstrukciškai ją atmesti. Kištukas, kuris telpa tik viena kryptimi.
  • Supaprastinimas: jei galima paprasčiau, daryk paprasčiau. Kiekviena nereikalinga dalis yra papildomas klaidų šaltinis — standartai ir automatizavimas sutvarko.
• Kaip aptikti klaidas?
  • Perteklius: tą patį klausimą užduoti nepriklausomuose kontekstuose. Jei keli nepriklausomi keliai padaro tą pačią klaidą, ji mažai tikėtina; jei skirtingas — ji krenta į akis.
  • Patikrinimas: patikrinamumą įdiegti nuo pat pradžių, o ne tikėtis vėliau. Ko negalima patikrinti, to negalima ir pataisyti.
  • Klysti anksti ir mažai: maži žingsniai, greitas grįžtamasis ryšys. Ta pati klaida po valandos yra pataisymas, po trijų mėnesių — katastrofa.
  • Kompetencija: žmogus išlaiko atsakomybę — o kartu ir gebėjimą apskritai atpažinti klaidas. Kas tik pasirašinėja, pamiršta, kaip tikrinti; kontrolės nuovargis paliečia ir ekspertus, ir mėgėjus.
• Kaip išgyventi klaidas, arba kaip su jomis elgtis?
  • Žalos ribojimas: jei klaida vis dėlto įvyksta: išlaikyti poveikį mažą ir gebėti atšaukti. Izoliacija riboja žalą erdvėje, grįžtamumas — laike; atšaukiama klaida yra mokymosi akimirka, neatšaukiama — žala.
  • Klaidų kultūra: klaidas nagrinėti atvirai, o ne bausti už jas. Kas slepia klaidas, neužkerta kelio klaidai — tik mokymuisi iš jos.

Ir dalį viso to galima tiesiogiai ir be vargo pritaikyti kasdieniame prompt’inime. Paprasta, konkretu, veiksminga.

Supaprastinimas — supjaustyk dramblį riekėmis DI yra universalas ir viską moka gana gerai, bet ne viską gerai iš karto. Sprendimas visai šalia. Nes DI yra ir specialistė, tereikia jai pasakyti, kad ja būtų — ir staiga turi specialistų komandą, kurią „telieka” orkestruoti. Taigi užuot grūdus viską į vieną milžinišką promptą, supakuok į mažus optimizuojamus paketus. Šiek tiek „o kas, jei tai duočiau padaryti visai įmonei?”. Paaiškinta konkrečiu mano redakcinio proceso pavyzdžiu. Daugiau ar mažiau reguliariai rašau ir skelbiu šį „Substack” naujienlaiškį, kurį dabar skaitai. Ir taip, viską rašau pats, tai mano žodžiai ir sakiniai. Bet DI, žinoma, man padeda. Visų pirma tyrinėjant. Turiu idėją ar mintį, kurią noriu išplėtoti. Renku informaciją ir ją sutelkiu. Kartais tiek, kad pasistatau atskirą svetainę — šalutinis naujienlaiškio proceso poveikis. Paskui surašau. Šiaip sau, su siaubingai daug rašybos klaidų, tikromis spragomis ir sukeitimais. Vien rašybos klaidas tvarko mano DI valytojas — tik tikras klaidas, ir jis vienintelis gali keisti tekstą tiesiogiai. Tik tada išdrįstu tai duoti savo DI treneriui. Jis nieko nekeičia, bet komentuoja. Ar istorija laikosi? Ar apskritai turi prasmę? Kas per ilga arba per painu? Kur trūksta niekada neegzistavusios raudonos gijos? Kas ypač gerai, o kas veikiau šlamštas. Jis duoda patarimų, kuriuos galiu įtraukti, bet neprivalau. Tai gali užtrukti kelias iteracijas, bet tikrai padeda susidėlioti mintis. O kai su tuo baigiu, keliauju pas DI redaktorių. Naujos rašybos klaidos ten tik šalutinis dalykas, bet jis tikrina skaitomumą, taisyklingumą, stilių, toną, struktūrą ir taip toliau. Ir čia patarimai, bet veikiau sąrašas man išsidirbti, nes tai tikros klaidos ar užkliuvimai. O paskui keliauju pas DI uždarytoją. Tas paruošia tekstą „Substack”. Mechaniškai. Ir dabar tai skaitydamas galvoju: šaunu. Tai turi suktis kaip laikrodis ir generuoti tik genialius, tobulus naujienlaiškius. Nesisuka. Bet tai, kas galutiniame rezultate lieka iš klaidų, painiavos ir klaidingų teiginių, yra stilius.

Supaprastinimas — daryk visada vienodai, kur tik gali Standartai padeda. Dumb it down. Tai puikiai perkeliama ir į komandą. Klaida, kurią daro visi, yra geriau, nes lengviau atpažįstama ir tvariau išsprendžiama. Bet svarbiausia, standartas užkerta kelią klaidoms dėl aplaidumo ar neatidumo. Kur įmanoma, kokybė neturi priklausyti nuo to, kas — žmogus ar DI — tai daro. Naudok schemą, naudok metodą. Apibrėžk kokybės standartus. Išvestyje arba prompte. Mano standartas — prompt pattern ir promptų generavimo metodas.

Perteklius Daryti tą patį dar kartą, tik kitaip ir svarbiausia kitur. Trys lygiagretūs pokalbių langai man jau beveik standartas. Viename ruošiuosi ir nustatau pagrindą. Sutvarkau duomenis, tyrinėju, išsiaiškinu ir patikslinu, ko iš tikrųjų noriu. Antrame darau tą patį su kita DI arba dar kartą išardau 1-ojo pokalbio rezultatus — remdamasis prielaida, kad viskas juose klaidinga: velnio advokatas, red team, steelman. Jei reikia, nes per ilga ar per sudėtinga, trečiame lange leidžiu nustatyti, išanalizuoti ir įvertinti abiejų pokalbių skirtumą.

Patikrinimas Idealiu atveju DI paveda tik tas užduotis, kurias ir patikrinti galima kuo paprasčiau. Taigi testuoti ir tikrinti turėtų būti pigiau, nei padaryti pačiam nuo pradžių. Vadinasi, perskaičiuoti rezultatus. Atrankiniu būdu tikrinti šaltinių nuorodas. Ar programa pasileidžia be klaidų. Ar veikia pagrindinė funkcija.

Kompetencija Kas atidžiai sekė, pastebėjo, kad mano pertekliaus ir patikrinimo pavyzdžiai yra nuobodžioji ir tariamai prastesnė mūsų 10 agentų vieno paspaudimo magijos versija. Skirtumas — viduryje kaip kompetencija lieku aš. Galiu kontroliuoti ir optimizuoti kiekvieną žingsnį. Galiu ir pagal atvejį automatizuoti tiek, kiek noriu. Ir galiu naudoti skirtingus duomenis ar skirtingus LLM. Tikrinti holistiškai arba atrankos būdu. Lemiamas dalykas — aš atsakau už visas teisingas ir geras DI išvestis, bet ir už visas jos klaidas. Todėl aš valdau, kaip, kur ir kiek. Ir tai, beje, išlaiko mane kompetentingą ir pasiruošusį kitai užduočiai, kurią norėsiu optimizuoti su DI.

Poka-yoke, žalos ribojimo ir klaidų kultūros perkėlimas yra mažiau tiesioginis ir betarpiškas, nors jie ir yra didelis svertas. Galbūt tu rasi gudrų poka-yoke triuką arba sugebėsi įtvirtinti DI klaidų kultūrą. Tavo idėjos man būtų labai įdomios.

Bet turiu dar keletą konkrečių, būtent DI būdingų klaidų prevencijos priemonių. Taigi žinant DI silpnąsias vietas:

• Pokalbis gali būti sudegęs. DI haliucinuoja, sukasi ratu, prieštarauja sau, nors pradžioje buvo visai protinga. Aiškus atvejis: context distraction … netęsti tikintis, kad pagerės arba kad DI dar pavyks įtikinti. Gelbėti, kas gelbėtina — paprašyti pokalbio santraukos ir su ja pradėti iš naujo šviežiame, nenaudotame lange. Ir geriausia, kad visa tai veikia ir proaktyviai. Pokalbiui pasiekus tam tikrą trukmę ar ilgį, tiesiog paprašyti santraukos ir tęsti kitame. Taupo nusivylimą.
• Laikytis vienos temos. Aš mėgstu nukrypti, ir viena mintis kartais atveda kitą visai kitame kontekste. Tai kodėl gi tiesiog nepratęsus pokalbio? DI juk paklusniai atsako ir prisitaiko. Tai apgaulingi spąstai. Taigi: nauja mintis ar nauja tema reiškia naują langą.
• Šiek tiek radijo drausmės. Viena vertus, esu didelis šalininkas neprisitaikyti savo kalbos ir mąstymo prie DI ir geriau duoti daugiau informacijos, nei pats manai esant būtina. Ir iš DI nuo pat pradžių tikėtis daugiau, nei tikimasi iš skaičiuoklės. Bet nereikėtų ir pradėti pliurpti.

Tikslas nėra beklaidė mašina. Tikslas — sistema, kuri daro teisingas klaidas, iš jų mokosi ir neleidžia klaidingoms plisti ir virsti sisteminėmis klaidomis.

Savo vardu: Savo įrašus rašau pats, žodžiais iš savo galvos. DI padeda man tyrinėjant, kaip patarėja ir techniškai taisant. Bet įrašas yra iš manęs, mano — žmogaus. Paveikslėliai visi sugeneruoti DI, o savo svetainę kuriu ir prižiūriu su „Claude” — didele dalimi ir turinio prasme. Savo naujienlaiškyje, vykdydamas skaidrumo kampaniją, aiškiai pažymėsiu kaip DI sugeneruotas tas kelias teksto atkarpas (dažniausiai išvardijimus ar tiradas dėl juoko) — taip pat ir atgaline data. Vadinasi: kas nepažymėta, yra mano. Toks jau esu. Prisiekiu.

Visiškai be klaidų neišeina. Net ir su didelėmis klaidas mažinančiomis sistemomis. Tai neturi skambėti sarkastiškai, bet jei tokia egzistuotų, mes jau seniai ją būtume įdiegę — prieš lėktuvų katastrofas, pamirštus vatos tamponus pilvo operacijoje, atominės elektrinės avariją. Ir ne, tai neatsiperka žmogiškuoju faktoriumi ir su DI faktoriumi iš principo taip pat nedings. Klaidos yra dalis viso to. Retesnės, mažiau drastiškų padarinių, valdomos, kai įvyksta — štai tikrieji tikslai. Ir jie pasiekiami.

Siekti nulio klaidų galima, aišku. Tai ir parduodama geriau nei „siekiame tik vienos katastrofiškos lėktuvo katastrofos per metus”. Visi nori nulio, visam laikui. Bet norėti nepakanka. Jau nepaprastai patobulėjome: nuo iki 100 katastrofų per metus iki saujelės, ir tai smarkiai išaugus eismui. Galbūt pasieksime vieną katastrofą kas dvejus metus. Kas dešimt. Kalbama ne apie skaičius — ir vis dėlto apie juos. Nes nuo tam tikro taško kitas patobulinimas nebėra prasmingai — ekonomine prasme — įmanomas.

O dabar nepatogioji dalis. Nenoriu keiktis ant oro linijų. Bet visos tos saugos priemonės egzistuoja ne todėl, kad valdyboje sėdi vien moraliai subalansuoti žmonių bičiuliai. Viena pagrindinių paskatų: nė vienas sprendimų priėmėjas nenori matyti geriausiu eteriu rodomo reportažo, kuriame jo paties įmonės logotipas puikuojasi ant degančių nuolaužų uodegos. Tai turi labai tiesioginį poveikį metiniam balansui ir kitai premijai. Aišku, saugoti gyvybes yra gerai ir puikiai parduodama. Win-win. Bet aviacijos sauga nėra nei atsitiktinumas, nei dorybė — ji taip pat yra žiniasklaidos sistemos savybė. Katastrofa nužudo daug žmonių iš karto, vienoje vietoje, su logotipu ant uodegos. Tai savaitė tikros antireklamos įmonei.

Švariausias to įrodymas, beje, skrenda tiesiog šalia oro linijų: mažoji aviacija. Ta pati aerodinamika ir fizika, ta pati atmosfera, ta pati šalis, ta pati priežiūros institucija, iš dalies tie patys aerodromai. Bet skrydžio valandai privati aviacija daug kartų pavojingesnė už reguliariuosius skrydžius — rizikos prasme arčiau motociklo nei A320. Ir tai per 40 metų pagerėjo tik nežymiai, bent jau palyginti su keleivine aviacija, kuri nuosekliai ir sparčiai darėsi saugesnė. Kodėl? Ne dėl žinių trūkumo. Metodai — kontrolinių sąrašų drausmė, privalomi mokymai, sistemingas klaidų nagrinėjimas — žinomi ir būtų perkeliami. Jie tiesiog netaikomi. Nes sudužusi „Cessna” su dviem žuvusiais yra regioninė žinutė, o ne pagrindinė tema. Jokio logotipo ant uodegos, jokio drebančio koncerno, jokio spaudimo. Viskas vienoda — išskyrus matomumą. O rezultatas skiriasi dviem eilėmis.

Arba paimk mediciną. Išvengiamos gydymo klaidos Vokietijos ligoninėse kainuoja — priklausomai nuo vertinimo, o skaičiai ginčytini — kasmet daugybę kartų daugiau gyvybių nei visi žuvusieji keliuose. Kiekvienai lėktuvo katastrofai yra privalomas nepriklausomas tyrimas. Pamirštam vatos tamponui yra: nieko panašaus. Ta pati žmonių visuomenė, ta pati žmogaus gyvybės vertė, visiškai kitoks matomumo režimas. Spėk, kur miršta daugiau žmonių. Ir su tikimybe, artima aviacijos saugai, čia būtų galima pasiekti gyvybes gelbstinčių patobulinimų.

Klaidos yra dalis viso to. Jų vengti svarbu ir teisinga. Norėti jas išnaikinti arba kategoriškai atmesti tarsi mantrą yra utopiška — o kas žada tau nulį, parduoda rinkodarą, o ne sistemą. Tokia mokslinė tiesa. Bet už klaidų slypi ir žmogiška arba nežmogiška ekonomika. Ji abejotinu atveju nesustoja net prieš gyvybę.

Tyrinėdamas įsimylėjau principą bausti už klaidų slėpimą, o ne už jų darymą. Tai skamba taip gerai, kad galėtų pavykti. Bent jau atrodo, kad tai teisinga mąstysena, ir oro linijose ja iš tikrųjų gyvenama.