Tai, kad DI meluoja, yra mažiausia iš jos 17 bėdų.
O kitos šešiolika dar klastingesnės.
Originalas Substack’e ↗ Skaityk čia; pamėgk, komentuok ir prenumeruok ten.
Naujausia žinia: DI meluoja ir haliucinuoja. Su tuo melavimu dar galima susitaikyti. Manęs netrikdo ir haliucinavimas – o tai, kad visi apsimeta, lyg tos jau būtų visos LLM bėdos. Bet jų yra septyniolika!
Įprasta tvarka – visą temą supakuoti į trumpą atsakomybės atsisakymą po visais DI gaminiais, pagal principą:
Dėmesio! DI gali klysti. Patikrinkite viską dar 5–10 kartų, prieš priimdami svarbius sprendimus remdamiesi šiais duomenimis!
Bet tai jokia praktiška gairė, kaip su tuo elgtis, ir taip pat nestiprina pasitikėjimo DI kaip visuma. Tiesa, truputį nuramina ir parodo, kad DI vis dėlto ne tokia visagalė. Bet blankus nepasitikėjimo poskonis lieka. Galiausiai tai vis dėlto tik užsidengimas-savo-užpakalio, greitas atsakomybės nusimetimas ir tikrinimo pareigos perkėlimas man.
Tai truputį panašu, lyg padavėjas, mandagiai patiekiantis man Kässpätzle, palinkėtų gero apetito ir su pastaba „Gali būti, kad sūryje turime keletą stiklo šukių. Kramtykite atsargiai“ šypsodamasis nusisuktų.
Gerai, stiklo šukes maiste laikau jau rimtesniu dalyku nei truputis pamelavimo, bet abi pastabos man tikrai nepadeda toliau – tik palieka mane vieną su gana kvaila sprendimo padėtimi. Mėgstu Kässpätzle ir mėgstu DI – bet su tokiu žinojimu paprastai mėgautis nebegaliu.
Bet kodėl gi taip iš tikrųjų yra? Kodėl galingiausias žmonijos istorijos įrankis apskritai meluoja? Įdomus klausimas, tad pasiraitojau rankoves ir pažiūrėjau. Žiūriu – triušio urvas?! Turiu lįsti vidun!
Ir greitai paaiškėja: DI nekalta, kad jai mielai kartais ne taip jau tiksliai elgiamasi su tiesa. Ji tokia sukurta. Tai yra ne specialiai, bet tai neigiamas jos treniravimo šalutinis poveikis. LLM mokosi per grįžtamąjį ryšį ir atlygį, ir kad pasiektų tikslą – pokalbį – LLM apdovanojami už atsakymą, o ne už tylėjimą. Ir tada tai kaip per testą su atsakymų pasirinkimu: geriau ir laukiškai spėti ar kažką prasimanyti, nei nedaryti nieko. Su tokia mąstysena DI prie tikslo prieina geriau ir greičiau. Ir taip pamelavimas tampa DI genomo dalimi.
Tuo tema užkišta varnele, ir aš vėl ko nors išmokau. Bet palaukit. Juk yra ir kitų bėdų.
Taip, juk buvo kažkas su į „Hario Poterio“ knygas kontrabanda įgabentais burtažodžiais, kuriuos DI pakišo kaip įvestį. O ji tada labiau pasikliovė tuo, kad jau pažįsta „Hario Poterio“ knygas ir visus burtažodžius jose – techniškai tariant, tai vadinama parametrinės atminties poslinkiu – ir tada nebe taip atidžiai perskaitė naują, manipuliuotą šaltinį. Klaidingi burtažodžiai stovėjo pačiame knygos viduryje – o būtent ten DI žiūri mažiausiai. Gerai pradžioje, labai gerai pabaigoje, bet į informaciją, esančią labiau ilgų kontekstų viduryje, atkreipiama mažiau dėmesio, ji peržiūrima paviršutiniškai ir mažiau sveriama. Rasti tą vieną lemiamą detalę duomenų kalne ir šiaip yra jos silpnybė. Klaidingus burtažodžius ji tad tiesiog praleido paviršutiniškai. Visiškai suprantama žmogui, bet juk ne mašinai. Tai vis dėlto truputį nešvanku ir skamba kaip tyčia sukonstruoti spąstai DI apgauti. Bet juk taip nutinka ir tikrame gyvenime su tikrais duomenimis, todėl tai ir tikros bėdos.
Ir, deja, tai dar ne vėliavos koto galas. Iš viso septyniolika tokių chroniškų, neišgydomų silpnybių turi geras šiandienos LLM. Geresniam supratimui kažkada paaiškinau, sukartografavau ir sukategorizavau visas septyniolika LLM patologijų atlase.

Ir tuo dar ne viskas: bėdos ne tik atskirai sėdi viena šalia kitos ir laukia individualaus specialaus apdorojimo. Jos gražiai tvirtai įkeptos ir nevalingai viena su kita susipynusios bei tarpusavyje sąveikaujančios.


Na, dabar juk nebegali būti taip blogai. Jei bėdas pavyksta įvardyti, jas pavyksta ir išspręsti (arba su jomis tvarkytis). Visų pirma būtų galima parašyti geresnį atsakomybės atsisakymą:
Dėmesio: DI gali haliucinuoti, pamiršti, šiandien sakyti taip, o rytoj kitaip, pradėti silpnai ir staigiai nukristi, skambėti puikiai ir nieko nepasakyti, klaidingą atsakymą suformuluoti gražiau nei bet kurį teisingą, pasakyti „savaime suprantama!“ ir tada padaryti priešingai… Ji gali tau pritarti, kol pats imsi abejoti, kiekvieną tavo sumanymą laikyti genialiu, dėkingai priimti tavo pataisymą ir iškart jį ignoruoti, turėti bet kurią nuomonę, kurią nori girdėti, žinoti penkis kontrargumentus ir nepateikti nė vieno, nes mandagiai paklausei, mieliau elegantiškai klysti nei nepatogiai pritarti… Ji gali sugaišti tris pastraipas, kad nepasakytų „nežinau“, sąrašą pradėti žodžiu „baigiant“ ir tada rašyti toliau, pasakyti „trumpai tariant“ ir užsisukti į platybes, išspręsti bėdą, kurios neturėjai, suktis ratais ir laikyti tai pažanga… Ji gali cituoti šaltinius, kurių niekada nebuvo, su užsidegimu laikytis klaidingų metų, žaisti šachmatais ir tuo pačiu iš naujo išrasdinėti taisykles, būti mirtinai tikra ir visiškai pataikyti pro šalį, trečią kartą padaryti tą pačią klaidą su nauju entuziazmu, stovėti miške ir klausti, kur artimiausias medis, žinoti viską, išskyrus tai, ko tau kaip tik reikia … Trumpai tariant: DI yra įgudusi briedų varytoja su pasauline erudicija – naudinga tik tol, kol tu lieki suaugusysis kambaryje.
Šis atsakomybės atsisakymas nebūtinai būtų vertingesnis, bet būtų išsamesnis ir sąžiningesnis, ir jis pažadintų daugiau supratimo. Bet taip, jis akivaizdžiai per ilgas. Tada jau geriau tiesiog nuvesti į 17 DI patologijų žemėlapį ir kelrodį.
O kas dabar sprendimas? Kas, jei kaip tik noriu ar privalau pasikliauti DI? Na, su bendrapiliečiais juk turime panašių bėdų laukų – netgi daugiau jų, tiesą sakant, ir įvairesnių. Ir vis tiek sugyvenimas jau porą tūkstančių metų klostosi visai neblogai – ir visai be aiškaus atsakomybės atsisakymo. Nes išmokome tvarkytis vieni su kitais. Būtent to mums dar trūksta su DI. Bet ir to galima išmokti.
Tai verta.
Pagrindinės smegenys išjungtos — žarnyno smegenys įjungtosNa štai … mano pirmas postas baigtas. Eisiu dar truputį doom-promptinti. Velnias, yra dar daugiau bėdų. Gal dar praplėsiu 17 DI bėdų atlasą.
Kaip manai?