Elfárad az AI? Mi az a kontextusablak?

Aki sokat dolgozik AI-jal, biztosan tapasztalta már: egy hosszú beszélgetés elején minden rendben megy, aztán egyszer csak elfelejt egy korábban megbeszélt szabályt, vagy olyat javasol, amit már elvetettünk. Olyan, mintha elfáradt volna. Pedig valójában mást látunk: a kontextusablak határát.

Mi az a kontextusablak?

Az AI nem emlékszik úgy, mint egy ember. Minden válasz előtt az egész addigi beszélgetést újra elolvassa, és ebből dolgozik. Azt a szövegmennyiséget, amit egyszerre figyelembe tud venni, nevezzük kontextusablaknak. Az Anthropic a dokumentációjában a modell munkamemóriájaként írja le.

A méretét tokenben mérik. Egy token nagyjából egy szótag vagy egy rövidebb szó. A mai modelleknél ez már nagyon sok: a Claude egyes változatainál akár egymillió token is lehet.

Miért felejt akkor mégis?

Két oka van. Az egyik, hogy az ablak egyszer megtelik. Ilyenkor a program a régebbi részeket kihagyja vagy összefoglalja, és az összefoglalóból óhatatlanul kimaradnak részletek.

A másik meglepőbb: nem kell megtelnie ahhoz, hogy romoljon a minőség. Az Anthropic is leírja, hogy ahogy nő a tokenek száma, úgy csökken a pontosság és az emlékezés. Ezt angolul „context rot” néven emlegetik. Egy nagyon hosszú beszélgetésben a modell egyszerűen nehezebben találja meg a fontos részt a sok szöveg között.

Hogyan dolgozom vele?

Én minden nagyobb munkához külön leírást vezetek: mi a projekt, milyen szabályok érvényesek, mi készült el eddig. Ezt az AI minden munkamenet elején elolvassa, így nem kell mindent újra elmondanom, és nem vész el semmi fontos, ha a beszélgetés hosszúra nyúlik.

Néhány dolog, ami bevált:

• Egy téma, egy beszélgetés. Ha új feladat jön, érdemesebb új beszélgetést nyitni, mint a régit folytatni.
• A fontos dolgokat írjuk le. Ami minden alkalommal kell, az ne a beszélgetés elején legyen elrejtve, hanem egy leírásban vagy a beállításokban.
• Ha furcsa lesz, kezdjünk újat. Egy jó összefoglalóval indított új beszélgetés gyakran többet ér, mint tízszer kijavítani a régit.

Nem fárad el, csak véges

Az AI tehát nem fárad el, de a figyelme nem végtelen. Ha tudjuk, hol vannak a határai, sokkal jobb eredményt kapunk tőle. Ha érdekli, hogyan lehet az AI-t a munkában is jól használni, erről is írtam már, cégeknek pedig AI-tanácsadást is vállalok.