Zjawisko, o które pytasz, jest jak najbardziej prawdziwe i w świecie inżynierii promptów (prompt engineering) określa się je mianem „efektu świeżości” (recency bias). Modele językowe, mimo swojej ogromnej mocy obliczeniowej, mają specyficzny sposób przetwarzania informacji, który sprawia, że to, co napiszemy na samym końcu polecenia, często ma największy wpływ na ostateczny wynik. Nie jest to błąd w Twoim odczuciu, lecz cecha wynikająca bezpośrednio z architektury współczesnych sieci neuronowych.

Dlaczego AI „pamięta” najlepiej końcówkę?

Głównym powodem tego stanu rzeczy jest architektura Transformer, na której opierają się modele takie jak GPT-4 czy Claude. Kluczowym elementem tej architektury jest tzw. mechanizm uwagi (Attention Mechanism). Pozwala on modelowi „patrzeć” na wszystkie słowa w tekście jednocześnie i oceniać, które z nich są najważniejsze dla wygenerowania kolejnego wyrazu.

W teorii mechanizm ten powinien działać idealnie na całym tekście, ale w praktyce pojawia się kilka problemów:

1. Gradienty i wagi: Podczas treningu modele często uczą się, że w ludzkiej komunikacji najważniejsze instrukcje lub podsumowania znajdują się na końcu wypowiedzi. My sami, pisząc maile czy instrukcje, często kończymy je zdaniem typu: „A więc pamiętaj, żeby przede wszystkim zrobić X”. AI przejmuje te wzorce.
2. Długość kontekstu: Im dłuższy prompt, tym bardziej „rozmywa się” uwaga modelu. Informacje znajdujące się w środku długiego tekstu są statystycznie najczęściej pomijane lub traktowane z mniejszą wagą.
3. Bliskość wyjścia: Ostatnie instrukcje znajdują się fizycznie najbliżej miejsca, w którym model zaczyna generować odpowiedź. W procesie matematycznym, jakim jest przewidywanie kolejnego tokenu, te ostatnie dane wejściowe mają najsilniejszy „wpływ aktywacyjny”.

Jakiej liczby ostatnich poleceń to dotyczy?

Nie da się wskazać jednej, sztywnej liczby, np. „trzech ostatnich zdań”. To, jak bardzo model skupi się na końcówce, zależy od kilku czynników:

• Całkowita długość promptu: Jeśli Twój prompt ma 50 słów, model prawdopodobnie ogarnie go w całości bez problemu. Jeśli jednak wklejasz 10 stron tekstu i na końcu dajesz instrukcję, efekt świeżości będzie gigantyczny.
• Złożoność instrukcji: Jeśli instrukcje są sprzeczne, ta ostatnia niemal zawsze wygra.
• Konkretny model: Nowsze modele (np. GPT-4o) radzą sobie z tym znacznie lepiej niż starsze wersje, ale zjawisko to nadal występuje nawet w najbardziej zaawansowanych systemach.

Badania nad zjawiskiem „Lost in the Middle” (zgubieni w środku) wykazały, że modele najlepiej radzą sobie z informacjami na samym początku i na samym końcu tekstu, podczas gdy skuteczność drastycznie spada, gdy kluczowa informacja znajduje się w połowie długiego dokumentu.

Jak praktycznie wykorzystać efekt świeżości?

Wiedza o tym, że AI jest „posłuszniejsza” wobec ostatnich słów, to potężne narzędzie w rękach sprawnego użytkownika. Oto jak możesz to wykorzystać w codziennej pracy:

1. Strategia „najważniejsze na koniec”

Jeśli masz długą listę wymagań dotyczących formatowania (np. „nie używaj pogrubień”, „pisz w trzeciej osobie”), powtórz je na samym końcu promptu, tuż przed miejscem, w którym AI ma zacząć pisać. Nawet jeśli wspomniałeś o tym na początku, przypomnienie na końcu zadziała jak „ostatnie słowo”, którego model nie zignoruje.

2. Struktura „instrukcja – dane – instrukcja”

To jedna z najskuteczniejszych technik. Jeśli wklejasz duży blok tekstu do analizy, zrób to w ten sposób:

• Góra: Krótki opis zadania (np. „Podsumuj poniższy tekst”).
• Środek: Dane wejściowe (np. treść artykułu).
• Dół: Szczegółowe wytyczne (np. „Użyj maksymalnie 5 punktów, skup się na aspektach ekonomicznych i nie używaj żargonu”).

Dzięki temu model wie, co ma zrobić (początek), ale szczegóły wykonania (koniec) ma „świeżo w pamięci” w momencie startu generowania.

3. Przełamywanie oporu modelu

Jeśli model uparcie odmawia wykonania jakiegoś polecenia lub robi to źle, spróbuj dodać na samym końcu zdanie: „Upewnij się, że bezwzględnie przestrzegasz zasady X, o której wspomniałem wyżej”. To często wystarcza, by „naprostować” AI.

Ciekawostka: Zjawisko „Lost in the Middle”

W 2023 roku naukowcy ze Stanforda i innych uczelni opublikowali głośną pracę badawczą, która udowodniła, że wydajność modeli językowych przypomina literę „U”. Modele świetnie wyciągają informacje z początku tekstu (efekt pierwszeństwa) i z końca (efekt świeżości), ale ich skuteczność w analizowaniu środka długich dokumentów jest momentami porównywalna do zgadywania.

Dlatego, jeśli musisz podać AI bardzo ważny fakt ukryty w długim dokumencie, najlepiej jest go wyciągnąć i wkleić jako osobne przypomnienie na samym końcu zapytania. To prosty trik, który drastycznie podnosi jakość odpowiedzi.