Pozycja w ChatGPT nie istnieje

Ktoś z marketingu przysyła zrzut ekranu z ChatGPT. Nasza firma jest na trzecim miejscu w odpowiedzi na pytanie o dostawców w naszej kategorii. Tydzień później ktoś inny przysyła zrzut, na którym nas nie ma. Oba zrzuty są prawdziwe i żaden z nich niczego nie mierzy.

Na co dzień uruchamiam modele językowe lokalnie, na własnym sprzęcie. Każdy, kto to robi, wie, że przy temperaturze większej od zera ten sam prompt za każdym razem daje trochę inny tekst. W ChatGPT i w podsumowaniach AI w Google dochodzi do tego wyszukiwarka, która pobiera inne strony, kilku dostawców wyników, różne wersje modelu i różne ustawienia kont. Każda odpowiedź jest więc próbką z rozkładu. Jedna próbka mówi o tym rozkładzie tyle, ile jeden rzut kostką mówi o tym, czy kostka jest uczciwa.

W ostatnich miesiącach ukazało się kilka dużych pomiarów tego zjawiska. Przeczytałem je i sprawdziłem liczby u źródła. Wnioski okazały się ciekawsze niż hasło, że AI odpowiada losowo. Dla małych firm są też mniej wygodne, niż chciałyby agencje sprzedające „pozycjonowanie w ChatGPT”.

Ten sam prompt, za każdym razem inna lista

Glen Allsopp z Detailed, firmy należącej dziś do Ahrefs, od 26 sierpnia do 22 września 2026 roku codziennie zadawał ChatGPT i podsumowaniom AI w Google ponad 1 300 tych samych pytań. Zebrał ponad 70 tysięcy odpowiedzi. Porównał potem dwa losowo wybrane dni dla tego samego pytania. Zestaw wymienionych marek był identyczny w 0,3% przypadków w ChatGPT i w 1,1% w AI Overviews.

SparkToro podszedł do tego inaczej. Rand Fishkin i Patrick O’Donnell poprosili 600 ochotników, żeby na własnych kontach zadali 12 tych samych pytań ChatGPT, Claude i Google. Z prawie 3 tysięcy odpowiedzi wyszło, że szansa na identyczną listę marek jest mniejsza niż jeden do stu. Na listę w tej samej kolejności szansa wynosi około jeden do tysiąca.

Parse przeanalizował około 693 tysięcy odpowiedzi na ponad 31 tysięcy pytań. Dwie odpowiedzi ChatGPT na to samo pytanie miały średnio tylko 21% wspólnych cytowanych domen, a w AI Overviews 31%. Branże różniły się mniej, niż można by sądzić. W turystyce wymieniało się 75% źródeł, w handlu 81%.

Trzy zespoły użyły trzech różnych metod i zobaczyły ten sam obraz. Dokładna lista, kolejność i konkretne źródła prawie nigdy się nie powtarzają. Gdyby na tym skończyć, wniosek brzmiałby, że mierzenie widoczności w AI nie ma sensu. W tych samych danych kryje się jednak coś znacznie ciekawszego.

Pod szumem siedzi stały rdzeń

W danych Detailed marka najczęściej wymieniana dla danego pytania pojawiała się w ChatGPT przez 82% dni, a w AI Overviews przez 89%. Allsopp sprawdził, czy to nie efekt wybrania lidera po fakcie. Wyznaczył lidera wyłącznie na podstawie pierwszych 14 dni i ta sama marka pojawiała się potem w 79% i 85% odpowiedzi z kolejnych dwóch tygodni.

Następnie podzielił marki na dwie grupy. Do rdzenia trafiły te obecne przez co najmniej 80% dni, do ogona wszystkie pozostałe. Rdzeń w ChatGPT zmieniał się z dnia na dzień o 13%, a ogon o 78%. W AI Overviews było to odpowiednio 11% i 65%.

SparkToro doszedł do podobnego wniosku inną drogą. Listy prawie nigdy się nie powtarzały, a mimo to czołowe marki w wąskich kategoriach, takich jak szpitale onkologiczne czy dostawcy chmury, pojawiały się w 55 do 77% odpowiedzi.

Odpowiedź AI przypomina więc drużynę z małym, stałym składem podstawowym i ławką rezerwowych, która rotuje codziennie. Obie obserwacje są prawdziwe jednocześnie. Pełna lista prawie nigdy się nie powtarza, a najsilniejsza marka jest obecna niemal zawsze.

Jest tu też lekcja dla każdego, kto sam coś mierzy. Allsopp ręcznie przejrzał 55 marek i okazało się, że 36% pozornych zniknięć z ChatGPT wynikało z tego, że następnego dnia model użył innej nazwy tej samej firmy albo produktu. Część tego, co wygląda na zmienność modelu, to po prostu brak słownika aliasów po stronie mierzącego.

Model najpierw sięga do pamięci

Skąd bierze się stały rdzeń? Najbardziej przekonujące wyjaśnienie dotyczy kolejności, w jakiej model pracuje.

Suganthan Mohanadasan czytał ruch sieciowy ChatGPT w narzędziach deweloperskich przeglądarki. Zobaczył, że model najpierw klasyfikuje pytanie. Część pytań trafia do kategorii, w której wyszukiwanie w ogóle się nie uruchamia, i wtedy odpowiedź pochodzi wyłącznie z wiedzy z treningu. Gdy wyszukiwanie rusza, model sam pisze zapytania, przy trudniejszych pytaniach od 15 do 40. W te zapytania wpisuje nazwy marek, które już zna.

W kolejnej analizie, obejmującej 57 rozmów, Mohanadasan policzył skutki. Marki wpisane przez model do własnych zapytań trafiały do odpowiedzi w 68,9% przypadków. Marki znalezione dopiero w wynikach wyszukiwania trafiały tam w 2,1%. Z 3 554 pobranych stron model zacytował 110, czyli 3,1%.

geoSurge sprawdził to samo zjawisko na Gemini. Marka z pierwszej dziesiątki pamięci modelu trafiała do zapytań wyszukiwawczych w 55,7% przypadków, a marka spoza niej w 17,4%. Siła efektu zależała od branży. W motoryzacji i finansach zapytania w ponad trzech czwartych opierały się na pamięci. W fitnessie tylko w połowie, więc tam nieznana marka miała realną szansę przebić się dzięki treściom w sieci.

Zespół z Uniwersytetu w Toronto opisał w preprincie ten sam efekt z innej strony. Wyszukiwarki AI wyraźnie wolą źródła zewnętrzne od treści publikowanych przez samą markę, a autorzy wprost piszą o faworyzowaniu dużych marek kosztem niszowych.

Mechanizm jest prosty. Jeśli model pyta wyszukiwarkę o porównanie Ubera z Lyftem, wyniki potwierdzą Ubera i Lyfta. Wyszukiwanie w dużej mierze sprawdza listę, którą model ułożył wcześniej.

Te liczby trzeba jednak czytać ostrożnie. Mohanadasan badał jedno konto i sam zaznacza, że jego procenty pokazują kierunek. geoSurge zadał 66 pytań jednemu modelowi przez 12 dni. Najważniejsze zastrzeżenie jest inne: marka, którą model pamięta, zwykle dominuje też w sieci. Z takich danych nie da się oddzielić wpływu pamięci od wpływu popularności. Mechanizm jest wiarygodny i zgadza się z tym, jak te systemy działają, ale konkretne mnożniki są kruche.

Jedno zdanie więcej i lista jest inna

Narzędzia do monitoringu zwykle zadają pojedyncze pytanie w nowej sesji. Człowiek rozmawia inaczej. Dopowiada budżet, wielkość firmy, ograniczenia techniczne i wymagania prawne.

Clovion przeanalizował 69 120 rozmów z ChatGPT, Claude i Gemini. Gdy kupujący dodawał jeden szczegół, na przykład „dla małego zespołu”, z pierwotnej listy zostawało 28% produktów zamiast 90%. Clovion nie pisze, czy były to rozmowy prawdziwych użytkowników, czy symulowane, więc traktuję ten wynik wyłącznie jako ilustrację. Kierunek zgadza się jednak z badaniem Conductora, które omówił Paweł Gontarek z Semgence. W 14 tysiącach zapytań do czterech modeli stabilność rekomendacji najlepiej przewidywał typ intencji: zakup, porównanie, nauka albo wsparcie. Branża i wielkość marki miały mniejsze znaczenie.

Do tego dochodzi konto. Mohanadasan porównał ruch z trzech kont w trzech krajach: darmowego we Włoszech, płatnego w Zjednoczonych Emiratach Arabskich i trzeciego w Niemczech. Każde korzystało z innych dostawców wyników wyszukiwania, a ten sam artykuł docierał do modelu różnymi drogami. Dostawcy zmieniali się też w czasie w obrębie jednego konta, bez żadnego ogłoszenia. Kto bada widoczność z jednego konta, bada więc jedną grupę użytkowników, a nie cały produkt.

W praktyce marka nie ma jednej pozycji w temacie. Ma pewne prawdopodobieństwo pojawienia się, które zależy od intencji, sformułowania pytania, historii rozmowy, języka, kraju, konta, platformy i dnia.

Co to oznacza dla małej firmy

Wniosek dla małych firm jest niewygodny. Przy ogólnym pytaniu w rodzaju „jaki SIEM wybrać” rdzeń zajmą marki, które model zna z treningu. Mała firma trafi najwyżej do ogona, czyli do loterii losowanej codziennie od nowa. Firma, która powstała po dacie odcięcia wiedzy modelu, w jego pamięci w ogóle nie istnieje.

Widzę tu dwie drogi, które działają w zupełnie innym tempie.

	Wolna droga: pamięć modelu	Szybka droga: wyszukiwanie
Co decyduje	Powtarzalne występowanie nazwy firmy obok nazwy kategorii w źródłach zewnętrznych	Strony, które wyszukiwarka pobierze dla konkretnego zapytania
Kiedy działa	Najwcześniej przy następnym treningu modelu, czyli po miesiącach albo latach	Od razu
Gdzie daje efekt	Stały rdzeń w pytaniach ogólnych	Ogon i pytania doprecyzowane
Trwałość	Wysoka	Niska, około 80% źródeł wymienia się między odpowiedziami

Szybka droga ma sens tam, gdzie mała firma naprawdę jest najlepszym wyborem. Kto pyta o SIEM dla małego zespołu bezpieczeństwa, z infrastrukturą on-premise i danymi przechowywanymi w UE, dostaje inną listę niż ten, kto pyta o najlepszy SIEM. W takich pytaniach model musi szukać i nie wystarcza mu to, co pamięta. Przewaga globalnych marek maleje, a treści odpowiadające na bardzo konkretną potrzebę mają realną szansę.

Wolna droga jako jedyna daje miejsce w rdzeniu. Treści na własnej stronie ważą w niej niewiele, bo modele wolą źródła zewnętrzne. Liczą się publikacje u innych, repozytoria kodu, wystąpienia, wzmianki w porównaniach i dyskusjach branżowych. Za każdym razem nazwa firmy musi padać obok nazwy kategorii. To jest zwykłe budowanie marki, tylko na końcu łańcucha stoi nowy odbiorca.

Tu leży odpowiedź na pytanie o powtarzalność. Ogon się nie powtarza, bo zależy od bieżącego wyszukiwania. Rdzeń się powtarza, bo zależy od pamięci, która zmienia się dopiero przy kolejnej wersji modelu. Kto chce stabilnej obecności, musi budować pamięć. Kto potrzebuje efektów szybciej, musi wybierać pytania, przy których model szuka.

Kto to zmierzył i dlaczego to ważne

Jedna rzecz psuje mi ten obraz. Prawie wszystkie duże zbiory danych pochodzą od firm, które zarabiają na monitoringu widoczności w AI.

Badanie	Skala	Czy autor zarabia na monitoringu AI
Detailed, Glen Allsopp	ponad 70 tys. odpowiedzi, 28 dni	Tak, firma należy do Ahrefs
Parse	około 693 tys. odpowiedzi	Tak
Clovion	69 120 rozmów, pochodzenie niejasne	Tak
SparkToro	2 961 odpowiedzi, 600 osób	Współautor pracuje w Gumshoe, firmie od trackingu AI
geoSurge	66 pytań, około 4 tys. odpowiedzi, Gemini	Tak
Suganthan Mohanadasan	57 rozmów, jedno konto	Nie bezpośrednio
Schulte i in., St. Gallen	preprint	Nie
Chen i in., Toronto	preprint	Nie

Nie unieważnia to wyników. Firmy narzędziowe często jako jedyne mają dane w takiej skali, a Rand Fishkin otwarcie pisze o swoim początkowym sceptycyzmie. Trzeba jednak widzieć, że główny wniosek tych badań jest jednocześnie ich ofertą handlową. Zdanie „jeden pomiar nic nie znaczy, mierz codziennie” jest prawdziwe i dokładnie tego potrzebuje ktoś, kto sprzedaje codzienny pomiar w abonamencie. Najmocniejszym argumentem jest zgodność wyników uzyskanych bardzo różnymi metodami: ochotnikami, codziennym monitoringiem, analizą ruchu sieciowego i pracami akademickimi.

Drugie zastrzeżenie jest ważniejsze dla polskiego czytelnika. Niemal wszystkie te dane zebrano po angielsku i na rynku amerykańskim. Zespół z Toronto pokazał, że silniki AI różnią się stabilnością między językami. Polskich marek jest w danych treningowych mniej, polskich źródeł w sieci też. Może to oznaczać słabszy rdzeń i większą rolę wyszukiwania, ale równie dobrze model może sięgnąć po anglojęzycznych liderów i przetłumaczyć odpowiedź. Tego nikt jeszcze porządnie nie zmierzył, a wszystkie liczby z tego tekstu należy przenosić na polski rynek ostrożnie.

Co mierzyć zamiast pozycji

Badacze z St. Gallen (Schulte, Bleeker i Kaufmann) ujęli to najkrócej: widoczność w AI trzeba opisywać jako rozkład, bo odpowiedzi zmieniają się między uruchomieniami, wariantami pytania i kolejnymi tygodniami. W praktyce sprowadza się to do kilku zasad, które każdy inżynier zna z monitoringu systemów.

Zbiór pytań bierzemy z prawdziwych rozmów z klientami. Lista słów kluczowych z SEO tu nie wystarczy, bo ludzie pytają AI pełnymi zdaniami i z kontekstem.
Ten zbiór zamrażamy. Bez stałego zestawu pytań nie da się porównać tygodnia z tygodniem.
Każde pytanie powtarzamy i zapisujemy wszystko, co mogło wpłynąć na wynik: platformę, tryb, język, kraj, konto i datę.
Liczymy osobno cztery zdarzenia. Marka może zostać wspomniana, polecona, może zostać zacytowana jej domena albo konkretna strona. To są różne rzeczy i wrzucanie ich do jednego wskaźnika zaciera obraz.
Budujemy słownik nazw firmy i produktów, żeby zmiana nazwy w odpowiedzi nie wyglądała jak zniknięcie.
Raportujemy odsetek odpowiedzi z marką i jego zmienność. Zmianę uznajemy za sygnał dopiero wtedy, gdy wychodzi poza zwykły szum.
Na końcu łączymy to z ruchem, zapytaniami ofertowymi i sprzedażą. Bez tego mierzymy obecność, która nie musi nic znaczyć dla biznesu.

Kto pracował z SIEM, rozpozna ten schemat. Pojedyncze zdarzenie w logu nie jest incydentem. Incydentem staje się odchylenie od wcześniej zmierzonej linii bazowej. Z widocznością marki w AI jest dokładnie tak samo.

Peec AI policzył na danych z 120 milionów rozmów, że przy tym samym budżecie lepiej mieć więcej różnych pytań niż częściej powtarzać kilka. Przy 1 500 uruchomieniach miesięcznie 50 pytań zadawanych raz dziennie dawało niepewność około 6 punktów procentowych. 10 pytań zadawanych pięć razy dziennie dawało około 13 punktów. Zgadza się to ze statystyką, bo pytania różnią się między sobą bardziej niż kolejne odpowiedzi na to samo pytanie.

Lepsze pytanie niż „na którym miejscu jesteśmy”

SEO nauczyło nas patrzeć na pozycję w wynikach. W odpowiedziach AI pozycja jest pojedynczym losowaniem i niewiele z niej wynika. Sensowne pytanie brzmi inaczej: w jakim odsetku odpowiedzi na prawdziwe pytania naszych klientów pojawia się nasza marka i czy ta liczba zmienia się bardziej niż szum.

Dla dużej marki odpowiedź jest zwykle wygodna, bo marka siedzi w rdzeniu. Mała firma musi przyjąć do wiadomości, że w pytaniach ogólnych gra w loterię, a stałe miejsce zdobywa powoli, przez obecność w cudzych źródłach. Na szybkie efekty może liczyć tylko w pytaniach na tyle szczegółowych, że model musi zacząć szukać.

Jeśli ktoś mierzy to dla polskich zapytań, chętnie zobaczę dane. Jeśli nikt tego nie robi, warto byłoby to wreszcie policzyć.