Zmiany modeli poza kontrolą
Dostawcy mogą zmienić model lub sposób działania API bez zapowiedzi. Wersja metodologii i kolektorów jest zapisywana, ale identyfikator modelu nie jest dziś kompletny przy każdej odpowiedzi.
Skok wyniku może więc pochodzić ze środowiska. Trzeba go oceniać z datą, logiem dostawcy i pełnymi odpowiedziami, zamiast automatycznie przypisywać działaniom marki.
Zmienność geograficzna
Odpowiedzi AI różnią się między lokalizacjami, a pomiar z jednej lokalizacji nie odzwierciedla idealnie doświadczenia każdego użytkownika w danym kraju. Definiujemy lokalizację pomiaru jawnie, ale jest to próbka środowiska, nie jego pełny obraz. Wyników nie należy uogólniać na lokalizacje, których nie mierzyliśmy.