Как считаем «Как сейчас»

Что считаем

Публичные отзывы, которые хранит Tailwind, по календарным месяцам, вместе со всех площадок, показанных на странице. Жалоба — отзыв на 1–2★, то же определение, что у доли проблемных отзывов на странице. От компании для этого ничего не нужно.

Какие месяцы

Месяцы календарные (UTC), и учитываются только полные: 7 октября последний полный месяц — сентябрь. «Сейчас» — последние 3 полных месяца. «Обычно» — 12 месяцев до них: собственный уровень компании, а не среднее по отрасли. На графике все 15 месяцев, включая месяцы без отзывов.

Когда сравниваем

Только если за последние 3 месяца не меньше 30 отзывов, а за год до этого — не меньше 60 отзывов хотя бы в 6 месяцах. Иначе блок показывает счётчики и пишет, что данных мало, — без вердикта. При таком числе отзывов заметно только большое изменение, и так задумано.

Как решаем

Доля в каждом окне — жалобы, делённые на отзывы, с 95% доверительным интервалом (Уилсона). Решает двусторонний z-тест для двух долей на уровне 95%: жалоб меньше обычного, больше обычного или заметной разницы нет, если она может быть случайной. Страница показывает размер разницы в процентных пунктах с точностью до 0,1, а её направление — подпись.

Что показываем всегда

При любом вердикте: отзывы и жалобы в обоих окнах, месяцы каждого окна, график за 15 месяцев и дату последнего отзыва — чтобы «нет свежих жалоб» можно было отличить от «нет и свежих отзывов».

Чего блок не скажет

• Публичные отзывы оставляет небольшая и не случайная часть клиентов, и площадки приглашают их по-разному. Если компания меняет то, как просит отзывы, доля меняется без всякого изменения в сервисе.
• Квартал бывает сезонным: обычный уровень охватывает целый год, а последнее окно — нет.
• Отзывы датируются публикацией, а она может отставать от заказа на недели.