Conversion grew in every segment but fell overall: checking traffic composition

Общая конверсия магазина снизилась с 4,4% до 3,6%. При этом и на компьютерах, и на телефонах доля сеансов с заказом выросла. В таком отчёте нет обязательной арифметической ошибки: измениться могла доля самих групп. До задачи «вернуть прежнюю конверсию» стоит восстановить состав трафика.

Разберём полностью условный пример. Это не данные General iT и не результат эксперимента. Его задача — показать, почему сумма показателей иногда движется в другую сторону, чем каждый сегмент по отдельности, и какой расчёт запросить у аналитика.

В примере конверсия равна числу сеансов хотя бы с одним зафиксированным заказом, делённому на все учитываемые сеансы. Если в одном сеансе возникло два заказа, в числителе всё равно один сеанс. Это не число заказов на посетителя и не доля оплаченных покупок. Подменять эти показатели при сравнении нельзя.

Документация Google Analytics описывает сеансовую долю ключевого события сходным способом: сеансы с ключевым событием делятся на все сеансы. Но название конкретного события и условия его регистрации задают смысл результата. Событие оформления заказа не доказывает оплату или получение товара.

Для простоты у нас только две непересекающиеся группы, вместе охватывающие все 1 000 сеансов каждого периода: компьютеры и телефоны. Планшеты и неизвестные устройства в этой модели отсутствуют. В рабочем отчёте их нельзя молча потерять: сумма групп должна совпадать с выбранным общим итогом.

В первом периоде на компьютеры приходится 800 сеансов. В 40 из них зафиксирован заказ: 40 из 800, или 5%. На телефоны приходится 200 сеансов, из них 4 с заказом: 2%. Вместе получаем 44 сеанса с заказом из 1 000, то есть 4,4%.

Во втором периоде состав меняется: 200 сеансов с компьютеров и 800 с телефонов. На компьютерах заказ есть в 12 сеансах, поэтому конверсия равна 6%. На телефонах таких сеансов 24, поэтому конверсия равна 3%. Обе группы выросли на один процентный пункт. Но общий итог — 36 сеансов с заказом из 1 000, или 3,6%.

Причина видна в весах. Во втором периоде гораздо больше сеансов приходится на группу с меньшей конверсией. При подсчёте общего результата 3% получают вес 80%, а 6% — вес 20%. Простое среднее двух процентов, 4,5%, не описывает эту совокупность: группы имеют разный размер.

Падение общего показателя здесь составляет 0,8 процентного пункта. Это не снижение на 0,8% относительно прежнего значения. Для относительного изменения пришлось бы делить разницу на исходные 4,4%; важно заранее выбрать способ сравнения и не смешивать единицы в одном отчёте.

Чтобы отдельно увидеть влияние показателей групп, сохраним их доли из первого периода: 80% компьютеров и 20% телефонов. Подставим конверсии второго периода: 0,8 × 6% + 0,2 × 3% = 5,4%. Это стандартизированный расчёт при условно неизменном составе, а не фактическая конверсия второго периода.

Если представить те же 1 000 сеансов с прежним распределением, арифметика даст 48 сеансов с заказом на компьютерах и 6 на телефонах, всего 54. Эти 54 не являются дополнительными полученными заказами или прогнозом. Мы только меняем веса в формуле, чтобы объяснить различие между итогом и сегментами.

Полезно положить рядом три величины: фактические 4,4% первого периода, фактические 3,6% второго и условные 5,4% при прежнем составе. Последняя цифра помогает задать вопрос об изменении источников и аудитории, но не отменяет того, что зафиксированных сеансов с заказом стало меньше.

Из примера нельзя заключить, что новая версия сайта улучшила продажи. Внутри каждой группы могли измениться источники переходов, ассортимент, сезонность и доля постоянных покупателей. Мы не проводили случайное распределение между версиями и не оценивали статистическую неопределённость. Положительная разница внутри сегмента сама по себе не устанавливает причину.

Нельзя и объявлять телефоны проблемой только потому, что их доля выросла. Новая мобильная аудитория может быть полезна бизнесу, но иначе проходить путь к покупке. Для решения нужны сопоставимые данные о стоимости привлечения, оплатах и результате заказов. Учебная таблица ничего не говорит о прибыли этих групп.

До обсуждения дизайна проверьте одинаковые условия сбора: событие, фильтры, границы периодов, часовой пояс и правила отнесения к устройству. Сверьте регистрацию нескольких разрешённых тестовых случаев с ожидаемым результатом. Изменение настройки счётчика способно сделать показатели несопоставимыми даже при правильной формуле.

В задаче аналитику я бы попросила показать числитель и знаменатель каждого сегмента, доли групп и пересчёт с фиксированными весами. По этим данным уже можно выбрать следующую проверку: изменение состава аудитории, конкретный шаг оформления или качество регистрации событий. Один общий процент подходит для наблюдения за итогом; бюджет на исправление стоит назначать после объяснения того, из чего он сложился.

The store's overall conversion fell from 4.4% to 3.6%. Yet, the share of sessions with at least one order increased on both computers and phones. Such a report does not necessarily contain an arithmetic error: the proportion of the groups themselves may have changed. Before tackling the task of restoring the previous conversion rate, it is necessary to restore the traffic composition.

Let us examine a fully hypothetical example. This is not General iT data, nor is it the result of an experiment. Its purpose is to show why the sum of indicators can sometimes move in the opposite direction to each individual segment, and what calculation to request from an analyst.

In the example, conversion equals the number of sessions with at least one recorded order divided by all considered sessions. If two orders occur in a single session, the numerator still counts as one session. This is not the number of orders per visitor, nor the share of paid purchases. These indicators must not be substituted when comparing.

Google Analytics documentation describes session share of a key event similarly: sessions with the key event are divided by all sessions. However, the specific event name and the conditions for its registration determine the meaning of the result. A checkout event does not prove payment or receipt of goods.

For simplicity, we have only two non-overlapping groups covering all 1,000 sessions per period: computers and phones. Tablets and unknown devices are absent in this model. In a working report, they must not be silently skipped: the sum of the groups must match the selected total.

In the first period, computers account for 800 sessions. A checkout was recorded in 40 of them: 40 out of 800, or 5%. Phones account for 200 sessions, with 4 checkouts: 2%. Together, we get 44 sessions with a checkout out of 1,000, or 4.4%.

In the second period, the composition changes: 200 sessions from computers and 800 from phones. On computers, a checkout occurred in 12 sessions, so conversion is 6%. On phones, there were 24 such sessions, so conversion is 3%. Both groups increased by one percentage point. But the overall total is 36 sessions with a checkout out of 1,000, or 3.6%.

The cause is visible in the weights. In the second period, far more sessions fall into the group with the lower conversion rate. When calculating the overall result, 3% is assigned a weight of 80%, while 6% is assigned a weight of 20%. A simple average of the two percentages, 4.5%, does not describe this population: the groups differ in size.

The decline in the overall metric here is 0.8 percentage points. This is not a 0.8% decrease relative to the previous value. For relative change, one would divide the difference by the original 4.4%; it is important to choose the comparison method in advance and not mix units in a single report.

To see the influence of group metrics separately, we retain their shares from the first period: 80% computers and 20% phones. Substituting the second-period conversion rates: 0.8 × 6% + 0.2 × 3% = 5.4%. This is a standardized calculation assuming a constant composition, not the actual conversion rate of the second period.

If we imagine the same 1,000 sessions with the previous distribution, the arithmetic yields 48 sessions with an order on computers and 6 on phones, totaling 54. These 54 are not additional orders received or a forecast. We are only changing the weights in the formula to explain the difference between the total and the segments.

It is useful to place three figures side by side: the actual 4.4% for the first period, the actual 3.6% for the second, and the hypothetical 5.4% assuming the same composition. The last figure helps frame a question about changes in traffic sources and audience, but it does not negate the fact that the number of recorded sessions with an order has decreased.

One cannot conclude from this example that the new version of the site improved sales. Within each group, traffic sources, product assortment, seasonality, and the share of returning customers could have changed. We did not conduct random assignment between versions, nor did we assess statistical uncertainty. A positive difference within a segment does not, by itself, establish causality.

One also cannot declare phones a problem solely because their share increased. A new mobile audience may be beneficial to the business, even if the path to purchase differs. To address this, comparable data on acquisition costs, payments, and order outcomes are required. The sample table provides no information about the profitability of these groups.

Before discussing design, verify that data collection conditions are identical: the event, filters, period boundaries, time zone, and device attribution rules. Cross-check the registration of multiple permitted test cases against the expected result. Changing a counter setting can render metrics incomparable, even if the formula is correct.

For the analyst task, I would ask to show the numerator and denominator for each segment, the group shares, and the recalculation with fixed weights. Based on these data, the next check can be selected: changes in audience composition, a specific checkout step, or the quality of event registration. A single overall percentage is suitable for monitoring the final result; the budget for fixes should be assigned only after explaining what it consists of.