Оптимизация ценообразования: какие подходы и модели мы взяли за основу алгоритмов машинного обучения в Imprice

Есть проверенный путь заставить человека влиться в ряды фанатов байесовского подхода — дать ему решить задачу о тестах на болезнь.
Мы не будем изобретать велосипед и пойдём тем же путём.

Итак, задача:

Допустим, вы решили сдать тест на наличие антител к коронавирусу.
Пусть 1% людей, сдающих тесты на антитела к коронавирусу, обладают такими антителами (специальный показатель у них превышает пороговое значение).
90% людей с антителами получают положительный результат: антитела есть.
9% людей без антител также получают положительный результат теста: тест говорит "антитела есть", хотя их нет.

Вы сдали тест. Ваш результат положителен: антитела есть.
Какова вероятность того, что у вас действительно есть антитела?

Показалось сложно?
Это нормально; большинству людей сложно оперировать долями и вероятностями. Зарубежом проводили исследования, предлагая врачам решить подобную задачу, и правильный ответ смогли найти всего 15% медиков (подробнее можно почитать здесь: yudkowsky.net/rational/bayes ).

Давайте возьмём более легкую формулировку тех же самых условий.
При такой постановке уже целых 46% врачей дали правильный ответ!

Итак, те же условия в другой формулировке:
100 из 10 000 людей, сдающих тест на антитела, действительно ими обладают.
90 из 100 людей с антителами получают положительный результат: антитела есть.
891 из 9 900 людей без антител также получают положительный результат теста: тест говорит "антитела есть", хотя их нет.

Какая доля сдавших тест на антитела и получивших положительный результат, действительно обладает антителами?

Если человек решает подобную задачу впервые, интуиция пытается потащить его по ложному пути: около 90% людей с антителами получают положительный результат теста, значит, вероятность обладать антителами при положительном тесте также должна составлять около 90%.

В реальности для верного ответа требуются все три части информации:
✓ процент людей с антителами,
✓ процент людей без антител, получивших положительный тест: антитела есть (хотя их нет),
✓ процент людей с антителами, получивших положительный тест: антитела есть.

Например, если антитела на самом деле есть у 10% человек, то человек с положительным тестом обладает антителами с вероятностью ~53%.
Если же антитела на самом деле есть у 50% человек, то человек с положительным тестом обладает антителами с вероятностью целых ~91%!

Если мы вернемся в исходные условия задачи, но вероятность ложноположительного теста возьмём не 9%, а только 1%, то человек с положительным тестом является счастливым владельцем антител с вероятностью ~47,6%.
Если снова поменять вероятность ложноположительного теста, но уже увеличить ее до 15%, то при положительном тесте вероятность действительно иметь антитела равна всего 5,7%!

Если вы хотите проверить приведенные выше расчеты и вам интересно узнать легкий способ это сделать, и заодно выяснить, что такое правило Байеса и формула Байеса, - переходите на эту страницу: Правило Байеса и водопады: лёгкий способ начать мыслить вероятностями и шансами.

Большинство из нас учили теорию вероятностей в ВУЗе, концентрируясь на частотном подходе.

Частотный подход рассматривает случайность как объективную неопределённость. Например, когда мы подкидываем игральную кость, мы договариваемся, будто ничто не влияет на то, какая грань окажется сверху.

В действительности подкидывание кости — это совокупность физических процессов и характеристик: как мы держим кубик до броска, с какой силой мы его кидаем и придаем ему вращение, сопротивление воздуха, масса кубика, распределение массы внутри кубика и так далее. В каких-то случаях нам лень проводить расчеты, в каких-то случаях провести расчеты очень сложно. Но итоговое событие не является объективной неопределенностью; просто мы чего-то не знаем или не имеем возможности это посчитать.

Частотный подход работает с экспериментами, как и байесовский, но для получения результата приемлемой точности требует гораздо большего объёма данных. В ряде случаев это затрудняет и даже делает невозможным его применение на практике.

Байесовский подход работает со случайностью иначе: как с мерой нашего незнания. Неопределенность в этом подходе является субъективной. Событие неслучайно и обусловлено конкретными факторами, но измерить и оценить их влияние изначально может быть сложно.
"Мера нашего незнания" подразумевает: последовательно производя эксперименты, на каждом шаге мы узнаем все больше и больше, уменьшая меру незнания.

С байесовским подходом эксперименты обогащают нас знаниями, которые позволяют предугадывать событие с более высоким качеством предсказания. Упрощенный пример уточнения прогноза с помощью байесовского подхода — с тестом на антитела — мы разобрали в начале этой статьи. А пример сравнительной эффективности байесовского и частотного подхода в ценообразовании мы покажем ниже.

Ну вот, теперь можно перейти к алгоритмам!

Для математической формулировки задачи ценовой оптимизации необходимо договориться о некоторых важных вещах. А именно:

Пусть мы продаём всего один товар. При изменении цены товара могут изменяться продажи в штуках. Мы хотим найти цену, при которой целевой показатель примет максимальное значение при текущем спросе.

Было бы здорово знать значение спроса при каждой конкретной цене. Тогда мы бы просто:
— перемножили цены на значения спроса при этих ценах,
— посмотрели, при какой цене получается самая большая выручка,
— и выбрали бы эту цену.
Аналогично происходил бы выбор цены в случае с максимизацией прибыли или продаж в штуках.

Но — поскольку спрос динамично меняется — данные о зависимости спроса могут оказаться устаревшими, а могут быть неполными или просто отсутствовать.

Первое. Если какие-то априорные* знания у нас есть — история продаж, история изменения цен, история изменений факторов, способных влиять на цену и спрос (себестоимость, цены конкурентов, товарные остатки, сезонность, …), — рационально попробовать их использовать: возможно, для ряда товаров они остались актуальными.

Второе. Могут иметься гипотезы, экспертные оценки и ожидания.

Третье. Можно собрать новую информацию: запустить ценовые эксперименты (в том числе, повторно протестировать "старые" цены, по которым есть исторические данные о спросе). В процессе наблюдений появится актуальная (!) информация о поведении спроса. Это апостериорные** знания: мы будем фиксировать, как изменился спрос в результате изменения цены.

Байесовский подход позволяет очень эффективно уточнять априорные знания с помощью наблюдений.
В случае ценообразования, байесовский подход позволяет эффективно восстанавливать кривую спроса с помощью относительного маленького количества экспериментов и быстро находить оптимальные значения цены, при которой наш целевой показатель будет максимальным или близким к максимальному.

Введем обозначения:
p — цена (от английского price)
d — спрос (от английского demand).

У нас есть k цен: p1, p2, …, pk
При цене p1 могут купить d1 единиц товара,
по цене p2 купят d2 единиц товара,
...
по цене pk купят dk единиц.

Мы хотим максимально большую выручку. Значит, из цен pi нужно выбрать цену p*, для которой произведение pi*di окажется самым большим.
Математики записывают это так:

В реальности у нас или нет значений di, или нет уверенности, что они соответствуют актуальному спросу. Так что просто сравнить пары цена-спрос и выбрать лучшую цену мы не можем.

К тому же спрос d — это случайная величина.
Даже при стабильном спросе и фиксированной цене объём продаж меняется день ото дня.
Например, цена товара 10 рублей, и при этой цене стабильно покупают примерно 60 штук в месяц. Однако объёмы продаж товара в день НЕстабильны — и это нормально. Сегодня покупают одну штуку, завтра ещё две штуки, послезавтра три штуки, послепослезавтра снова две штуки.
Совокупность вероятностей, с которой спрос в день будет равен конкретному значению, называют распределением вероятностей.

Примеру выше может соответствовать такое распределение:

θ — этой буквой (тета) будем обозначать параметры такого распределения, упрощенно — вероятности, что при конкретной цене p спрос d примет то или иное конкретное значение

Соответственно, мы хотим как можно точнее оценить спросы di, соответствующие ценам pi, но при этом экспериментировать с ценами как можно меньше.
Тут нам и начинает мощно помогать байесовский подход, с которым релевантная дополнительная информация значительно уменьшает меру нашего незнания.

Что можно взять в качестве дополнительной информации? Мы будем использовать наблюдения за θ - параметрами распределения спроса при конкретной цене.

Итак, спрос d — это неизвестная нам функция от цены p и от случайного параметра θ (тета):
d(p;θ).

Перепишем формулу оптимальной цены p* для максимизации выручки:

E — это знак математического ожидания. Оно нужно, чтобы "усреднить" выборочные значения спроса: в разные дни купят разное количество товара, как мы помним, даже если спрос не претерпевает скачков и цена не меняется.
t — это номер временного шага алгоритма (от английского time). θ_t — это значения параметра θ на шаге t алгоритма.

Покажем наглядно, как работает один из наиболее эффективных алгоритмов ценовой оптимизации — реализация сэмплирования Томпсона (Thompson sampling).
Алгоритм и его модификации были успешно протестированы многими компаниями, показывая очень впечатляющие результаты. Мы возьмем иллюстрацию из исследования Walmart и дополним её собственными скриншотами.

Итак, что примерно происходит на каждом шаге t алгоритма?
Есть k цен, которые мы "пробуем": p1, p2, …, pk.
"Пробуем" — значит, устанавливаем цену на какое-то время и замеряем продажи.

Для каждой цены получается оценка распределения спроса: с какой частотой "выскакивали" разные значения продаж. Примерно как мы описывали выше:

И вот мы исследовали все цены, и для каждой цены pi получили свой набор параметров распределения значений спроса θi.

Поместим все эти распределения на один график:

θi — вероятности что при цене pi спрос d примет то или иное значение. Берем матожидание параметра θi, выбираем соответствующее ему значение спроса d и ставим точку. Через эти точки проводим кривую спроса d — т.е. через наиболее вероятные (с точки зрения имеющихся у нас данных) значения спроса при каждой цене.

Каждый следующий шаг t дает нам новую информацию о параметрах распределения спроса θ. Мы вносим уточнения в эти распределения и актуализируем кривую спроса.
Главная "фишка" алгоритма - принцип выбора цен, которые будут тестироваться на следующем шаге. Чем выше выручка получалась при определенной цене - тем более внимательно протестирует её алгоритм на следующих шагах, тем больше он даст "попыток" этой цене проявить себя.

Опустим математические подробности (мы обещали, что математическая подготовка для чтения почти не нужна) и перейдем сразу к визуализации.
Ниже - мультипликация, показывающая работу модели в динамике. Шаг за шагом мы наблюдаем, как и почему алгоритм выбирает одни цены и отбрасывает другие:

В анимации смоделирован самый простой пример: более низкая цена даёт существенное увеличение спроса, компенсирующее снижение маржи. В результате чем ниже цена, тем выше выручка.
(Более сложный пример - когда самой выгодной оказалась достаточно высокая цена, - можно посмотреть здесь: blog.griddynamics.com/dynamic-pricing-algorithms/)

Худшей ценой в "мультике" выше оказалась "желтая" 74.9: спрос по этой цене почти не отличался от спроса при "голубой" цене 79.9, а выручка заметно меньше.

Лучшей ценой оказалась "синяя", самая низкая 54,9: спрос при этой цене настолько увеличивался, что перекрывал разницу с другими ценами и приносил значительно больше выручки.

Алгоритм Thompson Sampling является одним из базовых в ценовой оптимизации Imprice:

В статье Walmart Labs (Thompson Sampling for Dynamic Pricing, Ravi Ganti, Matyas Sustik, Quoc Tran, Brian Seaman, Walmart Labs, USA, февраль 2018) приведены данные о сравнительной эффективности двух моделей динамического ценообразования:

— пассивной (авторегрессионной): берутся исторические данные, на их основе строится оценка кривой спроса, на основе этой оценки выбирается оптимальное значение цены, затем добавляются данные продаж при этой оптимальной цене, оценка кривой спроса корректируется и так далее,

— активной: добавляется исследование цен-спроса с помощью сэмплирования Томпсона.

Сравнение вели "в пробирке", на искусственно созданном наборе данных - корзине из 100 товаров, для которых исследователи заранее описали все "истинные" параметры, выдав на вход моделям одинаковую часть этих данных.

Модель с сэмплированием Томпсона продемонстрировала выдающиеся способности к обучению, продолжая интенсивно увеличивать выручку при новых итерациях.
Пассивная модель вскоре "остановилась в развитии":

Мы не будем касаться методов очистки данных; просто перечислим важные блоки алгоритмов оптимизации в системе.

2.
Все эти данные поступают в RVM — "блок оптимизации дохода" (revenue manager).

Важная задача RVM — обеспечивать баланс между эксплуатацией и исследованием цены (Exploration–Exploitation Dilemma). Суть:
— Если тестировать слишком много разных цен, то слишком часто будет использоваться неоптимальная цена, и на выходе будет проигрыш вместо выигрыша.
— Если не исследовать цены, в итоге может быть выбрана совершенно не оптимальная цена, так как оптимальную цену просто не успели протестировать. Потери в виде упущенной прибыли могут оказаться еще выше.
— Поэтому в ценовой оптимизации очень важен баланс исследования и эксплуатации.

Внутри RVM работает алгоритм, который выбирает один из двух алгоритмов оптимизации цены для конкретного товара. Для этого анализируется статистика частоты покупок:

✓ Epsilon-greedy. Алгоритм оптимизации для товаров с малым объемом накопленной статистики (с большой вероятностью, редко покупаемых); например, для товаров, которые до оптимизации покупали 2-3 раза за квартал. Исследование цены редко покупаемых товаров может занять годы, поэтому рациональнее сразу выбрать наилучшую из имеющихся цену без поиска более оптимальной цены. Данный алгоритм не задействует "устаревание" данных (уменьшение веса данных по мере увеличения давности их сбора).

✓ Thompson sampling, о котором подробно рассказано выше. Основной алгоритм системы, в котором сбалансировано исследование и эксплуатация цены (это доказывалось в ряде научных публикаций).

При вычислении оптимальной цены учитываются роли SKU в корзине (драйверы трафика, драйверы корзины, заменители, дополнители и так далее), и как каждый конкретный товар влияет на продажи других товаров.
В частности, это помогает избежать каннибализации в категориях.

3.
Далее RVM выбирает цену, при которой на текущий момент достигается максимум нашего целевого показателя (выручки, валовой прибыли или продаж в штуках) — с учетом взаимного влияния товаров. Эта оптимальная цена передается на выход.