Парсер для маркетплейсов

Клиент — маркетинговое агентство, которое ведёт десятки брендов на маркетплейсах. Задача — отслеживать цены конкурентов, остатки, скидки и рейтинги. До нас они пользовались вручную обновляемыми Excel-таблицами, иногда подключали дешёвые парсеры, но всё работало нестабильно и часто блокировалось.

У агентства был конкретный запрос:

«Нам нужно ежедневно мониторить цены на 1000+ карточек товаров по конкурентам, чтобы мы могли быстро менять свои и не терять в выдаче».

Мы начали с обсуждения источников данных. Выяснили, что данные с маркетплейсов не получить по API — значит, только через парсинг. Но обычный requests тут не поможет — маркетплейсы защищаются, банят, требуют прокси и браузер. Поэтому мы использовали Playwright в headless-режиме, настроили обход антибот-защиты, добавили ротацию User-Agent и прокси, чтобы система работала стабильно.

Для хранения сделали структурированную базу в PostgreSQL, а для клиента — веб-интерфейс с фильтрацией по товарам, категориям, конкурирующим брендам. Также добавили автоматические уведомления: если конкурент снизил цену — агент получает письмо и пуш.

Система оказалась настолько полезной, что клиент начал продавать отчёты своим брендам как дополнительную услугу.

Что было сделано:
– Парсер на Python с использованием Playwright + ротация прокси
– Обработка 10K+ карточек ежедневно с обходом антиботов
– PostgreSQL для хранения данных с индексами по брендам и категориям
– Админ-панель с фильтрами, сортировкой и экспортом в Excel
– Уведомления по Email и Telegram при резких изменениях цен
– Автоматическое расписание обновлений через Airflow

Результаты:
– Автоматизирован мониторинг 40,000+ товаров
– Обновления каждые 6 часов, 24/7
– Обнаружено 80+ ценовых нарушений за первый месяц → агентство адаптировало цены и увеличило продажи на 14%
– Сэкономлено более 80 часов ручной работы в месяц
– Внедрение заняло 3 недели, экономический эффект — уже в первый месяц