Источник
Что обычно собирают
Что усложняет
Что делаю
Сайты магазинов и конкурентов
Цены, наличие, названия, характеристики
Подгрузка данных при прокрутке, смена вёрстки, ограничения по частоте запросов
Подбираю спокойную частоту, проверяю, что поля найдены. Если сайт специально ограничивает автоматический доступ, обхода не делаю: ищем официальный способ
Маркетплейсы
Карточки, цены, остатки, позиции в выдаче
У площадок есть правила и ограничения, часть данных доступна только через официальный интерфейс
Сначала проверяю официальный способ получения данных (API). Со страниц беру только публичное и допустимое
Каталоги и прайсы поставщиков
Артикулы, остатки, цены
Доступ по логину, файлы вместо страниц
Работаю только с доступом, который выдал вам поставщик. Файлы разбираю по вашему шаблону
Доски объявлений и справочники
Объявления, данные об организациях
Контакты частных лиц — персональные данные
Контакты частных лиц не собираю. Публичные данные об организациях обсуждаем на разборе
Соцсети и мессенджеры
Публикации, число подписчиков, упоминания
Правила площадок, закрытые страницы
Беру только открытые публичные данные, закрытое не собираю