talipov.bz Ваш разработчик напрямую

Elnar Talipov / Разработчик Web-решений

Разработка парсеров под ключ

Цены, остатки, объявления и отзывы собираются с сайтов сами, по расписанию, приводятся в порядок и попадают в вашу таблицу или программу. Разработка парсеров: от 30 000 ₽ и 3–7 дней, цена и срок в договоре. Сначала проверяю, можно ли собирать эти данные, и говорю об этом до оплаты.

Проверка источника до оплаты3 месяца бесплатных исправленийКод и доступы ваши

от 30 000 ₽

Разовая выгрузка с одного источника: цена и срок в договоре

3–7 дней

До первых данных в вашей таблице

До оплаты

Проверяю, можно ли собирать эти данные

3 месяца

Бесплатные исправления после запуска

Что это

Простыми словами

Парсер: данные с сайтов собираются сами.

Парсер — это программа, которая сама заходит на нужные сайты и сервисы, собирает данные (например, цены или остатки), приводит их в порядок и кладёт в таблицу или вашу программу. Работает по расписанию и не устаёт.

Собираю

Программа заходит на указанные страницы и достаёт нужные поля: название, цену, остаток, ссылку, дату.

Очищаю

Приводит данные к единому виду, убирает мусор и дубли, сверяет с вашими справочниками.

Отдаю

Кладёт результат в таблицу, файл или вашу программу, и присылает уведомление, если что-то изменилось или сломалось.

Важное условие: я собираю только то, что открыто всем, без обхода защиты и без персональных данных без законного основания. Если у источника есть официальный способ получить данные, лучше начать с него.

Источники

Общая картина, не юридический вывод

Откуда собирают данные и что усложняет задачу.

Источник Что обычно собирают Что усложняет Что делаю
Сайты магазинов и конкурентов Цены, наличие, названия, характеристики Подгрузка данных при прокрутке, смена вёрстки, ограничения по частоте запросов Подбираю спокойную частоту, проверяю, что поля найдены. Если сайт специально ограничивает автоматический доступ, обхода не делаю: ищем официальный способ
Маркетплейсы Карточки, цены, остатки, позиции в выдаче У площадок есть правила и ограничения, часть данных доступна только через официальный интерфейс Сначала проверяю официальный способ получения данных (API). Со страниц беру только публичное и допустимое
Каталоги и прайсы поставщиков Артикулы, остатки, цены Доступ по логину, файлы вместо страниц Работаю только с доступом, который выдал вам поставщик. Файлы разбираю по вашему шаблону
Доски объявлений и справочники Объявления, данные об организациях Контакты частных лиц — персональные данные Контакты частных лиц не собираю. Публичные данные об организациях обсуждаем на разборе
Соцсети и мессенджеры Публикации, число подписчиков, упоминания Правила площадок, закрытые страницы Беру только открытые публичные данные, закрытое не собираю

Это общая картина. Ваш случай разбираем на проверке источника и на бесплатном разборе, где я смотрю на сам источник.

Типовые задачи

Девять задач, которые чаще всего решают

Что именно можно собирать.

01 Мониторинг цен конкурентов Цены

Программа заходит на сайты конкурентов, собирает цены на ваши товары и сравнивает с вашими.

Сейчас: сотрудник раз в неделю проверяет сайты руками. С парсером: таблица с ценами конкурентов обновляется сама.

02 Каталог поставщика на ваш сайт или в таблицу Поставщики

Товары, цены и остатки поставщика собираются и попадают на ваш сайт или в таблицу.

Сейчас: данные копируют по частям. С парсером: каталог обновляется по расписанию.

03 Слежение за наличием и ценами на маркетплейсах Маркетплейсы

Программа проверяет карточки товаров и присылает уведомление при изменении цены или остатка.

Сейчас: проверяют вручную. С парсером: уведомление приходит само.

04 Тендеры, объявления и новые предложения Объявления

Программа ищет по вашим словам на открытых площадках и присылает новые.

Сейчас: ищут вручную каждый день. С парсером: подборка приходит утром.

05 Отзывы о вас на открытых площадках Отзывы

Программа собирает публичные отзывы о вашей компании в одну таблицу, чтобы вы видели картину.

Сейчас: отзывы читают по очереди на разных сайтах. С парсером: все в одном месте.

06 Аналитика рынка: ассортимент и цены Аналитика

Собираются данные об ассортименте и ценах на рынке для сравнения с вашим.

Сейчас: аналитик вручную собирает данные неделями. С парсером: данные готовы к анализу.

07 Разбор прайсов поставщиков из файлов Файлы

Прайсы в Excel и других файлах из писем приводятся к единому виду и загружаются в вашу таблицу или программу.

Сейчас: прайсы вручную подгоняют под ваш формат. С программой: файл приходит и сам разбирается.

08 Слежение за изменениями на странице Изменения

Программа следит за страницей (условия, новости, документ) и присылает уведомление, когда она изменилась.

Сейчас: об изменении узнают случайно. С парсером: уведомление приходит сразу.

09 Выгрузка ваших данных из сервиса без экспорта Свои данные

Если у сервиса, где лежат ваши данные, нет выгрузки, программа аккуратно забирает их из вашего аккаунта.

Сейчас: данные копируют вручную по одной записи. С парсером: выгрузка в таблицу за вечер.

Вашей задачи нет в списке? Напишите: список неполный, главное, чтобы данные были открыты и сбор повторялся.

Как это устроено

Четыре шага парсера

Что делает парсер, пока вы занимаетесь другим.

1. Запуск

По расписанию или по вашей кнопке. Не чаще, чем согласовано, чтобы не нагружать чужой сайт.

2. Сбор

Заходит на нужные страницы и достаёт поля. Если страница изменилась и поля пропали, останавливается и сообщает.

3. Порядок

Проверяет значения, убирает дубли, приводит к вашему формату и сверяет с вашими данными.

4. Результат

Записывает в таблицу или вашу программу, сохраняет историю изменений и присылает уведомление.

Надёжность

Что я делаю, чтобы парсер не врал и не навредил

Что может пойти не так и что я делаю заранее.

Что может случиться Что делаю заранее Как проверим до запуска
Сайт изменил вёрстку Парсер проверяет, что нашёл ожидаемые поля. Если не нашёл, он останавливается и пишет вам, а пустые данные в таблицу не записывает. Проверим на нескольких страницах разного вида
Сайт блокирует частые запросы Делаю паузы между запросами и держу нагрузку низкой. Защиту не обхожу: если сайт не пускает, сообщаю вам. Согласуем допустимую частоту до запуска
В данных мусор и пропуски Проверяю значения: цена должна быть числом, обязательные поля заполнены. Подозрительные записи помечаю. Просмотрим на пробе записи с намеренными ошибками
Одна и та же запись попала дважды У каждой записи есть уникальный ключ. Повторный сбор обновляет запись, а не создаёт вторую. Запустим сбор дважды и сравним результат
Данные в таблице вдруг стали странными Веду историю изменений: видно, что было до и что стало после. Смотрим историю на пробном запуске
Источник нельзя собирать по правилам или закону Проверяю источник до начала работы. Если сбор недопустим или рискован, говорю об этом до оплаты, а не после. Результат проверки записываем в договор

Абсолютной безотказности не обещаю: сайты меняются и могут закрыть доступ. Обещаю, что вы узнаете об этом сразу, а неверные данные не попадут в вашу таблицу молча.

Сколько стоит

Цены «от», точная смета после разбора

Что платите один раз и что дополнительно.

Разработка, один раз

01С него начинаем

Разовая выгрузка

от 30 000 ₽

Один источник, результат в таблице или файле · 3–7 дней

  • Бесплатный разбор: проверка источника, можно ли и как собирать
  • Сбор данных с одного источника
  • Очистка и приведение к единому виду
  • Выгрузка в таблицу или файл
  • Проверка на примере до полного сбора

Чего нет: запуска по расписанию, нескольких источников, страницы с отчётом

02

Регулярный сбор

от 60 000 ₽

По расписанию, до трёх источников · 2–3 недели

  • Всё из первого пакета
  • Запуск по расписанию
  • До трёх источников
  • Сверка с вашим прайсом или справочником
  • Выгрузка в вашу программу или таблицу
  • История изменений и уведомление о сбоях

Чего нет: большого числа источников и страницы с отчётами

03

Мониторинг и сверка

от 120 000 ₽

Много источников, отчёты, подключение к 1С или CRM · по смете

  • Много источников и разные форматы
  • Сравнение цен конкурентов с вашими
  • Страница с отчётами и фильтрами
  • Подключение к 1С, CRM или сайту
  • Поддержка при изменениях источников

Условия: состав и цена фиксируются в смете после разбора

Точную цену и срок называю после бесплатного разбора и записываю в договор. Срочный запуск дороже примерно на 20%.

Калькулятор

Контакты не нужны

Прикиньте цену парсера за минуту.

Выберите варианты слева. Результат появится здесь.

Ориентир для разговора. Точную цену и срок называю после бесплатного разбора и записываю в договор.

Как работаю

Четыре шага и три момента, когда решаете вы

После каждого шага решаете вы.

  1. Шаг 1

    Бесплатный разбор и проверка источника

    Вы получаете
    Проверку: открыты ли данные, есть ли персональные, что говорят правила сайта, есть ли официальный способ. И рекомендацию: можно ли, как и сколько это стоит.
    Платите
    Ничего.
    Остаётся у вас
    Всё, что получили.
  2. Ваше решение 1

    Берём ли в работу?

    Вы видите проверку, цену и срок. Решаете, начинать ли. Если нет, вы ничего не должны.

  3. Шаг 2

    Пробный сбор

    Вы получаете
    Небольшой пробный сбор в вашу таблицу: вы видите настоящие данные и решаете, те ли это поля и в нужном ли виде.
    Платите
    Предоплата 30%, остальное после того, как вы принимаете этап.
    Остаётся у вас
    Пробные данные и описание полей.
  4. Ваше решение 2

    Те ли это данные?

    Вы смотрите пробные данные. Если чего-то не хватает, поправляем до полного сбора.

  5. Шаг 3

    Запуск по расписанию

    Вы получаете
    Парсер работает сам по расписанию, результат попадает в таблицу или вашу программу. Первое время вы проверяете выборочно.
    Платите
    Остаток по принятым этапам.
    Остаётся у вас
    Исходный код, доступ к серверу, ключи и инструкция.
  6. Ваше решение 3

    Доверяем ли данным?

    Когда несколько запусков подряд дали правильные данные, можно использовать их в работе. Решаете вы.

  7. Шаг 4

    Работа и поддержка

    Вы получаете
    Бесплатные исправления ошибок 3 месяца, критичные в тот же рабочий день. Если источник изменился, помогаю подстроить парсер.
    Платите
    Поддержка от 15 000 ₽ в месяц или доработки от 3 000 ₽ в час. От поддержки можно отказаться.
    Остаётся у вас
    Всё: парсер работает на вашем сервере.

Остановиться можно в любом из трёх моментов. Вы платите только за пройденное и забираете то, что уже сделано.

Условия и гарантии

Всё это записывается в договор

Что остаётся у вас и на каких условиях.

Критичная ошибка

Разбираю в тот же рабочий день.

Гарантия

3 месяца бесплатных исправлений ошибок после запуска.

Поддержка

От 15 000 ₽ в месяц или по часам, можно отказаться в любой момент.

Доработки

От 3 000 ₽ в час, оценка заранее.

  1. Права и независимость

    Что ваше

    • Исходный код, доступ к серверу и ключи оформлены на вас с первого дня.
    • Платы за каждого пользователя нет: ни при запуске, ни позже.
    • Вы не привязаны ко мне: систему можно развивать и без меня.
  2. Деньги и сроки

    Договор

    • Цена и срок записываются в договор.
    • Предоплата 30%, остальное по принятым этапам.
    • Объём работы меняется только с вашего согласия, цену изменения называю заранее.
  3. Законность

    Источник

    • Проверяю источник до начала работы: открыты ли данные, есть ли персональные, что говорят правила сайта.
    • Не обхожу защиту, капчу, платный доступ и закрытые разделы.
    • Не собираю персональные данные без законного основания.
    • Держу нагрузку на чужой сайт низкой.
  4. Качество

    Приёмка

    • Какие поля и в каком виде вы получаете, записываем до старта.
    • Сначала делаю пробный сбор, и вы принимаете его.
    • Результат проверяется выборочно по вашим записям.
  5. Данные и безопасность

    Ваши данные

    • Где хранятся собранные данные, записываем в договоре.
    • Работаю с учётом требований 152-ФЗ.
    • NDA подписываем до обсуждения деталей, если нужно.
  6. Если что-то пошло не так

    Выход

    • Остановить проект можно после любого этапа.
    • Вы платите только за пройденное.
    • Результаты пройденных этапов остаются у вас.
    • Если я пропал, у вас остаются доступы, исходный код и документация.

Не обещаю результат без условий и работу без единого сбоя: честно можно обещать порядок работы, условия и то, что остаётся у вас.

Честно

Шесть случаев, когда я скажу «не делайте»

Когда парсер вам не нужен.

  • Не нужно, если

    Данные находятся в закрытом разделе или за платным доступом

    Что сделать вместо этогоТакое я не собираю. Если это ваши данные в вашем аккаунте, опишите: это другой случай.

  • Не нужно, если

    Нужны персональные данные людей (контакты, профили) без их согласия

    Что сделать вместо этогоНе берусь. Собирать персональные данные можно только при законном основании, а для рассылок и баз контактов его чаще всего нет.

  • Не нужно, если

    У источника есть официальный способ получить данные

    Что сделать вместо этогоСначала используйте его: выгрузка или API надёжнее, и не ломаются при смене вёрстки.

  • Не нужно, если

    Данные нужны один раз и с одной страницы

    Что сделать вместо этогоДешевле собрать вручную или взять готовый сервис. Парсер окупается, когда сбор повторяется или страниц много.

  • Не нужно, если

    Хотите копировать чужие тексты и фото для публикации у себя

    Что сделать вместо этогоНе делаю: на такие материалы есть авторские права.

  • Не нужно, если

    Источник специально защищён от автоматического сбора

    Что сделать вместо этогоОбход защиты не делаю. Поищем официальный способ или другой источник.

Если ваш случай среди этих, скажу об этом на бесплатном разборе. Вы ничего не заплатите и не потеряете время на ненужный проект.

Кто делает

Один исполнитель

Один человек, который отвечает за результат.

Я сам разбираю вашу задачу, сам пишу код и сам отвечаю за результат. Между вами и кодом нет менеджеров и передачи задач по цепочке, поэтому ничего не теряется по дороге от заказчика к программисту.

Работаю с ИИ как с инструментом: он ускоряет разработку, а ответственность за качество остаётся на мне.

Один исполнитель — это ещё и риск: а если с ним что-то случится? Поэтому я веду документацию и передаю вам код и доступы, чтобы систему мог подхватить другой разработчик.

Если проект больше, чем один человек сделает в разумный срок, скажу об этом сразу и предложу разбить его на этапы.

Эльнар Талипов, разработчик talipov.bz
Эльнар Талипов / разработчикРазбираю задачу, пишу код и отвечаю за результат сам

Elnar Talipov

Разработчик Web-решений

Telegram · MAX

Ответ в тот же день

Оплата этапами

Обо мне на главной →

Прямая связь

Пишете мне напрямую в Telegram или MAX, без менеджера и очереди.

Ответ в тот же день

На первое сообщение отвечаю в тот же день.

Одна ответственность

За сроки, качество и результат отвечает один человек, а не «отдел».

Вопросы и ответы

Не нашли свой, напишите

Вопросы, которые задают перед заказом.

01 Законно ли собирать данные с сайтов? Законность

Это зависит от того, какие данные, откуда и для чего. Открытые данные без персональной информации, собранные для себя и без обхода защиты, чаще всего допустимы. Закрытые разделы, персональные данные без основания и копирование чужих материалов для публикации нет. Я проверяю источник до начала работы и говорю об этом заранее. Это общая информация, а не юридическая консультация.

02 Сколько стоит парсер? Цена

Разовая выгрузка с одного источника от 30 000 ₽, регулярный сбор по расписанию от 60 000 ₽, мониторинг с отчётами и подключением к 1С от 120 000 ₽ по смете. Точную цену называю после бесплатного разбора и записываю в договор вместе со сроком.

03 Что нужно, чтобы начать? Старт

Напишите, с каких сайтов и какие данные нужны, как часто и куда их складывать. Ссылки и пример нужного результата помогут. Остальное выясним на разборе.

04 Что будет, если сайт изменится? Изменения

Парсер проверяет, что нашёл ожидаемые поля. Если сайт изменился и поля пропали, парсер останавливается и сообщает вам, а пустые данные не записывает. Подстроить его можно по поддержке или по часам.

05 Могут ли заблокировать парсер? Блокировки

Я держу нагрузку на чужой сайт низкой и делаю паузы между запросами. Защиту сайта не обхожу. Если сайт всё равно ограничивает доступ, я сообщу вам и мы поищем другой способ.

06 Можно ли собирать данные с маркетплейсов? Маркетплейсы

Публичные страницы товаров собирать обычно можно, но у маркетплейсов есть правила и ограничения. У многих есть официальный способ для продавцов. Проверим его на разборе: если он закрывает вашу задачу, лучше использовать его.

07 Что с персональными данными? Данные

Персональные данные (ФИО, телефоны, почты, фото) я без законного основания и ясной цели не собираю. Если они нужны, обсуждаем на разборе, зачем и можно ли обойтись без них. Работаю с учётом требований 152-ФЗ.

08 В каком виде будут данные? Формат

В таблице (Excel или Google Таблицы), в файле, в вашей учётной программе, на странице с отчётом. Формат выбираем на разборе.

09 Как часто можно собирать? Частота

От одного раза до нескольких раз в час. Частота зависит от источника: слишком частые запросы создают нагрузку на чужой сайт, поэтому её согласуем.

10 Сколько длится разработка? Срок

Разовая выгрузка 3–7 дней, регулярный сбор 2–3 недели, мониторинг по смете. Срок записывается в договор.

11 Кому принадлежит парсер? Права

Вам. Исходный код, доступ к серверу и ключи оформлены на вас с первого дня, платы за каждого пользователя нет.

12 Чем это отличается от готовых сервисов парсинга? Готовое

Готовый сервис дешевле, если он закрывает вашу задачу. Свой парсер нужен, когда готовый не умеет нужного источника или полей, или когда нужно подключение к вашим программам. Скажу об этом на бесплатном разборе.

13 Что после запуска и гарантии? Гарантия

3 месяца бесплатных исправлений ошибок, критичные разбираю в тот же рабочий день. Дальше поддержка от 15 000 ₽ в месяц или доработки от 3 000 ₽ в час.

Материалы раздела