Пантеон: Создание RSS-ленты из любой веб-страницы и мониторинг новинок

Технические данные

Совместимые редакции

• Программа для ЭВМ "1С-Битрикс: Управление сайтом". Лицензия Старт
• Программа для ЭВМ "1С-Битрикс: Управление сайтом". Лицензия Стандарт
• Программа для ЭВМ "1С-Битрикс: Управление сайтом". Лицензия Малый бизнес
• Программа для ЭВМ "1С-Битрикс: Управление сайтом". Лицензия Бизнес

Описание

Модуль делает RSS-ленту из любой страницы, у которой нет своего RSS: каталога конкурента, новостей поставщика, отраслевого сайта. Как только там появляется новинка или важная новость, вы быстро узнаёте об этом: модуль сам проверяет страницу по расписанию, хоть каждые 15 минут, и сразу присылает уведомление, а новинки видны в гаджете на рабочем столе админки. Ленту вы строите в визуальном конструкторе: модуль сам находит на странице записи и их поля — название, цену, картинку, ссылку, — а неверное поле правится одним кликом. Несколько лент можно объединить в одну, а превью новых записей — импортировать в гаджет или в инфоблок.




Бизнесу важно первым узнавать, что конкурент выложил новинку, поставщик объявил о поступлении, а в отрасли вышла важная новость. Но у таких сайтов почти никогда нет RSS, и кто-то каждый день открывает десяток сайтов и ищет глазами, что появилось. Новинку замечают через день-два, когда реагировать уже поздно.

Модуль превращает любую такую страницу в ленту и дальше работает сам: проверяет её по расписанию и, как только появляется новая запись, сразу сообщает о ней. Вы узнаёте о новинке в тот же час и успеваете отреагировать: добавить товар в свой каталог, ответить акцией, связаться с поставщиком.




Покажем на примере: компания хочет первой узнавать о важных новостях поставщика — поступлениях, переносах поставок, новых условиях.

1. Укажите страницу. «Сервисы → Пантеон → Конструктор RSS-лент → Добавить ленту». Впишите название ленты и адрес страницы со списком товаров или новостей.



2. Нажмите «Определить автоматически». Страница откроется прямо в админке. Модуль найдёт повторяющиеся записи — здесь 7 новостей — и сам отметит в них заголовок, анонс, картинку, ссылку и дату. Итог — в зелёной плашке под кнопкой. Записи обводятся пунктиром, найденные поля подсвечиваются, на кнопках полей появляются галочки.



3. Поправьте поле кликом. Если поле не нашлось или нашлось не то, нажмите его кнопку и кликните нужный элемент у любой одной записи. Лишнее поле снимается крестиком на его кнопке. Подсказка под кнопками говорит, по чему кликнуть. Такие же элементы в остальных записях модуль найдёт сам. Знать HTML и XPath не нужно.



4. Уточните, что брать. В таблице под конструктором для каждого поля видно выражение и источник значения: текст, адрес ссылки, адрес картинки или атрибут. Тем, кто знает XPath, выражения доступны для ручной правки.



5. Проверьте предпросмотр и сохраните. Предпросмотр показывает ленту ещё до сохранения: заголовок, анонс, картинка, ссылка и дата каждой записи. После сохранения у ленты есть постоянный адрес и гаджет для рабочего стола.




У каждой ленты включён мониторинг: модуль сам проверяет страницу по расписанию — хоть каждые 15 минут, можно задать рабочее время и дни недели. Как только на странице появилась новая запись — товар, новость, тендер, — модуль её замечает и сразу сообщает. Первая проверка молча запоминает всё, что уже есть, поэтому вы не получите сразу двадцать «новинок»: уведомления придут только о том, что появится позже. Если сайт перестал открываться или сменил вёрстку, модуль предупредит и об этом.






О каждой новинке модуль пишет на почту или отправляет её на вебхук — в CRM, свой скрипт или сервис автоматизации. Уведомление уходит сразу после проверки, которая нашла новую запись, и ведёт прямо на неё. Так выглядит настоящее письмо модуля, когда поставщик опубликовал важную новость:




Сборная лента объединяет несколько лент в одну: например, новости поставщика, новинки производителя и новости отрасли. Отметьте в её форме ленты-источники — и получите одну ссылку и один гаджет на всех. Записи идут вместе, новые сверху, одинаковые ссылки из разных лент выводятся один раз, у каждой записи видно, из какой она ленты.






Гаджет показывает ленту или сборную ленту прямо на рабочем столе админки: название, картинку и описание. Режим «Только новинки» оставляет только новые записи. Открыли Битрикс — и сразу видно, что нового у поставщиков, конкурентов и в отрасли, сайты открывать не нужно.




Все записи, которые модуль видел, собраны на одной странице: когда появилась, в какой ленте и ссылка на первоисточник. Фильтры по периоду, ленте, сборной ленте и тегу, колонка «Новая», выгрузка в Excel.




Если вы знаете онлайн-сервис PolitePaul.com (раньше PolitePol.com), модуль решает ту же задачу — делает RSS-ленту из страницы без RSS. Но работает он не во внешнем сервисе, а в админке вашего сайта на 1С-Битрикс. Отсюда преимущества:

• всё в Битриксе — ленты на рабочем столе админки и на странице «История записей», без отдельной учётной записи;
  
• без подписки и тарифов — модуль покупается один раз, число лент не ограничено;
  
• проверка от 15 минут — с окном по времени и днями недели;
  
• уведомления о новинках — на почту или вебхук в CRM и сервисы автоматизации;
  
• сборные ленты — несколько лент в одну ссылку и один гаджет;
  
• импорт в гаджет или в инфоблок — превью новых записей со ссылкой на первоисточник.
  

	Три формата ленты
	RSS 2.0 с картинками, Atom 1.0 и JSON Feed 1.1 по постоянной ссылке с секретным ключом. Подписывайтесь в любой RSS-читалке или подключайте к сервисам автоматизации.
	Фильтры по словам
	Слова, которые должны быть в записи, и слова, которые её исключают. Например, только «тендер» и «закупка», без «архив».
	Импорт в гаджет или в инфоблок
	Модуль берёт превью записи — название, картинку, анонс и ссылку, полный текст со страницы записи не загружается. Превью показываются в гаджете на рабочем столе или становятся элементами инфоблока со ссылкой на первоисточник: по умолчанию неактивными, до проверки менеджером. Дубли не создаются.
	Контроль источника
	Если сайт-источник перестал открываться или сменил вёрстку, модуль сообщит о поломке и о восстановлении. Над списком лент — плашка «Новые записи не приходят».
	Изменения в записях
	Отметьте у поля галочку «Следить» — модуль сообщит, если у уже опубликованной записи поменялось значение, например цена: «было → стало».
	Сложные источники
	Выбор User-Agent и языка страницы, картинки с отложенной загрузкой, прокси для сайтов, которые не пускают IP хостинга: общий или свой у каждой ленты.
	Теги и права
	Теги группируют ленты в списке. Права выдаются группам пользователей: просмотр лент или полный доступ, быть администратором не обязательно.
	Для разработчиков
	Вебхук с JSON и подписью HMAC-SHA256, семь событий D7: можно поправить записи, отменить уведомление или импорт, передать новинки в свою систему.

	Изолированный конструктор
	Чужая страница открывается в изолированной рамке, её скрипты по умолчанию выключены. Работать в конструкторе можно сотрудникам без прав администратора.
	Бережно к источнику
	Пауза между запросами к одному сайту, кеш ленты, учёт robots.txt по желанию. Ленту можно поставить на паузу.
	Ленты не попадут в поиск
	Адрес ленты содержит секретный ключ, все ответы идут с X-Robots-Tag: noindex. Если адрес попал не туда, его можно перевыпустить.
	Всё на вашем сервере
	Внешние сервисы, ключи и подписки не нужны: страницы загружает и ленты собирает сам сайт.

	PHP 8.1 или новее
	Обязательны расширения DOM и mbstring, главный модуль 20.5.400 или новее. Установщик проверит всё сам и подскажет, чего не хватает.
	cURL и XMLWriter — желательны
	На штатной BitrixVM эти расширения PHP выключены — модуль всё равно установится и будет работать в упрощённом режиме: страницы загружаются через HTTP-клиент Битрикса, ленты собираются и проверяются как обычно. Недоступны только SOCKS- и HTTPS-прокси и сайты, доступные лишь по IPv6. Над списком лент модуль подскажет, что включить, а после включения переключится сам.
	Cron — для точного расписания
	Проверки запускает агент Битрикса на посещениях сайта. Если посещений мало, добавьте в системный crontab готовую строку из настроек модуля — тогда проверки идут строго по расписанию. Над списком лент видно, когда был последний запуск: «агентом Битрикса» или «через cron».
	MySQL или MariaDB, кодировка UTF-8
	На версии Битрикса для PostgreSQL и на сайте в windows-1251 модуль не устанавливается. Для импорта нужен модуль «Информационные блоки».
	Записи должны быть в исходном коде
	Модуль читает HTML страницы без браузера. Откройте страницу и нажмите Ctrl+U: если записи видны в исходном коде, модуль их прочитает. Лента собирается с одной страницы, без перехода по пагинации и на детальные страницы.
	Защита от роботов
	Сайты за Cloudflare и похожими сервисами могут ответить 403. Иногда помогают другой User-Agent или прокси, но гарантии нет. Страницы за авторизацией не поддерживаются.
	Пробный период
	Работают все возможности, но лент можно создать не больше двух; сборные ленты не ограничены. У купленного модуля ограничения нет.

Подробная документация с картинками к каждой настройке, быстрый старт за 10 минут и готовые сценарии — на сайте разработчика.