Как с помощью Screaming Frog спарсить раздел или категорию сайта

Как с помощью Screaming Frog спарсить раздел или категорию сайта

К сожалению, по данному запросу в интернете я не нашел ничего полезного и мне самому пришлось искать ответ на данный вопрос. Через 10 минут копания в настройках Screaming Frog я все-таки нашел решение своей задачи – мне нужно было спарсить не все URL сайта, а только определенную категорию. Читайте ниже как я сделал это.

Я хотел вытащить все Title из веб-страниц определенной категории сайта. К счастью, у программы Screaming Frog очень широкие возможности и глубокие настройки.

1. Открываем программу, идем в меню Configuration -> Include:

Как с помощью Screaming Frog спарсить раздел или категорию сайта

2. В пояснявшимся окне вбиваем в текстовое поле путь к нужной директории, в конце после слэша нужно поставить точку и звездочку, пример:

Как с помощью Screaming Frog спарсить раздел или категорию сайта

Также вы можете указать .*название.* – но в таком случае будут искаться все страницы с данным названием в URL. Подробнее в официальной документации.

3. Нажимаем “ОК”. Таким образом программа спарсит все страницы только этой категории. Вбиваем свой домен в поле для поиска и жмем Start:

Как с помощью Screaming Frog спарсить раздел или категорию сайта

4. Вот что получилось на выходе:

Как с помощью Screaming Frog спарсить раздел или категорию сайта

Ву-аля, программа спарсила только содержимое определенной категории, что мне и нужно было! Теперь спокойно можно все это экспортировать в Excel и работать c данными – например, загрузить в сборщик позиций и мониторить динамику по данным запросам.

Вот так, одним простым движением удалось решить эту задачу.

Удачи, ребята!

голосов
Рейтинг статьи
Подписка на сайт KRV

Получайте регулярные обновления на почту!   


Author
Konrad Ravenstone/ автор статьи
Специалист по информационной и компьютерной безопасности. Системный интегратор, администратор. Занимаюсь комплексным обслуживанием веб-сайтов и IT инфраструктуры. Подробнее>>
Поделиться материалом в соцсетях:
KRV — IT блог о веб-технологиях, и не только
2 комментариев
Встроенные отзывы
Просмотреть все комментарии
Имран
Имран
1 год назад

Помогите парсить картинки с помощью screaming frog seo страницы товара к примеру https://shop.mts.ru/product/smartfon-apple-iphone-11-pro-max-64gb-temno-zelenyj

excel формате

Имран
Имран
1 год назад

Я пытаюсь это сделать через “Configuration/Custom/Extaction” что бы не скопировать лишнее.

http://prntscr.com/r3ocxc

http://prntscr.com/r3oec8

http://prntscr.com/r3odtl

2
0
Оставьте свой комментарийx
()
x