Кричащая лягушка SEO Spider

1. Что такое кричащая лягушка SEO Spider?
2. Особенности (Платная версия)
3. Польза для SEO
4. функции режима
5. Конфигурация режима сканирования
6. Отчеты
7. Доступные отчеты
8. 🔥 Советы SEO-паука
9. Найти не сканируемые URL
10. Получить неиндексируемые URL-адреса
11. Обнаружить ошибку клиента (4xx)
12. Не перехватывать / сканировать канонизированные URL
13. Откройте для себя небезопасный контент
14. Оптимизировать фрагменты SERP
15. Интеграция внешних сервисов через API
16. Получить бесхозные URL
17. Сканирование тестовой среды
18. Используйте внутренний поиск
19. Примечание Включить и исключить фильтры
20. Использовать пользовательский фильтр извлечения
21. Точно сканировать список URL (List-Mode)
22. Более Кричащие лягушки SEO Советы

17 апреля 2019 г.

Вы хотите знать, как Google видит ваш сайт или ваш интернет-магазин? Это возможно с помощью Screaming Frog SEO Spider - и Spider Tool может сделать гораздо больше. Теперь узнайте, какие данные и конфигурации предлагает Screaming Frog и с какими хитростями добивается глубокого SEO-аудита .

Что такое кричащая лягушка SEO Spider?

Screaming Frog SEO Spider - это настольное программное обеспечение для проведения глубоких SEO-проверок на веб-сайтах и ​​в интернет-магазинах. Программное обеспечение Spider бесплатно https://www.screamingfrog.co.uk/seo-spider/ Загружаемый для Windows, MacOS и Ubuntu. Платная версия за 149,00 фунтов стерлингов (около 173,00 евро) в год, однако, предлагает значительно больше опций конфигурации, сообщает и повышает лимит сканирования.

Screaming Frog предлагается для разных систем

Особенности (Платная версия)

целевые группы

В частности, технически подкованные поисковые оптимизаторы и веб-разработчики могут использовать Spider Tool для создания разнообразных способов проведения углубленного аудита на месте. Но даже веб-мастер небольшого веб-сайта или внутренний менеджер по социальным сетям получат отличный инструмент с Screaming Frog.

По сравнению с инструментами онлайн-пауков (Audisto, Deepcrawl, Ryte, ...) Screaming Frog пока не предлагает четких панелей инструментов, с рекомендациями для действий в случае необходимости. Большая часть данных сканирования предоставляется Screaming Frog в табличной форме. Столбцы могут быть показаны или скрыты, сортировка может быть изменена, и все данные могут быть экспортированы. Если этого достаточно, и для кого данные являются наиболее важным требованием, Screaming Frog это оценит.

Если вы используете Screaming Frog и хотите сканировать большие веб-сайты (> 500 000 URL-адресов), вам нужна высокопроизводительная система, поскольку программное обеспечение устанавливается локально и может заметно генерировать нагрузку на систему во время большого сканирования. Хотя данные обхода также могут быть записаны на жесткий диск (хранилище базы данных) с небольшим объемом оперативной памяти , они должны иметь короткое время загрузки и хранения, в идеале - SSD. Так что это может быть недостатком по сравнению с инструментами онлайн-пауков, где вам не нужно беспокоиться о системных ресурсах. Я использую 16 ГБ оперативной памяти и SSD для записи данных. Это делает сканирование больших сайтов и магазинов без проблем.

Конфигурация памяти и настройки режима хранения // Screaming Frog SEO Spider

Польза для SEO

«Кричащая лягушка» - один из наиболее часто используемых инструментов в моей повседневной работе по поисковой оптимизации, помимо Sistrix Toolbox , Чтобы убедить не только в управляемых затратах на лицензию платной версии (149,00 фунтов стерлингов в год, около 173,00 евро), но и в многочисленных вариантах конфигурации и вариантах экспорта. Конечно, я также использую другие инструменты паука по мере необходимости, такие как Audisto. Но ни один из этих инструментов не предлагает такие функции, как Screaming Frog SEO Spider. Правильно настроенные веб-сайты и интернет-магазины можно сканировать с несколькими миллионами URL.

На следующем снимке экрана показано, какой охват сети можно увеличить с помощью оптимизации на месте с помощью Screaming Frog . Мне удалось удвоить количество пользователей (Google Analytics) для сайта всего за пять месяцев. 🚀

Google Analytics: увеличение пользователей

функции режима

В первом приложении вы обычно задаетесь вопросом, как работает Screaming Frog SEO Spider. Программное обеспечение предлагает три различных режима для различных анализов. 90 процентов меня используют режим сканирования.

Меню режима для выбора функций анализа Режим Описание Режим сканирования Самая популярная функция в Screaming Frog SEO Spider - это режим сканирования. Это устанавливает URL в качестве отправной точки для сканирования. Обычно это домашняя страница сайта. Программное обеспечение отслеживает этот URL-адрес и следует по ссылкам в исходном коде HTML в соответствии с выбранной конфигурацией сканирования. Собранные данные представлены в виде таблиц и диаграмм. Режим списка В режиме списка можно сканировать список URL. URL-адреса импортируются как файл Excel или вставляются из буфера обмена. Например, коды состояния HTTP могут быть определены быстро и легко. Режим SERP Режим SERP дает возможность оценить длину заголовка страницы и описание страницы. Оба метатега являются важными компонентами SERP Snippet , В этом режиме сканирование не выполняется. Заголовки страниц и описания страниц импортируются в Screaming Frog через файл Excel. С помощью режима SERP можно легко оценить оптимизацию: заголовки страниц и описания страниц HTML-страниц, определенные при сканировании (режим сканирования), можно экспортировать и оптимизировать с помощью Excel. Импортируя эту таблицу (требуемые заголовки: «URL», «Заголовок», «Описание») в «Кричащую лягушку», изменения можно проверить в режиме реального времени перед переходом на Go. Процедура подходит для массовой обработки в Excel нескольких тысяч строк.

Конфигурация режима сканирования

Ниже я представлю наиболее важные функции конфигурации для Spreaming Frog SEO Spider, которые необходимо выполнить для SEO-аудита веб-сайта в режиме сканирования .

Меню конфигурации для точной настройки требований сканирования Конфигурация Описание Spider Меню конфигурации SEO Spider обширное и мощное. В базовых настройках поведение сканера в основном настроено. Настройки лимита ограничивают сканирование. Настройки рендеринга используются для выбора технологии Spider и Spider. (Рекомендация: JavaScript для мобильного смартфона Googlebot). На вкладке «Дополнительно» особенно технически подкованные оптимизаторы находят важные способы настройки поведения сканирования. Наконец, на вкладке «Настройки» можно выбрать различные стандартизации для заголовка страницы, мета-описания, заголовков и атрибутов изображения. Robots.txt Здесь пользователь имеет возможность игнорировать инструкции файла robots.txt на веб-сервере или определить, как данные об исключенных ресурсах должны отображаться в отчетах Screaming Frog. Опция может заключаться в создании временного файла robots.txt для сканирования, игнорируя инструкции на веб-сервере. (Подробности ниже) CDN Если различные ресурсы (например, изображения) интегрированы через CDN, список поддоменов и каталогов может быть записан так, чтобы эти ресурсы могли быть захвачены во время сканирования. Включить Регулярные выражения могут быть определены здесь для URL, которые будут учитываться при сканировании. Исключить Регулярные выражения для отрицательных URL можно установить здесь. Например, если вы хотите исключить все URL-адреса с символом # при сканировании, вы можете сделать это с помощью регулярного выражения:. * #. * Speed Эти параметры настраивают скорость сканирования паука. В основном я сканирую 3 темы с лимитом URL 2.0. Благодаря высокопроизводительному веб-серверу я увеличиваю скорость. Пользовательский поиск - это простая функция поиска в исходном коде HTML-страниц. Таким образом, можно установить простые регулярные выражения - например, для вывода, на каких HTML-страницах в исходном коде встречается термин «оглавление». С другой стороны, параметры извлечения очень мощные, потому что их можно использовать для создания частично сложных фильтров. Больше информации в моем блоге: Пользовательский фильтр извлечения XPath с Screaming Frog , API Access Screaming Frog предоставляет способы получения URL-данных от различных сервисов через API и разлива URL-адресов. Я часто использую эту функцию после повторного запуска для запроса данных Google Analytics и Search Console. Система Эти параметры особенно полезны для сканирования больших веб-сайтов и магазинов при сканировании 500 000+ URL-адресов. Под «Память» и «Память» могут быть установлены системные настройки.

Отчеты

После завершения сканирования собранные данные можно экспортировать. Самый простой способ их экспорта - это фильтр обзора (выделен оранжевым на скриншоте). Просто нажмите «Экспорт» (красная рамка), чтобы сохранить данные таблицы.

Функция экспорта таблицы данных из требуемого обзорного фильтра

Кроме того, Screaming Frog предлагает готовые отчеты. Их можно выбрать, выбрав в главном меню в разделе «Отчеты». Экспорт данных осуществляется в виде файла CSV, XLS или XLSX.

Меню «Отчеты» предлагает множество предопределенных параметров экспорта

Доступные отчеты

• Обзор сканирования
• переадресовывать И канонические цепи
• Неиндексируемые канонические
• пагинация
• Не-200 страниц пагинации
• Несвязанные URL-адреса нумерации страниц
• HREF долго
• Все URL-адреса hreflang
• Не-200 hreflang URL
• Несвязанные URL-адреса hreflang
• Недостающие ссылки для подтверждения
• Несовместимые ссылки подтверждения языка и региона
• Не канонические ссылки для подтверждения
• Noindex Подтверждение Ссылки
• Небезопасный контент
• Резюме SERP
• Страницы сирот
• Структурированные данные
• Сводка ошибок и предупреждений валидации
• Ошибки валидации и предупреждения

Массовый экспорт

Как и в отчетах, для дальнейшей обработки данных обхода в Excel или другой программе (Apple Numbers) можно создавать различные предопределенные массовые экспорты. Массовый экспорт можно получить из главного меню в разделе Массовый экспорт.

Массовое меню экспорта для массового экспорта различных данных

🔥 Советы SEO-паука

Здесь я предоставляю полезные советы и рекомендации для Screaming Frog, чтобы действительно получить все из инструмента Spider. SEO советы относятся к моде сканирования .

Найти не сканируемые URL

Каждый профессиональный SEO-аудит проверяет возможность сканирования внутренних URL-адресов. Поэтому перед сканированием сайта я рекомендую вам выбрать конфигурацию, которая учитывает операторы robots.txt: «Конфигурация»> «robots.txt»> «Настройки»> « Показать внутренние URL-адреса, заблокированные robots.txt ». Соответствующие URL-адреса задокументированы в обзорном фильтре «Коды ответов»> «Заблокирован Robots.txt», включая инструкцию («Строка: ...»). Неправильные конфигурации могут быть разоблачены так быстро.

Определите URL-адреса, заблокированные инструкциями robots.txt

Одним из советов является инструмент настройки пользовательских роботов, который находится в разделе «Конфигурация»> «robots.txt»> «Пользовательский» Это может быть использовано для различных тестов:

1. Загрузите файл robots.txt с веб-сервера и временно измените его, чтобы выполнить обход «что, если».
2. Загрузите файл robots.txt с веб-сервера, проверьте URL-адрес и определите, какие операторы его блокируют. Никакого сканирования для этого не требуется.

Пользовательский инструмент настройки роботов для тестирования на сканирование

Получить неиндексируемые URL-адреса

Все просматриваемые URL-адреса должны быть проанализированы в ходе аудита SEO на предмет их индексируемости, чтобы определить, исключены ли важные HTML-страницы из индексации из-за технических ошибок (метатег роботов / канонический тег). Эти данные могут быть легко определены в режиме сканирования. В обзорном фильтре «Внутренний»> «HTML» я рекомендую следующие столбцы:

1. адрес
2. Код состояния
3. статус
4. Индекс Возможность
5. Индексируемость
6. Мета роботы
7. Каноническая ссылка

На основе этих данных для каждой строки URL-адреса получают информацию о том, индексируется ли HTML-страница или нет. Прежде всего, все строки, которые не имеют значения «200» в ячейке «Код состояния», игнорируются. Столбец «Индексируемость» информирует об индексируемости URL: «Неиндексируемые» URL должны быть оценены, почему они не индексируются. Это делается через столбцы «Meta Robots» (noindex set?) И «Canonical Link Element» (какой другой URL предпочтителен?).

Проанализировать индексируемость HTML-страниц

Столбцы таблицы можно активировать / деактивировать, нажав на символ «+» (красная рамка на скриншоте). Порядок столбцов также можно настроить индивидуально.

Выберите столбцы таблицы в обзорном фильтре

Обнаружить ошибку клиента (4xx)

Фильтр обзора «Ошибка клиента (4xx)» в разделе «Коды ответов» перечисляет все недоступные URL-адреса и генерирует код состояния HTTP 4xx . На этих страницах показатель отказов очень высок. Поэтому всегда следует избегать внутренних ошибок компоновки. Каждый обход должен анализировать эти данные и исправлять ошибки.

На вкладке «Inlinks» (нижняя горизонтальная вкладка навигации) содержится важная информация о 404 URL. Вы узнаете, какого типа ссылка на неисправный URL, с каких сторон этот URL связан и, если необходимо, текст ссылки , Вы можете очень хорошо работать с этим.

Ошибка клиента (4xx) - обнаружение недоступных URL-адресов

Не перехватывать / сканировать канонизированные URL

Когда просматриваются большие веб-сайты, а таблицы данных предоставляют только наиболее важную информацию, функция Screaming Frog помогает Respect Canonical - через главное меню> «Конфигурация»> «Паук»> «Дополнительно». Если флажок снят, теги Canonical аннулируют URL-адреса Canonicalized в Screaming Frog. Особенно в системах магазинов, которые генерируют множество параметров Get и обесценивают их с помощью Canonicals, вы экономите много строк в экспорте.

Соблюдайте каноническую особенность Screaming Frog

Если известны параметры Get на веб-сайте или в онлайн-магазине, которые не нужно сканировать из-за тегов Canonical, рекомендуется использовать функцию перезаписи URL . (Основная навигация> «Конфигурация»> «Перезапись URL»> «Удалить параметры») Каждая строка может записывать параметр, который Spider Frog должен игнорировать при сканировании. Примером этого является параметр «? C =», который часто встречается в системе магазинов Shopware. Если эти URL-адреса не фиксируются при паутинге, то необходимо указать только «c».

Перезапись URL - удаление параметров

Откройте для себя небезопасный контент

Следует знать, что HTTPS сегодня является стандартом для каждого веб-сайта. Screaming Frog предоставляет фильтр для определения URL-адресов, которые не связаны внутренне через HTTPS и должны быть исправлены. Этот фильтр находится в разделе «Элементы SEO»> «Протокол»> «HTTP».

Обнаружение внутренних ссылок без HTTPS

Кроме того, вы также можете выбрать «Отчеты» и «Небезопасный контент» в главном меню. Экспортный файл можно открыть в Excel и перечислить все URL без HTTPS.

Начиная с версии 11, Screaming Frog читает структурированные данные . Эти фильтры интересны, когда технический и веб-уровень оптимизации сайта высок, нет внутренних ошибок, оптимизируются заголовок страницы, описание страницы, заголовки и изображения, и, конечно же, оптимизируется логика индексации. Я бы предпочел не иметь дело с этим, если не будет массивных ошибок.

Фильтры обзора можно найти в разделе «Элементы SEO»> «Структурированные данные». Существующие структурные данные могут быть оценены, но также могут быть определены страницы без структурных данных. Особенно полезны фильтры для выявления ошибок валидации. Предупреждения также задокументированы.

Анализировать и проверять структурированные данные

Оптимизировать фрагменты SERP

Отрывки SERP являются первой точкой контакта с пользователем поисковой системы. Поэтому важные страницы должны иметь оптимальный заголовок и описание. С помощью Screaming Frog эти данные могут быть оценены. Мне нравится использовать обзорный фильтр «Элементы SEO»> «Коды ответов»> «Успех (2xx)». Данные сортируются по убыванию в соответствии с «Inlinks», так что я работаю с наиболее связанных страниц вниз.

В нижней вкладке навигация находится под " SERP Snippet " Инструмент фрагмента SERP, который можно использовать для оценки заголовка страницы и описания страницы HTML-страницы. Вы можете временно повозиться с лучшим фрагментом SERP и протестировать различные варианты.

С помощью инструмента сниппета SERP можно протестировать различные оптимизации

Интеграция внешних сервисов через API

Screaming Frog может сканировать дополнительные данные через API из различных служб, в настоящее время: Google Analytics, Search Console, Majestic, Ahrefs, Mozcape . Для каждой услуги желаемой услуги должны быть введены существующие данные для входа. Затем выбираются показатели, и данные автоматически включаются в сканирование. Я считаю, что обзор данных Google Analytics особенно полезен. Например, после повторного запуска могут быть определены коды состояния HTTP верхних страниц. Точно так же вы можете использовать данные консоли поиска для недоступных страниц или Страницы сирот определить.

Интегрируйте и сканируйте важные внешние URL-адреса служб через API

Получить бесхозные URL

Бесхозные URL-адреса (потерянные страницы) в поисковой оптимизации - это веб-сайты, которые не могут быть найдены поисковыми роботами из-за плохих внутренних ссылок и не могут быть обработаны. С помощью Screaming Frog SEO Spider могут быть раскрыты бесхозные URL-адреса. Это требует использования API Google Analytics или API консоли поиска, а также анализа сканирования после его завершения. Некоторые фильтры требуют отдельного анализа сканирования для расчета метрик, таких как бесхозные URL-адреса.

Во-первых, необходимо выполнить сканирование сайта или каталога. Требуется подключение к Google Analytics или API консоли поиска. После завершения сканирования нажмите «Анализ сканирования»> «Настроить» в главной навигации и убедитесь, что «Потерянные URL-адреса» включены для Analytics и Консоли поиска.

Конфигурация анализа сканирования

Теперь анализ активируется через «Crawl Analysis»> «Start». После завершения расчета данные будут доступны в Фильтре обзора в разделе «Элементы SEO»> «Аналитика»> «Несвязанные URL» или «Элементы SEO»> «Консоль поиска»> «Несвязанные URL».

Определите бесхозные URL-адреса с помощью анализа сканирования

Сканирование тестовой среды

Простой трюк - это сканирование защищенных паролем тестовых сред .htaccess. В главном меню выберите «Конфигурация»> «Аутентификация» и установите галочку на вкладке «Стандарты». Как только сканирование начинается, Screaming Frog запрашивает данные проверки.

Включить аутентификацию для сканирования защищенных тестовых сред Требуется аутентификация: введите данные доступа

Используйте внутренний поиск

Функция внутреннего поиска - мощная функция Screaming Frog. Здесь вы можете искать общие данные, например, все адреса, которые имеют определенный термин. Даже регулярные выражения могут быть использованы в поле поиска - несколько примеров:

Регулярное выражение Функция hook .html $ Address Все URL-адреса, заканчивающиеся на «.html» (? I) LTE (? - i) Address Все URL-адреса с регулярным выражением «LTE» (заглавные буквы) ^ 4 Код состояния Все URL-адреса, чьи Код состояния начинается с «4» Внутренняя функция поиска Screaming Frog

Примечание Включить и исключить фильтры

Фильтры включения всегда полезны при сканировании определенных частей веб-сайта. Например, предположим, что веб-сайт развернут на нескольких языках. Каждая языковая версия находится в каталоге (например, «/ DE /» и «/ en /» и «/ fr /»). Если необходимо проверить только версию сайта на определенном языке, перед сканированием можно включить фильтр включения - например, для «/ de /».

Включить фильтр для сканирования

Напротив, фильтры исключения также могут быть определены для обхода, так что определенные URL-адреса игнорируются во время обхода. В моем примере PDF-файлы игнорируются (. *. Pdf). Можно исключить несколько исключений. Для каждой строки отмечен фильтр исключения.

Исключить фильтр для сканирования

Использовать пользовательский фильтр извлечения

Пользовательский фильтр извлечения можно использовать для определения отдельных фильтров для обхода. Эта мощная функция находится в главном меню в разделе «Конфигурация»> «Пользовательский»> «Извлечение». Если вы технически подкованы, вы можете создать очень полезные фильтры для получения конкретных данных. В моем блоге Пользовательский фильтр извлечения XPath с Screaming Frog Я документирую много примеров XPath, чтобы попробовать.

Пользовательские фильтры извлечения могут быть использованы для создания отдельных фильтров данных

Результаты документируются в обзорном фильтре «Пользовательский»> «Извлечение». Эти данные могут быть экспортированы и отредактированы в Excel.

Определенные пользовательские фильтры извлечения можно проанализировать в обзорном фильтре.

Точно сканировать список URL (List-Mode)

Если вы хотите сканировать список URL-адресов, который сканирует только указанные URL-адреса, то поможет следующий совет:

1. Выберите режим списка
2. Файл> Конфигурация> Очистить конфигурацию по умолчанию
3. Выберите «Загрузить» и загрузить список URL или вставить из буфера обмена
4. начало

Более Кричащие лягушки SEO Советы

Создатели «Кричащей лягушки» узнали об этом посте и рекомендуют его. Было бы здорово, если бы вы также поделились этим постом в своей сети, чтобы больше читателей заметили.

отлично @screamingfrog SEO Spider руководство и обзор (на английском языке) - https://t.co/PcP71UgCX1 от @Jens_Froehlich

- Кричащая Лягушка (@screamingfrog) 10 апреля 2019 г.

Кричащая лягушка SEO Spider

Похожие

Комментарии