Лучшие практики для оптимизации вашего бюджета сканирования для SEO

В этом году все говорят о бюджете обхода. Но что это такое, почему это так важно и как вы можете оптимизировать его для поисковых систем?

Что такое бюджет обхода?

Проще говоря, бюджет сканирования - это воображаемое количество страниц, которые робот Google потратит, пытаясь просканировать и проиндексировать ваш сайт.

Если у вас есть веб-сайт с более чем 1000 URL-адресов и всего лишь несколькими обратными ссылками, есть вероятность, что робот Googlebot не будет сканировать весь ваш сайт на регулярной основе.

Конечно, вы можете отправить свой файл Sitemap и выполнить выборку в Google в своих инструментах Google для веб-мастеров, но если ваш веб-сайт слишком велик для профиля обратных ссылок, он не будет сканироваться так тщательно или регулярно, как хотелось бы.

Google обходится в Интернет и индексирует его. Так зачем им тратить время, деньги и ресурсы на борьбу за сканирование всего (и быстро растущего) интернета? Для них гораздо лучше просмотреть верхнюю часть вашего сайта, подобрать полезные материалы и перейти к следующему.

Это также можно считать важным требованием для Обновление Google «Качество» который был выпущен 3 мая.

Структура сайта

Это означает, что структура вашего сайта важнее, чем когда-либо прежде. Много лет назад, когда я был молодым SEO, я помню Мос «s Рэнд Фишкин дайте совет, чтобы удостовериться, что «пользователи никогда не будут больше чем на 3 клика от вашей домашней страницы».

Это отличный совет для оптимизаторов, пытающихся сканировать сайты. Это также прекрасный совет для удобства использования. Потому что ваши пользователи вряд ли будут очень глубоко копаться в веб-сайте.

Google часто копирует поведение пользователей, независимо от того, сканирует ли мета-заголовки ключевые слова слева направо или только регулярно посещает страницы верхнего уровня на веб-сайте. Поэтому мы всегда должны учитывать пользовательский опыт при оптимизации веб-сайтов для поисковых систем. Как это ни страшно звучит, но однажды они могут быть одним и тем же.

Так что, если у вас нет чистой, удобной для пользователя, удобной для поисковых систем навигации, сейчас самое время начать реструктуризацию вашего сайта.

Измерение бюджета обхода

Некоторые большие, древние веб-сайты представляют собой лабиринт взаимосвязанных глубоких страниц, узлов контента, разделов новостей, разделов блогов и неработающих страниц.

Чтобы продемонстрировать, вот скриншот от бухгалтерской фирмы веб-сайта, которая имеет безумное количество услуг и информационных страниц. Это только один полностью раскрывающийся выпадающий список из 9 основных навигационных путей.

Но поскольку веб-сайт такой большой, такой старый и имеет так много сотен тысяч обратных ссылок, у него больше маршрутов, чем у его конкурентов, что обеспечивает частое сканирование большинства его страниц.

Таким образом, мы можем предположить, что бюджет обхода веб-сайта примерно пропорционален количеству обратных ссылок, разделенному на количество страниц. Но, как и все, что связано с SEO, это не точная наука, когда у нас нет доступа ко всей информации Google.

Теперь все, что нам нужно сделать, это максимально использовать теоретический бюджет сканирования, который есть на наших сайтах.

Robots.txt - ваш лучший друг

Disallow: / *? *
Disallow: / *?

Эти две строки robots.txt помешали мне сойти с ума при проверке веб-сайтов клиентов. Это потому, что они блокируют любые URL с? в. Эти виды URL включают страницу с отфильтрованными результатами на веб-сайтах электронной коммерции, страницы с результатами внутреннего поиска и все виды мусора, который не нужно сканировать поисковым системам.

Если вы используете Screaming Frog для проверки сайтов ваших клиентов, вы можете перейти на вкладку «Конфигурация» и исключить эти типы страниц из сканирования Screaming Frog, добавив / *? * И / *?

Это должно помочь предотвратить сбой Screaming Frog от перегрузки данными, пока вы не сможете попросить разработчика обновить файл robots.txt.

Не следует

Я не могу вспомнить, где я это читал, но кто-то посоветовал вам не выполнять. Перейдите по внутренним ссылкам на страницы, которые вы не хотите сканировать, в дополнение к запрещению их в файле robots.txt.

Идея состоит в том, что в дополнение к блокированию этих URL-адресов в поисковых системах вы также говорите Google не указывать конечной странице входящую ссылку. Хотя это не говорит Google не использовать саму ссылку.

Но теоретически это может оказать существенное положительное влияние на веб-сайт электронной коммерции, который имеет большое количество ссылок на отфильтрованные страницы результатов.

Отбраковать ваш контент

В любом случае вы должны отбирать у Google Panda неэффективный контент, но если вы этого не сделаете, сейчас самое время сделать это ради экономии своего бюджета на обход.

В конце концов, если пользователи не посещают эти страницы и не входят в рейтинг поисковой выдачи, зачем вам робот Googlebot сканировать их?

301 Перенаправьте эти страницы на свою домашнюю страницу или на один уровень выше структуры сайта, если они имеют обратные ссылки. Вы можете проверить это в Majestic SEO, нажав на вкладку Страницы. Если они этого не делают, просто удалите их и все внутренние ссылки на них.

Помните, что сканеры должны следовать редиректам 301. Поэтому убедитесь, что все ваши внутренние ссылки в порядке. Ради скорости загрузки вашего сервера вы не хотите иметь тысячи 301 переадресаций в вашем файле htaccess, если вы тоже можете помочь.

Это особенно важно, если вы обнаружили, что отбрасываете посты в блогах за годы.

ЗАКЛЮЧЕНИЕ

В наши дни наличие скудного, быстро загружающегося веб-сайта кажется гораздо более эффективным, чем массивный веб-сайт с бесчисленными страницами, которые пытаются найти множество поисковых запросов с длинным хвостом.

Единственное, что вам нужно будет проверить перед тем, как вы начнете блокировать отфильтрованные страницы результатов из robots.txt, это то, действительно ли эти страницы получили трафик с поисковых систем.

У одного из моих клиентов есть большой старый сайт с огромным количеством обратных ссылок. В результате их бюджет обхода оказался бы довольно большим. Тем не менее, это также означает, что их отфильтрованные страницы результатов, похоже, захватывают много длинного хвоста поисковой системы.

Таким образом, передо мной стоит дилемма - оставить свой веб-сайт, чтобы сделать все возможное, очень тонко распределив бюджет сканирования или запретив отфильтрованные страницы результатов, и надеясь, что бюджет сканирования лучше использовать в категориях верхнего уровня.

Я решил позволить их сайту продолжать делать свое дело в настоящее время. Но это серьезные соображения, с которыми вы можете столкнуться.

Однако очень легко следовать чужому совету, не платя много. Но убедитесь, что вы проверили производительность своих страниц, прежде чем отбирать контент и не разрешать отфильтрованные страницы результатов в вашем файле robots.txt. Это может быть «делом» для SEO, но сейчас это может принести больше вреда, чем пользы, в зависимости от вашего клиента.

Желаем удачи и постарайтесь разумно потратить свой бюджет обхода!

Следующие две вкладки изменяют содержимое ниже.

Адам является техническим SEO-директором в Distinctly.co, небольшом британском агентстве по поисковому маркетингу с большими амбициями. Начав жизнь копирайтером, Адам открыл для себя SEO в 2010 году и никогда не оглядывался назад. Теперь он переносит свою страсть к английскому языку и на короткое время внимания, чтобы помочь клиентам создавать высоко привлекательные и оптимизированные веб-сайты, которые быстро загружаются, полны информации и невероятно удобны для поисковых систем для улучшения впечатлений в SERPS. И когда Адам не в меру своих подвигов в ревизиях и технических рекомендациях, его можно найти в своем чрезвычайно успешном блоге о хобби, который посещает более 1000 посетителей в день!

Похожие

Комментарии