Лучшие практики для оптимизации вашего бюджета сканирования для SEO

В <a target=_blank href='/post/ru/seo-te-kto-ne-v-garmonii-s-soboj-daze-s-fiziceskimi-simptomami.html'>этом году все говорят</a> о бюджете обхода В этом году все говорят о бюджете обхода. Но что это такое, почему это так важно и как вы можете оптимизировать его для поисковых систем?

Что такое бюджет обхода?

Проще говоря, бюджет сканирования - это воображаемое количество страниц, которые робот Google потратит, пытаясь просканировать и проиндексировать ваш сайт.

Если у вас есть веб-сайт с более чем 1000 URL-адресов и всего лишь несколькими обратными ссылками, есть вероятность, что робот Googlebot не будет сканировать весь ваш сайт на регулярной основе.

Конечно, вы можете отправить свой файл Sitemap и выполнить выборку в Google в своих инструментах Google для веб-мастеров, но если ваш веб-сайт слишком велик для профиля обратных ссылок, он не будет сканироваться так тщательно или регулярно, как хотелось бы.

Google обходится в Интернет и индексирует его. Так зачем им тратить время, деньги и ресурсы на борьбу за сканирование всего (и быстро растущего) интернета? Для них гораздо лучше просмотреть верхнюю часть вашего сайта, подобрать полезные материалы и перейти к следующему.

Это также можно считать важным требованием для Обновление Google «Качество» который был выпущен 3 мая.

Структура сайта

Это означает, что структура вашего сайта важнее, чем когда-либо прежде. Много лет назад, когда я был молодым SEO, я помню Мос «s Рэнд Фишкин дайте совет, чтобы удостовериться, что «пользователи никогда не будут больше чем на 3 клика от вашей домашней страницы».

Это отличный совет для оптимизаторов, пытающихся сканировать сайты. Это также прекрасный совет для удобства использования. Потому что ваши пользователи вряд ли будут очень глубоко копаться в веб-сайте.

Google часто копирует поведение пользователей, независимо от того, сканирует ли мета-заголовки ключевые слова слева направо или только регулярно посещает страницы верхнего уровня на веб-сайте. Поэтому мы всегда должны учитывать пользовательский опыт при оптимизации веб-сайтов для поисковых систем. Как это ни страшно звучит, но однажды они могут быть одним и тем же.

Так что, если у вас нет чистой, удобной для пользователя, удобной для поисковых систем навигации, сейчас самое время начать реструктуризацию вашего сайта.

Измерение бюджета обхода

Некоторые большие, древние веб-сайты представляют собой лабиринт взаимосвязанных глубоких страниц, узлов контента, разделов новостей, разделов блогов и неработающих страниц.

Чтобы продемонстрировать, вот скриншот от бухгалтерской фирмы веб-сайта, которая имеет безумное количество услуг и информационных страниц. Это только один полностью раскрывающийся выпадающий список из 9 основных навигационных путей.

Но поскольку веб-сайт такой большой, такой старый и имеет так много сотен тысяч обратных ссылок, у него больше маршрутов, чем у его конкурентов, что обеспечивает частое сканирование большинства его страниц.

Таким образом, мы можем предположить, что бюджет обхода веб-сайта примерно пропорционален количеству обратных ссылок, разделенному на количество страниц. Но, как и все, что связано с SEO, это не точная наука, когда у нас нет доступа ко всей информации Google.

Теперь все, что нам нужно сделать, это максимально использовать теоретический бюджет сканирования, который есть на наших сайтах.

Robots.txt - ваш лучший друг

Disallow: / *? *
Disallow: / *?

Эти две строки robots.txt помешали мне сойти с ума при проверке веб-сайтов клиентов. Это потому, что они блокируют любые URL с? в. Эти виды URL включают страницу с отфильтрованными результатами на веб-сайтах электронной коммерции, страницы с результатами внутреннего поиска и все виды мусора, который не нужно сканировать поисковым системам.

Если вы используете Screaming Frog для проверки сайтов ваших клиентов, вы можете перейти на вкладку «Конфигурация» и исключить эти типы страниц из сканирования Screaming Frog, добавив / *? * И / *?

Это должно помочь предотвратить сбой Screaming Frog от перегрузки данными, пока вы не сможете попросить разработчика обновить файл robots.txt.

Не следует

Я не могу вспомнить, где я это читал, но кто-то посоветовал вам не выполнять. Перейдите по внутренним ссылкам на страницы, которые вы не хотите сканировать, в дополнение к запрещению их в файле robots.txt.

Идея состоит в том, что в дополнение к блокированию этих URL-адресов в поисковых системах вы также говорите Google не указывать конечной странице входящую ссылку. Хотя это не говорит Google не использовать саму ссылку.

Но теоретически это может оказать существенное положительное влияние на веб-сайт электронной коммерции, который имеет большое количество ссылок на отфильтрованные страницы результатов.

Отбраковать ваш контент

В любом случае вы должны отбирать у Google Panda неэффективный контент, но если вы этого не сделаете, сейчас самое время сделать это ради экономии своего бюджета на обход.

В конце концов, если пользователи не посещают эти страницы и не входят в рейтинг поисковой выдачи, зачем вам робот Googlebot сканировать их?

301 Перенаправьте эти страницы на свою домашнюю страницу или на один уровень выше структуры сайта, если они имеют обратные ссылки. Вы можете проверить это в Majestic SEO, нажав на вкладку Страницы. Если они этого не делают, просто удалите их и все внутренние ссылки на них.

Помните, что сканеры должны следовать редиректам 301. Поэтому убедитесь, что все ваши внутренние ссылки в порядке. Ради скорости загрузки вашего сервера вы не хотите иметь тысячи 301 переадресаций в вашем файле htaccess, если вы тоже можете помочь.

Это особенно важно, если вы обнаружили, что отбрасываете посты в блогах за годы.

ЗАКЛЮЧЕНИЕ

В наши дни наличие скудного, быстро загружающегося веб-сайта кажется гораздо более эффективным, чем массивный веб-сайт с бесчисленными страницами, которые пытаются найти множество поисковых запросов с длинным хвостом.

Единственное, что вам нужно будет проверить перед тем, как вы начнете блокировать отфильтрованные страницы результатов из robots.txt, это то, действительно ли эти страницы получили трафик с поисковых систем.

У одного из моих клиентов есть большой старый сайт с огромным количеством обратных ссылок. В результате их бюджет обхода оказался бы довольно большим. Тем не менее, это также означает, что их отфильтрованные страницы результатов, похоже, захватывают много длинного хвоста поисковой системы.

Таким образом, передо мной стоит дилемма - оставить свой веб-сайт, чтобы сделать все возможное, очень тонко распределив бюджет сканирования или запретив отфильтрованные страницы результатов, и надеясь, что бюджет сканирования лучше использовать в категориях верхнего уровня.

Я решил позволить их сайту продолжать делать свое дело в настоящее время. Но это серьезные соображения, с которыми вы можете столкнуться.

Однако очень легко следовать чужому совету, не платя много. Но убедитесь, что вы проверили производительность своих страниц, прежде чем отбирать контент и не разрешать отфильтрованные страницы результатов в вашем файле robots.txt. Это может быть «делом» для SEO, но сейчас это может принести больше вреда, чем пользы, в зависимости от вашего клиента.

Желаем удачи и постарайтесь разумно потратить свой бюджет обхода!

Следующие две вкладки изменяют содержимое ниже.

Адам является техническим SEO-директором в Distinctly.co, небольшом британском агентстве по поисковому маркетингу с большими амбициями. Начав жизнь копирайтером, Адам открыл для себя SEO в 2010 году и никогда не оглядывался назад. Теперь он переносит свою страсть к английскому языку и на короткое время внимания, чтобы помочь клиентам создавать высоко привлекательные и оптимизированные веб-сайты, которые быстро загружаются, полны информации и невероятно удобны для поисковых систем для улучшения впечатлений в SERPS. И когда Адам не в меру своих подвигов в ревизиях и технических рекомендациях, его можно найти в своем чрезвычайно успешном блоге о хобби, который посещает более 1000 посетителей в день!

Похожие

SEO
... для Цели SEO , Это программное обеспечение, которое гарантирует, что вы сможете оставлять комментарии, а также статьи с основной целью защиты обратных ссылок для вашего сайта"> Xrumer - это программное обеспечение, специально разработанное для Цели SEO , Это программное обеспечение, которое гарантирует, что вы сможете оставлять комментарии, а также статьи с основной целью защиты обратных ссылок для вашего сайта. Теперь публикация на
SEO / Международный SEO
... оптимизации сайта его структура, его исходный код подробно анализируются для внесения необходимых изменений. Заголовки веб-страниц, мета-теги, URL-адреса, имена изображений, элементы alt, внутренние ссылки, архитектура ... каждый из этих элементов, составляющих веб-страницу, должен быть оптимизирован. Таким образом, улучшена международная индексация веб-страницы. Внешняя оптимизация также играет важную роль в SEO-кампании за границей, будь то получение ссылок,
SEO продвижение
Вы хотите, чтобы ваш сайт появлялся в поисковых системах (Google, Yahoo, Bing и т. Д.), Возможно, на первой странице, на первой позиции? Тогда вам нужно продвижение SEO, которое подходит вашему сайту, вашему бизнесу. Это продвижение, SEO оптимизация должна проводиться только после предварительного аудита сайта и состоит из:
SEO по-испански
... seo-po-ispanski-1.jpg> Если вы ищете компанию, которая предлагает услуги Веб найти тебя это то, что вам нужно Если вы ищете компанию, которая предлагает услуги SEO на испанском языке, вам нужна WebFindYou. Мы являемся ведущей компанией, предлагающей услуги SEO на испанском языке. Говоря о SEO, мы имеем в виду сокращение вашего термина в английской поисковой оптимизации , которое состоит из
SEO анализ
Первый шаг успешной оптимизации для Google - это анализ вашего внешнего вида в Интернете в соответствии с аспектами SEO, то есть с точки зрения Google и поисковых систем. Как выглядит сайт? Хорошо ли сделана структура сайта и структура каждого сайта? Были ли исчерпаны все возможности для обмена контентом Google? Стоит ли читать контент сайта и предоставляет
SEO Доктор
... для начинающих, так и для специалистов по SEO для определения проблем, связанных с позиционированием веб-страниц. Будьте основаны на рекомендациях Google. Если вы используете Firefox, у вас есть дополнение или расширение, которое вы можете установить бесплатно и воспользоваться его преимуществами, так как оно информирует вас о том, что вы должны улучшить страницу, чтобы улучшить свое позиционирование. Консоль открытого аддона показана на следующем рисунке.
SEO CAMPIXX 2017
После бессонной ночи из-за проблем со здоровьем по утрам эта фотография была создана с докладчиками мероприятия. И это уже говорит о самой важной части истории: это было просто хорошо. Не каждый день начинается с такого фейерверка ... команда Марко Янка (www.sumago.de) действительно заслужила благодарность.
SEO совет
Мы предлагаем предпринимателям самые разные и индивидуальные услуги в сфере SEO. По сути, мы различаем две подзоны в нашей деятельности: в первом варианте мы берем на себя все SEO-меры для вас, а во втором варианте вы изучаете SEO с нашей помощью, выполняете самостоятельно. Как правило, мы предлагаем следующие услуги: Индивидуальный коучинг в вашей местной компании Поддержка по телефону и консультации Обучение
SEO маркетинг - Position1SEO
... seo-marketing-position1seo-1.jpg" alt="SEO-маркетинг будет тем, о чем думает каждый новый бизнес при разработке своей маркетинговой стратегии"> SEO-маркетинг будет тем, о чем думает каждый новый бизнес при разработке своей маркетинговой стратегии. Мы все знаем, насколько важен интернет для бизнеса, и все мы смутно слышали о SEO, но может быть трудно понять, что именно вам нужно использовать, чтобы сделать ваш бизнес успешным в Интернете. Есть много жаргонных и технических терминов, а также
SEO CAMPIXX 2018
SEO CAMPIXX Также в марте у нас была возможность насладиться SEO Campixx. В Берлине нас было даже трое, и мы смогли собрать много знаний и важных идей. Основные моменты: Также в этом году наш рейс был отменен! Но, к счастью, нам удалось заполучить другого, и нам не пришлось ехать шесть часов на поезде, как в прошлом году. YAY! Кроме того, многие ораторы были пойманы волной гриппа, поэтому некоторые
SEO Jun-Young
3/5 Bleak Night был показан 18 июня 2011 года на Эдинбургском международном кинофестивале. После своего успеха на Международном кинофестивале в Пусане в 2010 году, где он получил премию «Новый ток», Bleak

Комментарии

Вы все еще полагаетесь на старые лучшие практики SEO?
Вы все еще полагаетесь на старые лучшие практики SEO? Как вы изменили свой подход к SEO для конверсий? Читать другие Сумасшедшие статьи Яйца Шароном Херли Холлом , Шарон Херли Холл Шарон Херли Холл - профессиональный писатель и блогер. Она написала о цифровом маркетинге для различных публикаций, таких как IBM, OptinMonster, CrazyEgg, Jilt, Search Engine
Ваша фирма SEO не использовала лучшие практики?
Ваша фирма SEO не использовала лучшие практики? Сделайте шаги, чтобы очистить ваш органический след поиска с полным аудитом веб-сайта и планом кампании. Мы создали кампанию, ориентированную на контент, предназначенную для привлечения клиентов в поисковых системах и повышения узнаваемости в социальных сетях. Пример: полный аудит SEO и постоянный консалтинг Сфера деятельности: некоммерческая Фитнес-индустрия очень конкурентоспособна. Быть некоммерческим
Могут ли это быть некоторые платные инструменты SEO, так называемые «лучшие инструменты SEO» или известный инструмент ключевых слов Google?
Могут ли это быть некоторые платные инструменты SEO, так называемые «лучшие инструменты SEO» или известный инструмент ключевых слов Google? Что касается меня, я использую Google Keyword Tool почти каждый день своей жизни, и я почти уверен, что вы не можете найти лучший бесплатный инструмент SEO, чем Google Keyword Tool. Теперь, если вы новичок или не слышали об инструменте подсказки ключевых слов Google, мы, вероятно, рекомендуем посетить сайт после того, как вы прочитаете это. Кроме того,
Хотите получить реальные результаты SEO с вашего сайта WooCommerce?
Хотите получить реальные результаты SEO с вашего сайта WooCommerce? Посмотрите на результат № 5 выше. Это сайт WooCommerce. Может ли быть лучше мета-описание и заголовок? Абсолютно! Но посмотрите, где он находится на этой странице выдачи. Он выше цели и выше позиций Walmart.com. Теперь эти люди следовали некоторым из основных, фундаментальных советов по SEO в SEO-курсе WooCommerce. И это все! Опять же, может ли их сайт пойти еще дальше с усилиями по
Если это правда, имеет ли смысл тратить время на разработку стратегии социальных сетей совместно с другими Хьюстон SEO практики?
Хотите получить реальные результаты SEO с вашего сайта WooCommerce? Посмотрите на результат № 5 выше. Это сайт WooCommerce. Может ли быть лучше мета-описание и заголовок? Абсолютно! Но посмотрите, где он находится на этой странице выдачи. Он выше цели и выше позиций Walmart.com. Теперь эти люди следовали некоторым из основных, фундаментальных советов по SEO в SEO-курсе WooCommerce. И это все! Опять же, может ли их сайт пойти еще дальше с усилиями по
Нужна Остин SEO для вашего бизнеса?
Нужна Остин SEO для вашего бизнеса? Сделайте свой бизнес веб-сайт выделиться в крупных городах США Получите отзывчивый сайт с высоким трафиком, вознагражденный Google Найдите в Интернете то, что вы делаете, увеличьте свою экспозицию Развивайте свой бренд и улучшайте свою прибыль Получите консультационные услуги на сайте с SEO специалистами Получить больше клиентов, больше клиентов и больше доходов
Вы заинтересованы в использовании SEO для создания вашего бренда ?
Как кто-то может работать над «на странице SEO», если они не могут получить доступ к бэкэнду вашего сайта? Люди или компании, которые утверждают, что они занимаются SEO, но не нуждаются в доступе к вашему веб-сайту, либо создадут второй веб-сайт для вас, веб-сайт, которым вы, вероятно, никогда не будете владеть, и только запутают поисковые системы и ваших клиентов, либо они «создадут». списки »через Интернет обратно на ваш сайт, тактика, которая не работает сама по себе. 4) Они
Желаете заняться SEO в Индии, интернет-маркетингом, продвижением сайта для вашего бизнеса?
Желаете заняться SEO в Индии, интернет-маркетингом, продвижением сайта для вашего бизнеса? Вы пришли в нужное место.
Что означает индексация на мобильных устройствах для поисковой оптимизации (SEO)?
Что означает индексация на мобильных устройствах для поисковой оптимизации (SEO)? Напрямую, не сильно; косвенно много. По-прежнему будет только один индекс, который Google использует для показа результатов поиска. Кроме того, индексация на мобильных устройствах сама по себе не имеет отношения к ранжированию. Однако, поскольку мобильная версия теперь будет основной, в большинстве случаев она также будет ранжироваться. Сайт, который
Как будет постоянно отличаться мой сайт практики, если SEO постоянно меняется?
Как будет постоянно отличаться мой сайт практики, если SEO постоянно меняется? Инструменты, обеспечивающие понимание поведения потребителей при поиске, продолжают совершенствоваться. Одна из ключевых тенденций, которую мы наблюдаем, - это то, как мало ищут ключевые фразы высокого уровня, которые использовались для формирования статических списков ключевых слов наших клиентов - некоторые из них никогда не находят! Вместо этого, Страница 1 строит вашу стратегию SEO, сосредотачиваясь
Хотите узнать больше об инструментах Google и о том, как вы можете использовать их для улучшения SEO вашего сайта?
Хотите узнать больше об инструментах Google и о том, как вы можете использовать их для улучшения SEO вашего сайта? Дополнительные советы можно найти в нашем блоге, Как повысить эффективность SEO с помощью нового реферального URL Google? ,

Но что это такое, почему это так важно и как вы можете оптимизировать его для поисковых систем?
Что такое бюджет обхода?
Так зачем им тратить время, деньги и ресурсы на борьбу за сканирование всего (и быстро растущего) интернета?
Disallow: / *?
Это потому, что они блокируют любые URL с?
Если вы используете Screaming Frog для проверки сайтов ваших клиентов, вы можете перейти на вкладку «Конфигурация» и исключить эти типы страниц из сканирования Screaming Frog, добавив / *?
И / *?
В конце концов, если пользователи не посещают эти страницы и не входят в рейтинг поисковой выдачи, зачем вам робот Googlebot сканировать их?
Как выглядит сайт?
Хорошо ли сделана структура сайта и структура каждого сайта?