Джон Мюллер советует не генерировать robots.txt динамически

Джон Мюллер сказал в обмен   форум вебмастеров   что было отрицать создание динамических файлов robots

Джон Мюллер сказал в обмен форум вебмастеров что было отрицать создание динамических файлов robots.txt, поскольку это могло нарушить работу роботов индексации, а также отрицательно повлиять на учет информации, вписанной в нее.

Его обмен также дал некоторую интересную информацию о сканировании файлов robots.txt . Вот полный перевод его поста:

Динамическая генерация карты сайта - это хорошо. Это хороший способ автоматически обновлять планы вашего сайта.

Динамическое создание файла robots.txt (для одного и того же хоста! Выполнение этого для отдельных хостов по существу соответствует нормальному robots.txt для каждого из них), вероятно, вызовет проблемы: его не посещают каждый раз, когда URL сайта сканируется, поэтому может случиться, что «плохая» версия будет кэширована. Например, если вы генерируете свой robots.txt, блокирующий сканирование в рабочее время, возможно, он кэшируется, и это означает, что в течение одного дня ничего не сканируется (или, наоборот, кэшируется, пока сканирование разрешено). Например, Google сканирует файл robots.txt примерно один раз в день для большинства сайтов.

Я не скрываю тот факт, что пример, приведенный Джоном Мюллером, немного карикатурен, поскольку он вызывает случай robots.txt, который динамически генерирует правило «disallow: /», которое блокирует роботов для сканирования . В этом случае, действительно, для этого правила потребуется дополнительный день, который был кэширован в предыдущий день, отменен и разрешено снова сканировать роботов.

На самом деле, я не совсем понимаю, в чем проблема с динамическим управлением файлом robots.txt, зная, что его использование все еще весьма ограничено для большинства веб-сайтов. За исключением случаев, когда генератор создает правила блокировки или важные правила деиндексации для сайта, время от времени соответствующие сканированию (зная, что он часто меняется, трудно целиться просто ...), я не вижу слишком большого вреда для него можно сделать

Я передал информацию, чтобы она была полностью прозрачной для вас, но если у меня есть только один совет, который нужно дать вам, особенно следует соблюдать осторожность, чтобы не применять правила блокировки в файле robots.txt, чтобы это либо вручную, либо динамически . Риск заключается только в том, чтобы заблокировать сканирование (примерно на 24 часа, если правило блокировки отменено на следующий день), это «все».

В конце концов, единственная информация, которая мне кажется интересной, это то, что файл robots.txt не читается для каждого URL, а только один раз в день для всех сайтов . Таким образом, Googlebot не тратит время на повторное чтение файла robots.txt, чтобы сэкономить деньги.

Похожие

The Pirate Bay не работает: просто не вводите www
Если у вас возникли проблемы с доступом к The Pirate Bay на этой неделе, причины очень просты: вы по-прежнему без необходимости добавляете префикс www при вводе URL-адреса. Похоже, что это требование префикса было удалено из доменов The Pirate Bay, и поскольку перенаправление отсутствует, пользователи получают ошибки. Мы говорим «домены» во множественном числе, потому что The Pirate Bay недавно начал перенаправлять пользователей из своей печально известной
Будущее SEO никогда не было яснее (и более не игнорируется)
... не могу вспомнить время за последние пятнадцать лет, когда следующие пять лет в мире поисковых систем и SEO казались такими же ясными и очевидными, как и сегодня. Не могу я вспомнить время, когда так много опытных специалистов и умные компании похоронил свои головы в песок об этом ... (возможно, очень ранние дни, когда слишком многие организации проигнорировали власть SEO из-за своей черной шляпе репутацию? Но даже это спорно) , Вкратце, вот что мы все можем увидеть:
Создать и оптимизировать robots.txt
18 апреля 2019 г. Топ 10 рейтинга в Поиске Google жизненно важны, потому что поисковые системы являются сильными поставщиками трафика. Часто становится технический SEO забытый или только элементарно наблюдаемый - и, таким образом, излишне теряющий потенциал ранжирования. Мощной технической мерой SEO является оптимизация сканирования с использованием файла robots.txt. Узнайте, как улучшить бюджет сканирования своего сайта
В борофене границы не являются барьером
ВЫПУСК НОВОСТЕЙ Примечание редактора: ссылки на изображения с высоким разрешением для загрузки приведены в конце этого выпуска. Дэвид Рут 713-348-6327 [email protected] Майк Уильямс 713-348-6728 [email protected] Хьюстон - (16 июля 2018 г.) - борофен, атомно-плоская форма бора с уникальные свойства Еще более
Файл Robots.txt на WordPress: руководство, чтобы понять все
... txt в WordPress, можете ли вы дать мне ответ сразу? Не легко, правда? Кроме того, не зная об этом, у вас уже есть один на вашем сайте. Дело в том, что мы не всегда понимаем многое из этого известного файла. Для чего это? Что мы вкладываем? Почему его код выглядит как китайский? Если вы уже читали об этом, держу пари, что вы задали себе эти вопросы. Немного похоже на динамит, этот файл должен обрабатываться с большой осторожностью
Ответы LinkedIn спрашивают: «Что вы не доверяете SEO?»
Пару недель назад я наткнулся на интересную дискуссию о надежность SEO в ответах LinkedIn. Поставленный вопрос был довольно прост: Что вы не доверяете SEO (поисковая оптимизация)? и почему? SEO - это фундаментальный аспект, который делает ваш сайт актуальным для ваших посетителей и
Что лаборатория не говорит
... не обязательно означает, что человек полностью здоров. В течение длительного времени человек, страдающий раком, может производить нормальные лабораторные исследования, и тот, кто регулярно подвергается непереносимой мигрени, не обязательно обнаружит какую-либо разницу. Обратное в этом, конечно, может быть правдой, то есть ценность, отличная от одного или двух стандартов, может быть абсолютно безвредным явлением, которое не имеет ничего общего с какой-либо болезнью.
Домен .SE в Пиратской бухте больше не доступен!
Вы пытались посетить Pirate Bay через их популярный домен .SE? Со вчерашнего дня домен стал недоступным и перестал перенаправлять пользователей на самый актуальный Домен в Пиратской бухте, который несколько запутал многих ежедневных посетителей. EverydayElectronics может подтвердить, что срок действия thepiratebay.se истек и был деактивирован. После нескольких лет борьбы в суде, в конце прошлого года Апелляционный суд Швеции постановил,
SEO оптимизация под ключевое слово: не делайте этого!
Значительное количество клиентов хотели бы занять первое место по ключевому слову. Но это очень плохая идея. Я скажу вам, почему и что делать вместо этого. «Я бы хотел первым стать ключевым словом« настольная игра »,« плагин »,« поисковая оптимизация ». Вы можете мне помочь? Я слышал этот запрос однажды, хотя в оптимизации SEO меньше плохих стартапов. Если этой основной целью является простое удаление
SEO копирайтинг не существует
Нет, я не придумываю название. Там нет SEO копирайтинг, как люди обычно это представляют. Или точнее: это не имеет ничего общего с копирайтингом или SEO . Для многих владельцев веб-сайтов и стартапов это, вероятно, означает: « Я беру ключевое слово и скручиваю его в текст двадцать раз . Тогда я буду первым, кто пойдет на поисковые системы. Сегодняшние поисковые системы не глупы, они знают, что вы пытаетесь поймать их за нос. И пользователи,
Когда локальное SEO не локально - Региональный фактор - поисковая система
Таким образом, к настоящему времени вы должны знать, как ландшафт поисковой индустрии полностью изменилось в одночасье с интеграцией результатов Place Page в органические результаты для локального поиска. Если вы не думаете, что изменения настолько радикальны, я предлагаю вам сделать паузу и действительно осмыслить возможности , Только одна проблема,

Комментарии

Да, они могли быть грязными, и очистка могла быть запоздалой, но если бы я не сделал этого сегодня, в тот день, когда я подумал о том, о чем писать в блоге, мы бы никогда не приехали сюда, не так ли?
Да, они могли быть грязными, и очистка могла быть запоздалой, но если бы я не сделал этого сегодня, в тот день, когда я подумал о том, о чем писать в блоге, мы бы никогда не приехали сюда, не так ли? Попытка структурировать свои закладки заставила меня очень хорошо знать, что является текущим и что устарело. Это заставило меня осознать, какие инструменты я мог и не мог жить без них. Какие блоги я мог и не мог перестать читать. И самое главное, что люди, которых я мог и не мог перестать
Тем не менее, вы не хотите, чтобы ваши усилия и время ушли в небытие, не так ли?
Тем не менее, вы не хотите, чтобы ваши усилия и время ушли в небытие, не так ли? Вы также не хотите, чтобы ваша мама, бабушка и пара близких друзей были вашей единственной аудиторией. Вы хотите привлечь внимание общественности, и никто никогда не станет критиковать это естественное желание. Суть в том, что вы должны позаботиться об оптимизации своей статьи, но это не значит, что нужно помнить все детали. Просто сделайте закладку на этой странице и отметьте все элементы из списка ниже,
Я имею в виду, что Лукас и его команда не могли полностью удалить часть Коннери из сценария, не вызвав серьезного раскола, верно?
Я имею в виду, что Лукас и его команда не могли полностью удалить часть Коннери из сценария, не вызвав серьезного раскола, верно? Ну, наши друзья в FilmIck сообщают, что Абнер Равенвуд даже не был включен в предыдущие проекты. Когда Коннери сделал свой официальный выход из проекта, вы можете вспомнить, что они объявили, что в фильме снимали Джона Херта. Он сыграет роль отца Карен Аллен. Ну, ходят слухи, что персонаж Джона Херта
Несмотря на всю тяжелую работу, проделанную в 2013 году, я не вижу причин, по которым мы не должны брать немного времени на ведение блога, верно?
Несмотря на всю тяжелую работу, проделанную в 2013 году, я не вижу причин, по которым мы не должны брать немного времени на ведение блога, верно? Более того, вся работа и отсутствие игр делает Джека скучным мальчиком! Время для вечеринки!
В конце концов, вы не хотите быть наказаны, не так ли?
В конце концов, вы не хотите быть наказаны, не так ли? Вы можете взять эту инфографику, если укажете источник по ссылке. Пример: инфографика SilkWeb - ссылка на: https://www.silkweb.ro/blog/seo-tot-ce-trebuie-sa-stii Космин Дарабан 18 лет онлайн опыта С 2005 года генеральный
Итак, как вы можете быть уверены, что каждый контент, который вы публикуете в Интернете, не только отличного качества, но и не менее важен, уникален?
Итак, как вы можете быть уверены, что каждый контент, который вы публикуете в Интернете, не только отличного качества, но и не менее важен, уникален? Есть несколько инструментов, которые вы можете использовать бесплатно, чтобы проверить наличие дублированного контента. (Другие предлагают более сложные услуги за небольшую плату.) Google
Часто, когда вы хотите купить товар, вы попадаете в интернет-магазины, где вы обычно найдете только цену и некоторые особенности товара, но кажется, что чего-то не хватает, не так ли?
Часто, когда вы хотите купить товар, вы попадаете в интернет-магазины, где вы обычно найдете только цену и некоторые особенности товара, но кажется, что чего-то не хватает, не так ли? Это руководство и заслуживающий доверия совет, который может убедить вас в том, что вы многое сделаете или что продукт лучше всего соответствует вашим требованиям. В таких неопределенных ситуациях полезность обзора сайта будет сразу же подчеркнута! Полезность обзора сайта Давайте рассмотрим, что вы
Читайте также: Пак Сео Джун мудро реагирует на недоброжелателей, которые считают, что это не подходит "Что не так с секретарем Ким?
Читайте также: Пак Сео Джун мудро реагирует на недоброжелателей, которые считают, что это не подходит "Что не так с секретарем Ким?" 3 июня в посте Instagram актер упомянул кофейник, который он отправил
Отчеты Google Диска, возможно, не самая красивая девушка на танцполе - другие платформы имеют лучшие интерфейсы с интерактивными столами - но она лучшая танцовщица, и разве это не самое главное?
Отчеты Google Диска, возможно, не самая красивая девушка на танцполе - другие платформы имеют лучшие интерфейсы с интерактивными столами - но она лучшая танцовщица, и разве это не самое главное? Вход в систему только для чтения для менеджеров / клиентов, автоматически обновляемый ежедневно и возможность извлекать данные из AdWords, Bing Ads, Search Console, социальной рекламы и других источников. Вы даже можете создавать полезные инструменты, такие как рекламные трекеры бюджета. Вы не можете думать
У вас когда-нибудь был перерыв в работе надстройки, потому что разработчика больше не было, или он не будет поддерживать его?
У вас когда-нибудь был перерыв в работе надстройки, потому что разработчика больше не было, или он не будет поддерживать его? Это проблема, которую они избежали. Удобные бизнес-списки Кроме того, существуют и другие причины, такие как списки компаний, где вы можете создавать списки Yelp и Google My Business непосредственно с платформы GoDaddy. Также есть социальное дополнение, позволяющее интегрировать страницу Facebook вашей компании с вашим сайтом. И, как и все, он
Поскольку он ничего не продает, не должно ли все остановиться и найти другую работу, чтобы, наконец, иметь охрану, дом, гараж?
Поскольку он ничего не продает, не должно ли все остановиться и найти другую работу, чтобы, наконец, иметь охрану, дом, гараж? Эти черные квадраты в конечном итоге проникнут на весь холст, который представляет собой не более чем серию черных горизонтальных линий. Небо закрыто? После драмы о смерти Пола его единственный сын Шон Скалли перестает рисовать. Картина Уриэль представляет свет этой ночью. Контраст цветов изображает сожительство двух разнородных миров и вызывает

Возможно, очень ранние дни, когда слишком многие организации проигнорировали власть SEO из-за своей черной шляпе репутацию?
Txt в WordPress, можете ли вы дать мне ответ сразу?
Не легко, правда?
Для чего это?
Что мы вкладываем?
Почему его код выглядит как китайский?
Поставленный вопрос был довольно прост: Что вы не доверяете SEO (поисковая оптимизация)?
? и почему?
SE?
Вы можете мне помочь?