Програма для аналізу посилань сайту: метод дослідження

У кожному аудиті сайту потрібно вивантажити всі сторінки ресурсу і переглянути на всю інформацію про сайт єдиним масивом. Добре б дізнатися, практично одним кліком, в якому кодуванні знаходиться сайт, які сторінки віддають коректний код відповіді, які перенаправлені перенаправленням на інші сторінки, дізнатися і вивантажити все мета теги і заголовки сторінок. У цій статті ми навчимося користуватися декількома корисними seo програмами і сканувати величезні, в декілька тисяч сторінок сайти, практично безкоштовно.

Знайомство з програмою

Як seo-оптимизатор можу сказати, що вже давно користуюся програмою для аналізу сайту Screaming Frog SEO Spider і економлю час на аудити. Працювати з нею одне задоволення! Ця програма була розроблена Британськими seo-фахівцями і є аналогом великої програми Xenu, яка допомогла багатьом сеошників і оптимізаторів зробити міріади сайтів набагато краще. Повна версія програми зараз коштує 99 фунтів за рік користування, це 9 тисяч рублів! На щастя розробники надали загального огляду безкоштовну версію, яка може аналізувати до 500 посилань одного сайту.

Щоб проаналізувати маленький або середній сайт потрібно всього лише вставити посилання головної сторінки сайту в програму і натиснути «Start».

Функції програми Screaming Frog вражають:

• відображає помилки - код відповіді веб-сервера (4XX, 5XX);
• показує перенаправлення - (редирект 301);
• демонструє нам зовнішні посилання сайту, що може допомогти при пошуку якісного донора;
• шукає дублі сторінок (на жаль Люгушка їх не розпізнає, а парсит все, без винятку посилання сайту, завдяки чому шукати їх потрібно буде в ручну);
• показує дані сторінок: кодування сторінок, title, description, keywords, заголовки h1-h2; style = "font-size: 25px"
• теги -,,,;
• аналізує зображення - показує розмір, alt і title;
• генерує карту сайту;
• і багато багато іншого.

АЛЕ, на жаль не завжди Screaming Frog SEO Spider (далі «Жаба») може «витягнути» з сайту всі сторінки. Я тестував сервіс на великій кількості сайтів і прийшов до висновку, що Жаба кожен раз парсит різну кількість сторінок. На момент написання статті у мене на руках була версія 3.3 і вона все ще вередувала і не видавала чіткого результату. Проаналізовані посилання сайту Парс в кількості то 33 штук, то 41. Кожен раз було різну кількість, в залежності від технічної "чистоти" сайту (технічних помилок). Але я ж знаю, скільки сторінок у нас на сайті! Як же вивантажити всі інші посилання? Як отримати повний, вичерпний звіт? Тут до нас на допомогу приходить другий, вже онлайн, сервіс XML-Sitemaps.com.

Отримуємо все посилання сайту

Скористаємося сервісом зі створення карти сайту, для цього в сервісі XML-Sitemaps запускаємо сканування.

Аналіз сайту більше 500 сторінок

У цьому способі є невелика заковика: все таки доведеться витратити трохи грошей. Але це того варте! Повертаємося до сервісу XML-Sitemaps. купуємо платну версію програми за $ 19,99 і користуємося вічно на здоров'я цим чудовим генератором! Ліцензія дозволить створювати карти сайту і списки посилань будь-якої кількості. Якщо ж він вам не потрібен або просто немає можливості придбати дану програму, то можна скористатися методом легше. Або використовуємо вже існуючий sitemap на сайті, якщо він генерується автоматично, або робимо sitemap.xml тут за $ 2,50. Але ефект може виявитися не таким вичерпним як ми хотіли. У своєму експерименті ми для студії придбали повну версію сервісу XML-Sitemaps. Після оплати призначеної суми, ми отримали на пошту архів з файлами. Ці файли необхідно залити на FTP сервер будь-якого сайту і після цього генератор буде доступний за посиланням. папки сервера.

Після закінчення генерації списку посилань вони будуть доступні в програмі по вкладці "View Sitemap" або на сторінці http://studiof1.ru/generator/data/urllist.txt.

На прикладі сайту в 40.000 URL

Зовсім недавно вийшла версія Screaming Frog SEO Spider 3.3 і якраз на наступний день я мав честь аналізувати сайт в 41 тисячу посилань.

Наш свіжокуплений генератор XML-Sitemaps сопів і плювався як тільки міг. Зупинявся віддихатися, видаючи помилку, кожні 7 тисяч сторінок. Я запускав його знову і знову, поки з перервами він все таки не видав мені 41883 сторінку сайту. Після отримання такого об'ємного файлу, я почав вантажити в Жабу на аналіз по 500 посилань, після закінчення сканування копіював всю інформацію комбінацією клавіш Ctrl + A і вставляв вийшов масив в Excel файл. Після двох годин, здавалося б, сізіфова праці я отримав потрібну нам інформацію по сайту: все url сайту, title, description, keywords, h1 і h2 style = "font-size: 25px" (інформація прихована для безпеки сайту). Таким чином можна сканувати сайти з величезним багажем посилань.