Ваш помощник
на пути к успеху
7 (495) 545-49-21
8 (800) 500-30-29
Заказ интернет-магазинов,
служба поддержки
режим работы: 09:00 - 18:00 (мск)
Блог Shop2YOU > Продвижение > Файлы индексации: robots.txt и sitemap.xml — почему они так важны?

Файлы индексации: robots.txt и sitemap.xml — почему они так важны?

21 октября 2014

Чтобы покупатели могли найти ваш магазин в поисковых системах, он должен быть проиндексирован, т. е. программа-робот последовательно загрузит все страницы вашего сайта, проанализирует их и включит в поисковую выдачу.

Именно здесь и понадобится файл robots.txt — своеобразная инструкция, которая запрещает или разрешает роботу индексировать или не индексировать страницы определенным образом. Если такого файла на сайте нет, робот считает, что все содержимое сайта вы разрешаете просматривать и индексировать. А это опасно. Если не «спрятать» от робота папки и файлы административной части сайта, то магазин становится потенциально уязвим для хакерских атак. Усильте безопасность своих покупателей и своего бизнеса простым добавлением файла robots.txt.

Составление файла — достаточно простой и быстрый процесс для веб-мастера. Однако важно соблюсти правильный синтаксис, чтобы все команды, даваемые роботу, понимались им верно. Поэтому доверьте эту работу своему оптимизатору либо воспользуйтесь инструментами-помощниками, если вы решили сделать robots.txt самостоятельно.

Создание robots.txt вручную

Дополненный русский перевод официального сайта о robots.txt: http://robotstxt.org.ru/ , где можно найти простые инструкции и ответы на проблемные вопросы.



Автоматическое создание robots.txt

http://pr-cy.ru/robots/ — популярный инструмент для автоматического формирования файла.

Работа над ошибками

Инструмент от Яндекса: http://webmaster.yandex.ru/robots.xml#results — здесь можно проанализировать созданный файл и исправить возможные ошибки.

sitemap.xml своими руками

Файл sitemap.xml содержит список всех страниц сайта, подлежащих индексации. Казалось бы, поисковой робот должен самостоятельно найти все страницы, которые не спрятаны от него в robots.txt, но… Некоторые сайты (в том числе интернет-магазины) содержат большое количество динамических страниц, а некоторые находятся глубоко в структуре сайта, и робот может их не найти, если будет последовательно переходить с одной внутренней ссылки на другую.

Чтобы ничего не потерялось и не было упущено роботом, составляется карта сайта. Также она содержит ценные инструкции для роботов по частоте обновления страниц и их поисковой ценности (самые важные страницы будут проиндексированы в первую очередь). Кстати, именно в файле robots.txt необходимо указывать путь к директории, где лежит карта.

Автоматическое создание sitemap.xml

Много онлайн-сервисов автоматически формируют карту сайта, но не все из них бесплатные. Здесь http://www.cy-pr.com/tools/sitemap/ вы можете создать sitemap.xml быстро, надежно и абсолютно бесплатно.

Работа над ошибками

Результат своих трудов вы увидите в поисковой выдаче, просто набрав адрес вашего магазина в строке поиска. За небольшую плату (15 руб.) вы можете проверить уже готовый файл sitemap.xml на этом ресурсе http://htmlweb.ru/analiz/sitemap.php.

Проверить работу своего веб-мастера или застраховаться от распространенных ошибок вы можете, если заранее ознакомитесь с требованиями к файлу на официальном вики http://www.sitemaps.org/ru/faq.html. Например, карта не может «весить» больше 10 Мб и содержать более 50 000 ссылок.

Хочу все сразу!

Если вы не хотите тратить время своего веб-мастера на эту задачу, если вы хотите быть уверены, что все сделано правильно, с соблюдением стандартов и специфики вашего магазина, закажите у нас услугу SEO-старт. Специалисты Shop2you выполнят всю работу, а вы сможете сосредоточиться только на ведении бизнеса.

Обратите внимание, что SEO-старт — это комплексный пакет, в который включено не только создание файлов для роботов, но и другие жизненно важные для продвижения услуги: подбор ключевых слов, оптимизация заголовков и мета-тэгов, базовое продвижение в соцсетях, написание статей и др. Таким образом, вы получите не разрозненный набор выполненных задач, а целенаправленный комплекс начального продвижения.


Откройте магазин сейчас
1 месяц бесплатно
Понравился пост? Поделитесь ссылкой на эту страницу в социальных сетях: