Ни для кого не секрет, что для компании важно не только создать сайт и наполнить его контентом. Также большое значение имеет то, каким образом контент сайта отображается в поисковых системах. Это называется индексацией сайта. Во время нее поисковые роботы сканируют и обрабатывают страницы, изображения, видео и другие доступные файлы.
Обычно правила индексирования лежат в файле robots.txt. Напрямую доступ к нему администраторы сайтов не имеют. Однако, можно поменять правила с помощью плагина All in one Seo. Как это сделать мы расскажем далее.
