Настройка файла robots.txt

Материал из Wiki.shop.by
Перейти к: навигация, поиск
Наглядная визуализация принципа работы robots.txt
Robots.txt — размещенный в корневой директории сайта текстовый файл, который предназначен для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
Общий вид модуля


Добавление нового блока User-Agent

Добавление нового User-Agent

Для добавления нового блока нажмите кнопку «Добавить блок», введите имя нового User-Agent.


Добавление/Редактирование параметров

Добавление/Редактирование параметра

Для редактирования параметра внутри User-Agent нажмите кнопку «Редактировать» возле требуемого параметра. Для добавления нового параметра нажмите кнопку «Добавить параметр» и введите необходимые данные.

Видео-урок

Доступный рассказ о файле robots.txt — что это, для чего это и как это работает. Составление простейшего файла robots.txt в режиме реального времени.