Эксоцман
на главную поиск contacts

Несколько слов о том, как работают роботы (spiders) поисковых машин

Опубликовано на портале: 02-06-2003
Эта статья вовсе не является попыткой объяснить, как работают поисковые машины вообще (это know-how их производителей). Однако, по мнению автора, она поможет понять, как можно управлять поведением поисковых роботов (wanderers, spiders, robots - программы, с помощью которых та или иная поисковая система обшаривает сеть и индексирует встречающиеся документы) и как правильно построить структуру сервера и содержащихся на нем документов, чтобы Ваш сервер легко и хорошо индексировался.



Оглавление
Введение
Формат файла /robots.txt
Записи (records) файла /robots.txt
Параметры
Расширенные комментарии формата
Примеры
Некоторые проблемы, связанные с поисковыми роботами
Использование мета-тагов HTML
ROBOTS мета-таги
KEYWORDS мета-таг
DESCRIPTION мета-таг
Предполагаемые варианты исключения повторных посещений с помощью мета-тагов HTML
Индексировать документ один раз или делать это регулярно?
Как исключить индексирование генерируемых страниц или дублирование документов, если есть зеркала сервера?
Источники

Ссылки
http://www.i2r.ru/static/215/out_11173.shtml
BiBTeX
RIS