robots.txt

[krokttc]

Подскажите, что этот файл делает? Как правильно им пользоваться? Если он пуст, то стоит ли вообще хранить его на сервере? Смогут поисковики индексировать сайт если в теле "robot.txt" нет записей?

[AMBA]

Только robots.txt - правильно.

Теоретически он предназначен для того, чтобы говорить поисковым роботам что им делать, и делать ли что-то вообще на этом сайте. Например какие каталоги или страницы не индексировать, когда прийти снова. Если файл пустой, то роботы его проигнорируют и будут работать по своим сценариям. Однако заполнение данного файла - не панацея, многие роботы просто не обращают на эти указания никакого внимания

P.S. А у яндекса спросить о том же было лень? Вот тут про этот файл всё что тебе может понадобится http://robotstxt.org.ru/

[krokttc]

Только robots.txt - правильно.

Теоретически он предназначен для того, чтобы говорить поисковым роботам что им делать, и делать ли что-то вообще на этом сайте. Например какие каталоги или страницы не индексировать, когда прийти снова. Если файл пустой, то роботы его проигнорируют и будут работать по своим сценариям. Однако заполнение данного файла - не панацея, многие роботы просто не обращают на эти указания никакого внимания

P.S. А у яндекса спросить о том же было лень? Вот тут про этот файл всё что тебе может понадобится http://robotstxt.org.ru/

Спасибо  забыл о Яндексе.

[krokttc]

Есть следующая проблема. Сайт обнаруживался практически всеми поисковиками (GOOGLE, Яндекс, Рамблер...) в течении 1,5 года и в короткий период времени поисковики перестали его видеть. Нашёл в файле robots.txt запись запрещающую "всем индексировать всё". Сделал файл пустым. Регистрируюсь заново на поисковых системах - ничего. Первая регистрация была 2-3 месяца назад (Яндекс, GOOGLE). Перерегистрировал каждые 2-3 недели. Нашёл ссылку, по которой можно посмотреть зарегистрирован ли сайт в поисковике GOOGLE - сайт не обнаружен. Найти сайт можно только по многочисленным объявлениям оставленными на других источниках. Подскажите в каком направлении искать или решать проблему.

[Лола]

Когда у меня был пустой robots.txt, то в поисковиках показывало страницы форума как на печать.

[PC_DOS]

У меня была фишка...Робот первые 2 месяца видел сайт и страницы,а потом заблокировал все...Через недельку все нормально..Систему до сих пор не понял

[Phoenix]

А мне подскажут, как Я могу запретить к сканированию дирректорию субдомена. В субдомен кидать robots.txt  - скорей всего не правильно. Ибо прочитывать не будет. Закрывать на папке основного домена ?

[unknown php developer]

Почему неправильно в субдомен? Для поисковика что bla.bla.bla.bla.com.ua, что bla.com.ua это разные сайты

[unknown php developer]

Не только это. Там есть и другие важные настройки. К примеру, crawl-delay для конченого поисковика Meta и host для глупого яндекса.