О работе поисковых систем

[irisa]

Как сделать чтобы на определенную страницу не заходили роботы поисковых систем?

 

[Mallard]

Ответ: О работе поисковых систем

Как сделать чтобы на определенную страницу не заходили роботы поисковых систем?

Вам в Яндекс или Гугл с запросом "robots.txt запрет индексации"

 

[elsmir1973]

индексация поисковыми системами

Запретить индексацию в фалу robots.txt, который кладете в корень сайта.

 

[Mahor]

Ответ: индексация поисковыми системами

Вот Вам первоисточник для Яндекса. Или нужно для всех роботов ?

 

[qsedftghk]

Ответ: индексация поисковыми системами


Не по теме:
Пусть заходят.. они же добрые... Ласковые боты.. гыгы...

 

[izotop]

Ответ: О работе поисковых систем

роботс закроет страницу только от Яндекса или от всех поисковиков??? Тоже этот вопрос интересен

 

[Mallard]

Ответ: О работе поисковых систем

Что напишете в юзер-агенте, на того и подействует.

User-agent: Yandex
Disallow:
дальше список файлов, которые хотите закрыть от Яндекса.


User-agent: *
Disallow:
дальше список файлов, которые хотите закрыть от всех поисковиков.

 

[osstudio]

Ответ: О работе поисковых систем

а можно я вопрос тут задам. файл робот.txt вообще важен или нет? Если его не будет Яндекс сможет проиндексировать сайт?

 

[George]

Ответ: О работе поисковых систем

osstudio,

Если его не будет Яндекс сможет проиндексировать сайт?

сможет. но вот захочет ли?))
лучше всего закинуть его в свою личную панель яндекса - тогда точно проиндексирует:
http://webmaster.yandex.ru/

тоже самое касается и гугла (у них там тоже есть панель такого плана)

 

[cebuc]

Ответ: О работе поисковых систем

или еще можно noindex вставить