О работе поисковых систем

  • Автор темы Автор темы irisa
  • Дата начала Дата начала
Статус
Закрыто для дальнейших ответов.

irisa

Участник
Топикстартер
Сообщения
12
Реакции
0
Как сделать чтобы на определенную страницу не заходили роботы поисковых систем?
 
Ответ: О работе поисковых систем

irisa сказал(а):
Как сделать чтобы на определенную страницу не заходили роботы поисковых систем?
Вам в Яндекс или Гугл с запросом "robots.txt запрет индексации"
 
индексация поисковыми системами

Запретить индексацию в фалу robots.txt, который кладете в корень сайта.
 
Ответ: индексация поисковыми системами


Не по теме:
Пусть заходят.. они же добрые... Ласковые боты.. гыгы...
 
Ответ: О работе поисковых систем

роботс закроет страницу только от Яндекса или от всех поисковиков??? Тоже этот вопрос интересен
 
Ответ: О работе поисковых систем

Что напишете в юзер-агенте, на того и подействует.

User-agent: Yandex
Disallow:
дальше список файлов, которые хотите закрыть от Яндекса.


User-agent: *
Disallow:
дальше список файлов, которые хотите закрыть от всех поисковиков.
 
Ответ: О работе поисковых систем

а можно я вопрос тут задам. файл робот.txt вообще важен или нет? Если его не будет Яндекс сможет проиндексировать сайт?
 
Ответ: О работе поисковых систем

osstudio,
Если его не будет Яндекс сможет проиндексировать сайт?
сможет. но вот захочет ли?))
лучше всего закинуть его в свою личную панель яндекса - тогда точно проиндексирует:
http://webmaster.yandex.ru/

тоже самое касается и гугла (у них там тоже есть панель такого плана)
 
Ответ: О работе поисковых систем

или еще можно noindex вставить
 
Статус
Закрыто для дальнейших ответов.