
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/search.html
Disallow: /search/label/
Disallow: /*archive.html
Disallow: /feeds/comments
Disallow: /*?showComment*
Allow: /
Sitemap: http://shpargalochki.ru/feeds/posts/default?orderby=UPDATED
User-agent: Yandex
Disallow: /search
Disallow: /p/search.html
Disallow: /search/label/
Disallow: /*archive.html
Disallow: /feeds/comments
Disallow: /*?showComment*
Allow: /
Sitemap:http://www.shpargalochki.ru /sitemap.xml
Что выделено красным меняем на адрес вашего блога.
Сам файл robots txt всегда находится в корне сайта. Для того,чтобы посмотреть именно ваш роботс, просто введите в адресную строку браузера такой адрес http://адрес вашего сайта/robots.txt.
Всё. Теперь будем спокойны, что поисковые системы не обойдут наш блог стороной. Конечно же, если не забыли в настройках, во вкладке основное в разделе конфиденциальность поставить галочки добавить блог в каталоги и сканируется поисковыми системами. Удачи .
хотите оформить подписку на новые шпаргалки
Вика, спасибо. Как всегда все доходчиво. Давай немного разберем, если ты не против. в моем файле не хватает 4-х последних срточек User-agent: Yandex
ОтветитьУдалитьDisallow: /search
Disallow: /p/search.html
Allow: /
как я понимаю это это ты дорабатывала для индексации в Яндексе? Один из авторов утверждает, что файл формата /feeds/posts/default?orderby=UPDATED пригоден только для Гугла и предлагает заменить его на /sitemap.xml, подходящий для гугла и Яндекса. В таком случае твой файл должен выглядеть так: http://www.shpargalochki.ru/sitemap.xml. Что думаешь поэтому поводу. И еще, у тебя ошибочка в адресе файла роботс, правильно будет так
http://адрес вашего сайта/robots.txt
Сергей всё верно. Этот пост писала в самом начале сейчас он у меня такой
ОтветитьУдалитьUser-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/search.html
Disallow: /search/label/
Disallow: /*archive.html
Disallow: /feeds/comments
Disallow: /*?showComment*
Allow: /
Sitemap: http://shpargalochki.ru/feeds/posts/default?orderby=UPDATED
User-agent: Yandex
Disallow: /search
Disallow: /p/search.html
Disallow: /search/label/
Disallow: /*archive.html
Disallow: /feeds/comments
Disallow: /*?showComment*
Allow: /
Sitemap:http://www.shpargalochki.ru /sitemap.xml
Пойду изменю в сообщении. А за ошибочку спасибо. Тоже исправлю.
Я также создам такой расширенный файл, тем более уже знаю функцию каждой директивы. Вика, меня продолжают терзать сомнения. Может быть стоит внести новое название адреса в настройках поиска для Яндекса и внести новые ссылки для всех постов с целью подтверждения прав и индексирования?
ОтветитьУдалитьВика, еще просьба. Окинь свежим взглядом, все у меня верно, боюсь механической ошибки.
ОтветитьУдалитьUser-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/search.html
Disallow: /search/label/
Disallow: /*archive.html
Disallow: /feeds/comments
Disallow: /*?showComment*
Allow: /
Sitemap: http://www.kazak-blog.ru/feeds/posts/default?orderby=UPDATED
User-agent: Yandex
Disallow: /search
Disallow: /p/search.html
Disallow: /search/label/
Disallow: /*archive.html
Disallow: /feeds/comments
Disallow: /*?showComment*
Allow: /
Sitemap: http://www.kazak-blog.ru/sitemap.xml
Сергей, вроде всё правильно. А так ведь его можно проверить и в Гугле и в Яндексе.А насчёт добавить новый блог в поиск. Не знаю. Говорят, что не обязательно. Поймут якобы роботы что это одно и то же и начнётся индексация и старых статей. Много по поводу этого читала и все пишут, что резко упадёт трафик с поисковиков а потом наладится. Посмотрим.
ОтветитьУдалитьСпасибо большое)) наткнулась на эти настройки и всё сделала благодаря вашим инструкциям))
ОтветитьУдалитьНе за что Мария. Дело в том, что с этими настройками всё время можно разбираться. К примеру выше предложенный Роботс , а именно sitemap.xml, Гугл сейчас не принимает. Остаётся feeds/posts/default?orderby=UPDATED. Но пока исправлять не надо. Возможно исправится ситуация. Тут ведь и индивидуальные настройки имеют значение. Вернее, то, что мы хотим закрыть от индексации, а что разрешить.
УдалитьПрочитала сначала вот эту статью http://blogger-prodvizhenie.blogspot.com/2013/09/SEOBlogger.html, а потом твою. Это об одном и том же? По разному настраивается?
ОтветитьУдалитьПрочитала еще раз, сделала как написано, пойду в сообщениях теги писать.
ОтветитьУдалитьОлеся, это всё об оптимизации, но не одно и то же. Я бы посоветовала тебе пока ничего не менять в Роботс. Начни с оптимизации заголовков здесь http://www.shpargalochki.ru/2013/12/delaem-chitaemyj-url-posta.html
ОтветитьУдалитьи изображений здесь http://www.shpargalochki.ru/2013/12/budem-optimizirovat-kartinki-v-bloge.html
Остальное потом дам тебе ссылки, чтобы тебе попытаться разобраться. Это тема, интересная, но очень тонкая. Здесь понять надо, дабы не навредить.
Многие оптимизаторы говорят, что сейчас уже ине надо прописывать кенвуды и дискрипшены. Кто-то по старинке всё равно пишет. Короче, пока в шаблон не лезь. Делай всё в настройках. Найди инфу, что это такое, изучи. Ну а ссылки кину. Есть у меня знакомый Гуру по этому вопросу.
Виктория, я смотрю вы изменили Ваш Robots.txt. Теперь конкретно для Яндекса Вы ничего не прописываете. Я же для своего блога прописываю. Кстати, не только у Вас robots без Яндекса. Так может для этой поисковой системы убрать то, что указано в файле?
ОтветитьУдалитьИ еще вопрос: может такое быть, что мой вариант robots.txt стал причиной того, что статьи Яндексом еще не проиндексированы (только Главная)? Или просто нужно еще немного подождать, ведь блогу всего 2 недели?
Привет, Олег. Статья написана давно, столько всего менялось.
УдалитьПоисковой робот Яндекса не принимает формат файла Sitemap предложенный Google. Он принимает только в формате xml . А с индексацией статей тут период долгий. Полгода-год. Не балует он нас. Так что на файл robots.txt пока не грешите.
Спасибо большое! Теперь буду знать, а то я уже начал переживать по этому поводу. Но тут же возник вопрос: если статья не проиндексирована Яндексом (в поиске Гугла уже есть) безопасно ли добавлять ее анонсы, например, в Subscribe? Могут украсть ведь... Или можно не беспокоится?
ОтветитьУдалитьP.S. У меня карта была в формате xml. Просто для Яндекса в ней еще команды прописаны.
А вы добавляйте их ещё до публикации в оригинальные тексты Яндекс. Руководство здесь http://webmaster.ya.ru/replies.xml?item_no=16135.
УдалитьА абсолютно безопасного , к сожалению, ничего нет.
Публикуйте в Гугл + и укажите авторство. В шаблоне перед закрывающимся тегом body установите код который вышлю сейчас на поту Вам.
Большое спасибо за код. По поводу оригинальных текстов Яндекса – все печально))). Нужно иметь ТиЦ 10, чтобы добавлять туда свои статьи.
Удалитькак-то и не обращала на это внимание. Но что ж тогда ждать. Этот блог у меня стал достаточно быстро индексироваться. Где-то через 4 месяца потихоньку увеличивалось количество статей.
УдалитьДоконаю Вас вопросами... Еще один: в коде, который Вы выслали, идентификатор имеет цифровой вид, а сейчас в Гугл+ пишут, например, +ОлегЗенков. В принципе, я знаю свои цифры, но все же имеет ли значение, какого вида будет идентификатор (цифровой или имя с фамилией)?
ОтветитьУдалитьВот сейчас я не знаю. Посмотрела у других блогеров тоже цифры стоят. Я где это посмотреть +ОлегЗенков.
УдалитьВ адресной строке так пишется. Только что посмотрел, у Вас вот так: +ВикаБарад. Я тоже думаю, что цифрами пропишу.
ОтветитьУдалитьПоняла сейчас. Да это есть.
Удалить