Перейти к содержимому

 Друзья: Всё для вебмастера | [ Реклама на форуме ]


Rutor


robots.txt для IPB 3.3.1


  • Авторизуйтесь для ответа в теме
В теме одно сообщение

#1
IStalkerI

IStalkerI

    Бит

  • Members
  • 5 сообщений
Здравствуйте.
После некоторых перетурбаций, (смена главного зеркала, введение ЧПУ) сайт выпал из индекса и начал входить в индекс с новыми страницами. И тут возникла неожиданность. Яндекс дофига страниц (уже порядка 20 тыс) отсеивает. В Яндекс Вебмастер пишет, что, мол страницы типа:
/index.php/tags/forums/%D0%90%D1%81%D1%82%D1%80%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F/
запрещены к индексации, вот роботс:

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread

Где Яндекс нашел запрет на индексирование такой страницы?

И насколько правильно запрещать страницы типа view__getnewpost$ и view__getlastpost$ к индексации? У меня их Яндекс отсеял невероятное количество, а они могли бы принести посетителей по идее..
Большое спасибо за подсказки!

#2
$iD

$iD

    Админ

  • root
  • PipPipPipPipPipPip
  • 3785 сообщений
всё правильно он делает, по этим ссылкам будут дубли страниц, т.е. у вас будет много ссылок на одну и ту же страницу, что не есть хорошо и яша этого не любит.


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных