После некоторых перетурбаций, (смена главного зеркала, введение ЧПУ) сайт выпал из индекса и начал входить в индекс с новыми страницами. И тут возникла неожиданность. Яндекс дофига страниц (уже порядка 20 тыс) отсеивает. В Яндекс Вебмастер пишет, что, мол страницы типа:
/index.php/tags/forums/%D0%90%D1%81%D1%82%D1%80%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F/
запрещены к индексации, вот роботс:
User-agent: * Disallow: /admin/ Disallow: /cache/ Disallow: /converge_local/ Disallow: /hooks/ Disallow: /ips_kernel/ Disallow: /retail/ Disallow: /public/style_captcha/ Disallow: /index.php?app=core&module=task Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=messaging Disallow: /index.php?app=members&module=chat Disallow: /index.php?app=members&module=search Disallow: /index.php?app=members&module=search&do=active Disallow: /index.php?&unlockUserAgent=1 Disallow: /*app=core&module=usercp Disallow: /*app=core&module=usercp Disallow: /*app=members&module=messaging Disallow: /*&p= Disallow: /*&pid= Disallow: /*&hl= Disallow: /*&start= Disallow: /*view__getnewpost$ Disallow: /*view__getlastpost$ Disallow: /*view__old$ Disallow: /*view__new$ Disallow: /*view__getfirst$ Disallow: /*view__getprevious$ Disallow: /*view__getnext$ Disallow: /*view__getlast$ Disallow: /*&view=getnewpost$ Disallow: /*&view=getlastpost$ Disallow: /*&view=old$ Disallow: /*&view=new$ Disallow: /*&view=getfirst$ Disallow: /*&view=getprevious$ Disallow: /*&view=getnext$ Disallow: /*&view=getlast$ Disallow: /*?s= Disallow: /*&s= Disallow: /index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /index.php?app=forums&module=extras§ion=rating Disallow: /index.php?app=forums&module=forums§ion=markasread
Где Яндекс нашел запрет на индексирование такой страницы?
И насколько правильно запрещать страницы типа view__getnewpost$ и view__getlastpost$ к индексации? У меня их Яндекс отсеял невероятное количество, а они могли бы принести посетителей по идее..
Большое спасибо за подсказки!