robots.txt для vbulletin 4.2.5

[deadushka]

Здравствуйте, есть ли какой то стандартный универсальный вариант robots.txt для версии форума 4.2.3 ?
Можно конечно поискать форумы с таким же движком и создать роботс на их основе, но не уверен что это лучший вариант. Да и долго, да и не охота.
Накидайте готовых вариантов для нового форума с минимальным количеством расширений, а?

 

[Razer]

Здравствуйте, есть ли какой то стандартный универсальный вариант robots.txt для версии форума 4.2.3 ?
Можно конечно поискать форумы с таким же движком и создать роботс на их основе, но не уверен что это лучший вариант. Да и долго, да и не охота.
Накидайте готовых вариантов для нового форума с минимальным количеством расширений, а?

Лучше всего написать самому.
Можно взять за основу этот:

User-agent: *
Disallow: /archive/
Disallow: /activity.php
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /includes/
Disallow: /images/
Disallow: /ajax.php
Disallow: /album.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /faq.php
Disallow: /global.php
Disallow: /group.php
Disallow: /group_inlinemod.php
Disallow: /groupsubscription.php
Disallow: /image.php
Disallow: /infraction.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /member.php
Disallow: /member_inlinemod.php
Disallow: /memberlist.php
Disallow: /moderation.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /picture.php
Disallow: /picture_inlinemod.php
Disallow: /picturecomment.php
Disallow: /poll.php
Disallow: /post_thanks.php
Disallow: /posthistory.php
Disallow: /postings.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /tags.php
Disallow: /threadrate.php
Disallow: /threadtag.php
Disallow: /search.php
Disallow: /search_google.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /subscription.php
Disallow: /subscriptions.php
Disallow: /tags.php
Disallow: /threadrate.php
Disallow: /threadtag.php
Disallow: /usercp.php
Disallow: /usernote.php
Disallow: /visitormessage.php

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MetaURI
Disallow: /

Host: ВАШСАЙТ.ru

Sitemap: http://ВАШСАЙТ.ru/sitemap_index.xml.gz