интернет
Как и обещал в этой статье выложу свой вариант текстового файла robots.txt. Я не считаю его идеальным вариантом. Многие могут настучать мне по тыковке, найдя в нем, чего-то того, что с их точки зрения некорректно прописано. В защиту своего варианта отмечу только то, что благодаря ему количество страниц в индексе Яндекса начало увеличиваться. А ведь совсем еще недавно в этом чертовом индексе была лишь всего одна главная страница. Если есть какие-то замечания пользователей, и опытных вебмастеров, с удовольствием приму к сведению.
Итак сам файл: далее…
