Показано с 1 по 2 из 2

Тема: Создание robots.txt



Добавить в Избранное
  1. #1
    Новичок Значок администратора Репутация: 477 Аватар для admin
    Регистрация
    30.04.2010
    Адрес
    www.pageranker.ru
    Сообщений
    3,232

    Создание robots.txt

    Страница генератора robots.txt:
    http://htmlweb.ru/analiz/robots.php

    Генерирование этого файла в принципе не представляет сложности.



  2. Реклама на PageRanker.Ru

  3. #2
    Новичок Значок администратора Репутация: 477 Аватар для admin
    Регистрация
    30.04.2010
    Адрес
    www.pageranker.ru
    Сообщений
    3,232
    Кстати, хотел обратить внимание тех, кто впервые сталкивается с понятием управления поисковыми роботами (файл robots.txt).
    Важно знать, что неверное использование этого файла можен нанести прямой вред посещаемости Вашего Интернет-ресурса.

    Для примера правильной настройки robots.txt, выгружу свой, чтобы Вы могли наглядно все посмотреть.

    Код:
    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Disallow: /forum/editpost.php
    Disallow: /forum/gamercard.php
    Disallow: /forum/inlinemod.php
    Disallow: /forum/member.php
    Disallow: /forum/memberlist.php
    Disallow: /forum/newreply.php
    Disallow: /forum/newthread.php
    Disallow: /forum/payments.php
    Disallow: /forum/printthread.php
    Disallow: /forum/private.php
    Disallow: /forum/profile.php
    Disallow: /forum/report.php
    Disallow: /forum/search.php
    Disallow: /forum/sendmessage.php
    Disallow: /forum/showpost.php
    Disallow: /forum/usercp.php
    Disallow: /forum/usernote.php
    User-agent: Mediapartners-Google
    Allow: /member.php
    Allow: /private.php
    Allow: /usercp.php
    Sitemap: http://www.pageranker.ru/index.php?o...&no_html=1
    Кстати, проверить файл robots.txt можно на сервисе Яндекса по адресу:
    http://webmaster.yandex.ru/robots.xml

Информация о теме

Пользователи, просматривающие эту тему

Эту тему просматривают: 1 (пользователей: 0 , гостей: 1)

     

Метки этой темы

Ваши права

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения
  •