Язык
Контакты
GitHub
Поддержка
Регистрация
Войти
Логин: Пароль: Запомнить:
Пользователи
Последние сообщения
Ответить
1 2 3

Robots.txt под Fapos CMS

ARMI

  • Заклинатель Атома
  • Пользователь
  • 1858
  • Репутация:46 
  • Предупреждения: 0 
  • Регистрация:
    4 Янв 2011
#11
ну впринципе ты прав.

Я горжусь тем, что помогаю в развитии бесплатной CMS - AtomX

Drunya

  • Man of God
  • Админ
  • 3527
  • Репутация:110 
  • Предупреждения: 0 
  • Регистрация:
    30 Ноя -0001
#12
Сашка_из_Шебекино, вообщето я не видел чтобы роботы отправляли какие либо формы самостоятельно. Впервые о таком слышу.

Я горжусь тем, что создал бесплатную CMS - AtomX. И люблю нашу команду)

Сашка_из_Шебекино

  • Заклинатель Атома
  • Пользователь
  • 1803
  • Репутация:87 
  • Предупреждения: 0 
  • Регистрация:
    27 Мар 2011
#13
Drunya, на юкозе это было. Для поиска ведь нет никакой каптчи, вот и пишут туда что хотят

Drunya

  • Man of God
  • Админ
  • 3527
  • Репутация:110 
  • Предупреждения: 0 
  • Регистрация:
    30 Ноя -0001
#14
К стати, если вернуться к теме разговора, то надо запретить в robots.txt ссылки на загрузки файлов

Disallow: /forum/download_file/
Disallow: /loads/download_file/

Вот это действительно то, что поисковику не надо.

Добавлено2011.07.12 16-58

Вот пример, который мне кажется самым нормальным
Code:
User-agent: *
Disallow: /forum/download_file/
Disallow: /loads/download_file/
Disallow: /admin/
Host: fapos.net

Добавлено2011.07.12 16-59

ну и плюс search можно закрыть.

Я горжусь тем, что создал бесплатную CMS - AtomX. И люблю нашу команду)

Jimmo

  • Джуниор
  • Юзер
  • 4
  • Репутация:1 
  • Предупреждения: 0 
  • Регистрация:
    12 Июл 2011
#15
По поводу поиска. Главное, чтобы страницы с результатами поиска не попадали в индекс. А как сам бот яндекса шуршит по сайту роли не играет.

Продвинем Fapos к вершинам успеха

Drunya

  • Man of God
  • Админ
  • 3527
  • Репутация:110 
  • Предупреждения: 0 
  • Регистрация:
    30 Ноя -0001
#16
Jimmo пишет:
Главное, чтобы страницы с результатами поиска не попадали в индекс
Почему?

Я горжусь тем, что создал бесплатную CMS - AtomX. И люблю нашу команду)

LIFE-STALKER

  • Истенный Атомовод
  • Юзер
  • 363
  • Репутация:6 
  • Предупреждения: 0 
  • Регистрация:
    25 Июн 2011
#17
Что т время прошло,но все равно отпишусь.
Думаю модули чат и пользователи будут тоже бессмыслены,в итоге у нас получается:
Code:
User-agent: *
Disallow: /forum/download_file/
Disallow: /loads/download_file/
Disallow: /admin/
Disallow: /users/
Disallow: /chat/
Disallow: /search/

Sitemap: http://yoursite/sitemap.xml
Директива Host тут тоже не к чему,т.к. зеркал нет,а собираем обычный robots,кому надо тот поставит.

Drunya

  • Man of God
  • Админ
  • 3527
  • Репутация:110 
  • Предупреждения: 0 
  • Регистрация:
    30 Ноя -0001
#18
LIFE-STALKER, согласен со всем кроме users. Почему бы и не открыть этот модуль для ПС? Там тоже инфа которая может пригодиться. Например вдруг кто то будет искать по нику кого то, вот тут то это и понадобится))

Я горжусь тем, что создал бесплатную CMS - AtomX. И люблю нашу команду)

BAH0

  • Атом-фан
  • Пользователь
  • 544
  • Репутация:26 
  • Предупреждения: 0 
  • Регистрация:
    7 Июн 2011
#19
так что впитывать то:)

LIFE-STALKER

  • Истенный Атомовод
  • Юзер
  • 363
  • Репутация:6 
  • Предупреждения: 0 
  • Регистрация:
    25 Июн 2011
#20
BAH0 для кого как.
Drunya считает вот этот robots.txt нормальным
Code:
User-agent: *
Disallow: /forum/download_file/
Disallow: /loads/download_file/
Disallow: /admin/
Disallow: /chat/
Disallow: /search/

Sitemap: http://yoursite/sitemap.xml

Drunya З.Ы. ещё одна причина почему стоит включить в robots /users/ так это то что ссылки с профилей будут индексироваться.

1 2 3
Сейчас online: 26. Зарегистрированных: 2. Гостей: 24.