Определенные типы навигации могут препятствовать либо полностью сделать невозможной обработку контента сайта поисковиком. Во время своего путешествия по сети спайдеры для поиска новых документов и повторного посещения тех, которые могут быть изменены, опираются на архитектуру гиперссылок. Сложные ссылки и глубокая структура сайта с малым уникальным контентом могут служить в качестве бамперов. Данные, к которым не может быть получен доступ с помощью ссылок, называются стенами.

Возможные скоростные препятствия для поисковиков:

•URL с 2 и более динамическими параметрами, то есть http://www.url.com/page.php?id=4&CK=34rr&User=%Tom% (спайдеры могут неохотно обрабатывать сложные URL, как в этом примере, поскольку это часто приводит к ошибкам с посетителями, не являющимися людьми)
•Странички с более чем 100 уникальных линков на другие странички сайта (спайдеры могут не проследовать по каждой из них)
•Странички на расстоянии более 3 кликов/линков от домашней странички сайта (Спайдеры часто игнорируют глубоко расположенные странички. Исключение составляют случаи, когда существуют другие внешние ссылки, ведущие к сайту)
•Странички, запрашивающие “ID сессию” или Cookie для включения навигации (спайдеры могут не помнить данные элементы, как это делает пользователь браузера)
•Странички, созданные на основе фреймового дизайна, могут препятствовать обработке спайдером и вызывать затруднения при определении результатов ранжирования.
Возможные стены для спайдеров:

•Странички, к которым возможен доступ только посредством формы выбора и клавиши Submit.
•Странички с всплывающим меню (HTML атрибут) для входа
•Документы, доступ к которым можно получить только посредством строки поиска

•Намеренно заблокированные документы (посредством META тэга robots или файла robots.txt. Для получения более подробной информации перейдите по ссылке)
•Странички, требующие ввода логина
•Странички, которые перенаправляют на другой ресурс до показа контента (поисковики называют это сокрытием или методом “заманить и подменить”. В отношении подобных сайтов возможно применение санкций)
Ключ к гарантии того, что контент сайта будет полностью обработан спайдером, – постановка HTML линков на каждую страничку, которая должна быть проиндексирована спайдером. Помните, что если на страничку сайта нельзя попасть с домашней странички (с которых большинство пауков и начинает обработку), то велика вероятность, что данная страничка вовсе не будет проиндексирована поисковыми системами. Карта сайта (о которой речь пойдет далее в этом руководстве) может здесь сослужить хорошую службу.