Google дал вебмастерам возможность указывать, какие параметры динамического урла не должен учитывать робот поисковой системы. Таким образом, владельцы сайтов смогут решить две проблемы: дублированного контента и плохой индексации сайта. К параметрам, которые можно указать, как игнорируемые, относится, например, идентификатор сессии. Закрыв его, владелец даст роботу возможность индексировать уникальные страницы сайта, а не один и тот же контент с разными параметры в урле, и не «попадется» на дублированном контенте. Инструмент Google сам находит параметры, которые возможно скрыть от робота, а вебмастер уже вручную выбирает, стоит ли его игнорировать или нет.
Еще одним способом, с помощью которого поисковые системы борются с дублированным контентом, является канонический урл, введенный Google, Yahoo и Microsoft полгода назад. Вебмастера тогда получили возможность выбирать из множества урлов один, который поисковик будет считать каноническим. Возможность, которую предоставил Google сейчас, работает только в одной поисковой системе – Google. Также вебмастера используют 301 редирект, чтобы индексировалась и ранжировалась только страница, на которую идет перенаправление.
UPD. Google официально объявил, что у вебмастеров теперь есть еще одна возможность помочь роботу индексировать страницы без учеты параметров в динамических урлах. Раньше вебмастера уже могли выбирать урл, который поисковик будет считать каноническим. Главное отличие нового инструмента от указания канонического урла состоит в том, что выбор игнорируемых параметров вебмастер теперь делает для всего сайта, а канонический урл нужно было выбирать для каждой страницы. Но в новой системе есть и минус – такой сигнал будет восприниматься только Google, остальные поисковые системы его не видят. В то время как канонический урл распознается всеми.
Стоит добавить, что Google вчера объявил, что до конца этого года он введет возможность указывать канонический урл не только для страниц внутри домена, но и для других доменов. Таким образом, что указание урла на другом домене каноническим даст Google сигнал не учитывать ваш контент.