Техническое SEO. Как закрыть страницы от индексации. Оптимизация технической части

Эффективному SEO может помешать всего лишь одна досадная ошибка в технической оптимизации сайта, но это приведет к тому, что роботы ПС не смогут правильно индексировать ресурс, понять структуру сайта, а пользователи не найдут необходимую для них информацию. Все это, в свою очередь, приведет к низкому ранжированию сайта.

Техническая оптимизация сайта - это комплекс мер, которые направлены на корректировку технических аспектов ресурса с целью улучшения его взаимодействия с роботами поисковых систем. Техническая оптимизация позволяет обеспечить быструю и максимально полную индексацию страниц сайта.

5 основных параметров технической оптимизации

1. Файл robots.txt

Важно отметить, что файл robots.txt должен содержаться в корневой директории каждого ресурса. Это первый файл, к которому обращаются роботы ПС, когда заходят на сайт, и в котором хранятся инструкции для них.

В этом файле указаны параметры индексирования сайта: какие страницы следует заносить в поисковую базу, а какие нужно исключить. Помимо этого, в нем можно указывать директивы как для всех роботов поисковых систем сразу, так и для роботов каждой ПС в отдельности. Про составление данного файла и его настройку можно подробнее узнать на сайте помощи веб-мастерам Яндекса.

Проверить файл можно в сервисе Яндекс.Вебмастер , пункт меню «Анализ robots.txt» (https://webmaster.yandex.ru/robots.xml).

2. Sitemap - карта сайта

Карта сайта - одна из страниц ресурса, информация на которой аналогична содержанию обычной книги. Эта страница используется как элемент навигации. В карте сайта содержится полный перечень разделов и/или всех страниц, размещенных на ресурсе.

HTML-карта сайта нужна пользователям для быстрого и удобного поиска информации, а XML - поисковикам для улучшения индексации сайта.

С помощью карты сайта поисковые роботы видят всю структуру и быстрее индексируют новые страницы.

Проверка карты сайта (https://webmaster.yandex.ru/sitemaptest.xml)

Пример корректной карты сайта в формате.html:

3. Редиректы (перенаправления)

Редирект применяют для перенаправления посетителей ресурса с одной страницы на другую. Примеров, для чего нужны редиректы, достаточно много:

1. Смена доменного имени сайта.
2. Переклейка зеркал. У многих сайтов не настроен 301 редирект с домена, который содержит www в адресе, на домен без www, или наоборот.

Проставлять редиректы необходимо в файле.htaccess. Так как поисковые системы site.ru и www.site.ru могут считать разными сайтами, то в выдачу могут попадать дубли. Это создаст сложности с ранжированием в выдаче и т. д.

Основные статус-коды редиректов:

• 300 - Multiple Choices (несколько вариантов на выбор);
• 301 - Moved Permanently (перемещено навсегда);
• 302 - Temporary Redirect (временный редирект);
• 303 - See Other (затребованный ресурс можно найти по др. адресу);
• 304 - Not Modified (содержимое не изменялось - это могут быть рисунки, таблицы стилей и т. п.);
• 305 - Use Proxy (доступ должен осуществляться через прокси);
• 306 - Unused (не используется).

Полезный сервис для определения откликов страниц: http://www.bertal.ru/

4. Настройка видов URL-страницы

Важно проверить сайт на единообразие адреса всех его страниц. Например, на всем сайте страницы должны иметь закрывающий слеш: http://site.ru/katalog/ и http://site.ru/products/ . Если часть страниц имеет вид http://site.ru/katalog , а часть - http://site.ru/products/ это неверно.

Проверить адреса внутренних страниц ресурса на ошибки будет удобно после создания карты сайта.

5. Ошибки сайта

Во время загрузки любой страницы сайта посылается запрос серверу, который отвечает кодом статуса HTTP и загружает (или не загружает) страницу.

Основные статус-коды:

• 200 - со страницей все в порядке;
• 404 - несуществующая страница;
• 503 - сервер временно недоступен.

«404 ошибка» - один из наиболее важных технических параметров оптимизации, по которому обязательно следует проводить доработку.

Если страница существует, а сервер при ее запросе информирует о 404 ошибке, то страница не будет проиндексирована поисковиками. Иначе в индекс может попасть большое количество страниц с одинаковым текстом, что крайне негативно влияет на ранжирование.

Проверить коды статусов можно с помощью http://www.bertal.ru/ или Яндекс.Вебмастера.

Мы рассмотрели только основные параметры технической доработки сайта, на которые нужно обращать внимание в первую очередь. Если Вы обнаружите подобные ошибки на своем сайте или возникнут сложности с их устранением, обращайтесь только в профессиональную SEO-компанию.

Главная задача технической оптимизации – обеспечить максимальную индексацию всех страниц сайта. Если этого не сделать, то остальные меры по продвижению в ТОП могут оказаться напрасными.

Разумеется, технической оптимизацией должны заниматься профессионалы – разработчики сайтов. Тем, кто недостаточно хорошо разбирается в HTML-коде, не стоит пытаться что-то менять – можно только навредить.

Если все сделано верно, сайт грузится без задержек, ошибок и сбоев, не содержит битых ссылок и картинок и быстро индексируется. Чтобы добиться такого результата, нужно принять во внимание ряд факторов.

Время загрузки сайта

Время загрузки сайта – это период, который тратится на полную загрузку всех его элементов с того момента, как поступил запрос. Оно складывается из:

• времени ответа сервера;
• времени, за которое на компьютер приходит первый байт, отправленный сервером – TTFB (Time to first byte);
• времени обработки HTML и загрузки контента;
• времени до начала рендеринга – момента, когда страница становится видимой.

Скорость этих процессов зависит от чистоты кода, "веса" файлов, правильности верстки и грамотной оптимизации CSS и JC.

Google открыто признает, что время загрузки сайта – это фактор ранжирования. Компания MOZ провела по этому поводу исследование, давшее любопытные результаты:

"Яндекс" же, хоть официальных заявлений и не делает, в справке вебмастера указывает, что "выбирая хостинг для сайта, следует учитывать скорость доступа и наработку на отказ" , и советует "использовать тот хостинг, который обеспечит наилучшую скорость доступа к сайту и наименьшее время, в течение которого сайт может быть недоступен из-за технических неполадок."

Проверить скорость загрузки можно с помощью сервиса PageSpeed Insights .

Также нельзя забывать, что большую роль в ранжировании играют поведенческие факторы . Если скорость загрузки страницы низкая, это существенно и самым негативным образом сказывается на глубине просмотра и проценте отказов. Пользователь может потерять терпение, так и не дождавшись конца загрузки, и просто уйти к конкурентам. Кроме того, чем больше задержка, тем меньше страниц просматривается за одну сессию.

Ответ сервера

Проверить ответ сервера можно соответствующим инструментом Яндекс.Вебмастера. Со списком основных ответов сервиса можно ознакомиться в разделе "Помощь" Яндекс.Вебмастера .

При проверке веб-страниц ориентируйтесь на ответ сервера 200 ОК («хорошо»). Это значит, что со страницей все в порядке – ничего не запрещено к индексации и редиректы отсутствуют.

Другие распространенные ответы сервера:

• 301 Moved Permanently («перемещено навсегда») – настроен постоянный редирект. Это означает, что страница перемещена на новый адрес навсегда, а ссылка перенаправляет на другую страницу. Пользователи не могут их видеть, поэтому поисковый робот их не индексирует, но зато индексирует страницу, на которую установлен редирект.

  Используется в тех случаях, когда важно сохранить занимаемое старым URL место в поисковой выдаче, трафик и ссылочный вес. Однако старайтесь не злоупотреблять редиректами. Позиции сайта в поисковой выдаче могут просесть: 301-редирект передает ссылочный вес не более чем на 90% и увеличивает скорость загрузки. Замените все внутренние ссылки на новые и минимизируйте количество редиректов.

• 302 Moved Temporarily («перемещено временно») – временный редирект. Запрашиваемый ресурс временно находится под другим адресом и подразумевается, что в скором времени страница по старому адресу будет доступна для пользователей. В отличие от 301-редиректа, 302 не передает ссылочный вес новому адресу страницы.

  302-редирект уместно использовать в случае технических работ на сайте, для временного показа посетителям каких-либо материалов (которые могут часто меняться), без внесения изменений на старой странице – например акции интернет-магазинов.

• 404 Not Found («не найдено») – страница не существует. Основная задача такой страницы – принимать трафик по битым ссылкам. Поисковой робот относится к ней нормально, если переходит по внешней ссылке, но при переходе по внутренней она вызывает негативную реакцию.

  Для уменьшения процента отказов важно ее оптимизировать. Дизайн должен соответствовать общей стилистике сайта, а также давать пользователю варианты решения проблемы. Укажите на этой странице основные ссылки и разместите форму поиска по сайту.

• 503 Service Unavailable («сервис недоступен») – сервер временно недоступен и не может обрабатывать запросы по техническим причинам (перегрузка, обслуживание и прочее).

Установка 301-редиректов со всех неглавных зеркал сайта на основное

Определитесь с главным доменным именем и укажите его в файле.htaccess для поисковых систем, чтобы один и тот же сайт не воспринимался как дубль. Сюда относится склейка зеркал вида "vkontakte.ru" и "vk.com", а также зеркал с "www" и без "www".

Дубликаты и клоны

Если в сети существуют клоны вашего сайта, это плохо сказывается на продвижении – поисковые системы с большой долей вероятности наложат свои фильтры. Дубликаты страниц необходимо закрыть от индексации, а лучше вообще удалить.

Структура сайта и уровень вложенности страниц

Используйте широкую структуру вместо глубокой. Чем ближе страница к главной, тем лучше индексируется и продвигается.

Адреса страниц

Наилучшим адресом страницы является человекопонятный URL – ЧПУ. Он легче запоминается пользователем, а также помогает ориентироваться в местонахождении на сайте. В рамках одного ресурса следует пользоваться одним вариантом составления ЧПУ – либо перевод, либо транслитерация.

Файл robots.txt

В этом файле содержится список разрешенных и запрещенных для индексации страниц. Сайт может плохо поддаваться индексации, потому что поисковый робот уходит со страницы, как только натыкается на запрет на индексацию. Следует закрыть от индексации административную часть сайта, страницы с личной информацией пользователей, поиском по сайту, оформлением заказов и корзины.

Настройка robots.txt также включает в себя создание и указание файла sitemap.xtml, который поможет поисковому роботу лучше понять структуру сайта и быстрее проиндексировать как можно больше страниц.

Title, Description и заголовки

Title, Description и заголовки также частично влияют на техническую оптимизацию. Страниц с повторяющимися мета-тегами и заголовками быть не должно.

Заголовок h1, содержащий ключевое слово, не может появляться на странице более одного раза. На каждой странице может быть несколько заголовков h2-h6 с соблюдением градации: тег h2 следует за h1, h3-h6 идут после h2. Заголовок h2 не менее важен для продвижения, поскольку "Яндекс" формирует из h2 дополнительные заголовки для сниппетов, его можно использовать для продвижения по низкочастотным запросам. Не следует использовать заголовки как элементы оформления сайта (контакты, телефон, акции, новости).

Каждая ошибка в технической оптимизации, допущенная на начальных стадиях, впоследствии обязательно всплывет. То, что сейчас выглядит незначительным, в будущем создаст определенные проблемы и затруднит ваше продвижение к вершинам в выдаче. Обидно терять клиентов из-за таких, на первый взгляд, мелочей, поэтому оптимизация – процесс, требующий самого пристального внимания.

Продвижение сайта начинается с технической оптимизации. Как правило, такая процедура проводится один раз, позволяя в дальнейшем лишь вносить небольшие корректировки.

Любые недочеты в работе ресурса выявляются посредством технического аудита. Если загрузка страниц происходит медленно, сайт плохо индексируется поисковыми роботами, а при открытии ссылок появляются ошибки – самое время провести техническую оптимизацию сайта.

Техническая оптимизация сайта – это комплекс действий, направленных на обеспечение максимально полной и быстрой индексации страниц, улучшение взаимодействия с поисковыми системами, эффективное продвижение сайта. Это серьезная работа, которая в совокупности является базой для качественной и долгосрочной SEO-компании.

Работа по технической оптимизации сайта делится на несколько этапов.

Верстка и оптимизация кода

Стабильная и автоматизированная работа ресурса привлекает посетителей, которые открывают страницы не только в различных браузерах, но и через различные девайсы. Сайт должен отображаться корректно на экранах любого разрешения, а также на мобильных устройствах.

Чем больше «мусора» в коде, тем дольше грузятся страницы, а это отражается на поведенческих факторах пользователей.

Настройка редиректов

Редиректы (перенаправления) создаются при помощи файла.htaccess. Поисковые системы могут воспринимать адрес с www и без www как совершенно разные домены. Чтобы пользователи, набирающие по-разному адрес сайта, смогли попасть на ресурс, необходимо прописать правильный редирект.

Настройка 404 ошибки

Появление несуществующих страниц может отпугнуть многих пользователей, да и наличие ошибок в ссылках приводит к уменьшению индексации сайта. Поэтому, перед тем как заниматься продвижением ресурса, важно настроить корректную обработку 404 ошибки.

Файл robots.txt

Наличие копий страниц (дублей) – как внешних, так и внутренних – может повлечь за собой наложение санкций со стороны поисковых систем. С помощью корректировки составляющих элементов сайта улучшается работа всего ресурса, удаляется ненужный «мусор» и неиспользуемые статус коды.

В файле robots.txt прописываются директивы поисковым системам, указывающие какие разделы и страницы сайта можно индексировать, а какие нельзя. Как правило в этом файле закрываются от индексации все страницы дубли.

Настройка URL страниц

Важно, чтобы все адреса страниц на сайте обладали единым оформлением.

Зачастую адреса страниц сайта содержат как строчные буквы, так и заглавные. В этом случае при поиске страницы пользователем могут выдаваться ошибки. Чтобы предотвратить такую ситуацию, лучше использовать в адресах только строчные буквы.

Также особое значение имеет и правильная настройка редиректов со старых ссылок на новые.

Прочие технические доработки

Чек лист технической оптимизации довольно большой. В каждой отдельной ситуации могут возникнуть различные недочеты и проблемы, требующие индивидуального решения (к примеру, поменять структуру или скорректировать дизайн).

Пренебрежительное отношение к выполнению доработок препятствует многим сайтам в достижении топовых позиций в поиске, то есть сводит на нет все дальнейшие усилия по поисковому продвижению. Правильная и полная техническая оптимизация сайта является залогом успешного продвижения в поисковых системах.

Для улучшения внутренних технических показателей ресурса применяется техническая оптимизация. Техническая составляющая – это программный код сайта и все функциональные элементы, связанные с работоспособностью, потенциалом и безопасностью сайта.

О роли технической оптимизации

Важность данного этапа работ сложно переоценить. Любой сайт состоит из программного кода, который взаимодействует с другими программами – браузерами, поисковыми системами, встроенными модулями, программным обеспечением сервера. Ошибка в одном из этих звеньев неизбежно приводит к прочим серьезным неприятностям.

Если техническая сторона содержит ошибки, сайт не отвечает на запросы пользователей или слишком долго загружается, не отображается браузерами, посетители не увидят ни уникального дизайна, ни хорошего юзабилити, ни качественных текстов, ни карточек товаров. Схожие проблемы будут наблюдаться и с поисковыми системами, когда роботы не смогут получить доступ к страницам.

Техническая оптимизация сайта необходима даже тогда, когда никаких проблем не наблюдается. В этом случае оптимизация позволит улучшить качество сайта, ускорит его работу, избавит от дублей страниц и неработающих ссылок.

Оптимизация технической части

Для проверки скорости загрузки лучше использовать общедоступный инструмент от Google , который называется PageSpeed Insights. Этот же сервис подскажет, в каком направлении проводить дальнейшую техническую оптимизацию, какие параметры улучшать и какие проблемы устранять.

Описать все советы по ускорению сайта здесь невозможно, но среди общих рекомендаций отметим:

Оптимизацию (сжатие) изображений без потери качества;

Перенос в конец списка загрузки всех исполняемых скриптов (JavaScript , CSS );

Объединение элементов в единые файлы (скрипты – к скриптам, стили – к стилям);

Объединение мелких картинок в единые спрайты (листы картинок);

Очистку кода страниц от описаний стилей и лишнего, «мусорного» кода;

Включение сжатия и архивирования статичных фрагментов;

Использование возможностей кэширования в пользовательских браузерах.

2. Нерабочие ссылки. Все ссылки ресурса (внешние и внутренние) должны работать безупречно и указывать на реальные страницы или сервисы. Избавление проекта от так называемых «битых» (нерабочих) ссылок – важная часть технической оптимизации.

По ссылкам переходят поисковые роботы и пользователи, которые желают получить нужную информацию. Нерабочая ссылка уводит посетителя «в тупик», указывает на страницу с ошибкой 404, приводит к сбоям и плохо сказывается на юзабилити сайта. Все «битые» ссылки подлежат немедленному удалению или корректировке, иначе со временем их становится еще больше.

3. Дубли. Дублирующиеся страницы – это участки сайта, имеющие идентичный или схожий контент, но разные адреса URL . При индексации и ранжировании таких страниц возникает естественная путаница. В результате выдачу могут заполнить не те страницы, которые продвигает вебмастер, а их дубли. Дубли также приводят к рассредоточению важности страницы, потере уникальности, снижению статического веса.

Чтобы избавиться от этого неприятного момента и устранить техническую ошибку, нужно:

Грамотно спроектировать структуру;

Внести ограничения в файл robots .txt (команды для роботов);

Использовать тег noindex и атрибут ссылок nofollow ;

Воспользоваться специальными атрибутами канонизации (rel =“canonical ”).

4. Адреса URL . Сложно вести техническую оптимизацию уже запущенного и рабочего ресурса в отношении адресов URL . Любые вмешательства в адреса проиндексированных страниц оканчиваются плохо. Тем не менее, у новых и молодых сайтов данный элемент еще не устоялся, и его пока можно улучить.

Суть оптимизации URL сводится к повышению его читабельности, запоминаемости, использованию ЧПУ («человекопонятных URL »), упрощению, внедрению ключевых слов, приведению адреса к статическому виду. Простые и читабельные адреса, которые остаются стабильными, лучше воспринимаются пользователями и роботами, а именно это и нужно оптимизатору.

5. Верстка. Данный компонент отвечает за то, как именно будет отображаться сайт в разных браузерах и на различных устройствах. Программный код, из которого состоит сайт, имеет свои правила синтаксиса, и их следует соблюдать.

Для оценки качества верстки используется инструмент проверки валидации (валидности, чистоты, правильности) кода. При этом оценке и технической оптимизации подлежит:

Основной программный код HTML (в соответствии с заданным типом документа);

Программный код стилей (валидность CSS );

Исполняемый код скриптов (JavaScript , PHP ).

Дополнительно верстка оценивается зрительным образом на визуальные ошибки. С этой целью проще всего открыть сайт разными браузерами и проанализировать результат. Кстати, все вышеописанные работы должны проводиться для полной и мобильной версии проекта, чтобы не терять важную долю мобильного трафика.

6. Заголовки. Техническая оптимизация будет неполной, если не проверить уникальность заголовков страниц. На сайте не может быть 2-х страниц с одинаковыми заголовками, и данный параметр легко проверяется специальными инструментами технического аудита. Если же подобный казус встречается, его следует устранить.

7. Ответ сервера. На последнем этапе оптимизации полезно проверить ответ сервера с разных страниц ресурса. Нормальным считается ответ 200, но также допускаются редиректы (301, 302 и др.). В свою очередь, ответ 404 считается критической ошибкой и явным указателем на текущие проблемы веб-сайта (кроме специальной страницы ошибки 404).

Таким образом, можно видеть, как много работы входит в техническую оптимизацию сайта. Отдельные аспекты невозможно раскрыть в рамках небольшой статьи, и многие операции носят индивидуальный характер, зависят от типа конкретного сайта, специфики его работы, особенностей программного кода и настроек сервера (хостинга).

Переходим к рассмотрению вопросов технической оптимизации сайта.

Что такое техническая оптимизация сайта?

Техническая оптимизация сайта подразумевает реализацию комплекса мер по устранению технических огрехов в работе сайта, которые препятствуют корректному индексированию сайта поисковыми системами и использования пользователями. Первым нюансом технической оптимизации сайта является то, что ее проводят обычно только один раз в начале продвижения.

Частым огрехом начинающих либо недобросовестных оптимизаторов является исключение данного этапа из процесса поисковой оптимизации сайта . В результате такого халатного отношения к ресурсу он может не в полной мере индексироваться, что значительно ограничивает возможности для продвижения.

Устранением технических моментов сайта должны заниматься специалисты, т.к. неумелое внесение изменений может не только навредить, но и полностью нарушать функционал сайта и его работоспособность.

На какие технические доработки сайта необходимо обращать внимание?

В публикации про я уже вспоминал о технической оптимизации . Сейчас же хочется предоставить некоторую группировку, которая поможет более точно выявлять проблемы, их устранять либо ставить задачи техническим специалистам, если нет возможности выполнить доработку самостоятельно.

Технические проблемы сайта, препятствующие эффективному продвижению, можно разделить на следующие группы:

Проблемы хостинга и программного кода. Этот фактор является одним их наиболее критичных, т.к. от скорости хостинга и правильности работы программного кода зависит не только, как роботы поисковых систем будут его индексировать, но и лояльность посетителей ресурса. Сбои в работе, недоступность сайта и прочие проблемы, вызванные низким качеством хостинга и системы управления сайтом способны негативно сказаться на . Если вы по различным причинам все же выбрали дешевый хостинг , то рекомендую почитать о нем отзывы и, при возможности, заказать тестовый период, чтобы убедиться в надежности и соответствии хостинга вашим потребностям.

Настройка редиректов и страниц-ошибок. К этой группе относиться настройка зеркал сайта и указание основных, склейка дублируемых страниц. Следует позаботиться о том, чтобы все страницы сайта возвращали корректные коды, а ссылки на несуществующие страницы либо вели на страницу ошибки 404 либо производился корректный редирект на ее новый адрес или главную страницу сайта.

Настройка сайта для поисковых роботов. К данной группе относятся настройки разрешений и запретов на индексацию в файле robots.txt, а так же создание и указание файла sitemap.xml, который позволяет поисковым роботам лучше изучить структуру вашего сайта и сообщить обо всех существующих на нем страницах, которые вы хотите проиндексировать.

Корректировка шаблона, навигации, структуры. Данная группа технической оптимизации сайта включает корректировку внешнего вида сайта таким образом, чтобы он максимально эффективно индексировался поисковиками, корректно отображался в разных браузерах, был удобен в использовании. Это особенно актуально для сайтов, выполненных с применением технологии Flash, обилием JavaScript и прочих современных технических наворотов, которые могут некорректно восприниматься роботами поисковых систем.

Настройка URL для страниц. Для эффективного поискового продвижения сайта считается, чтобы ссылки на различные страницы сайта были постоянными и включали ключевые слов (примером может послужить адрес данной публикации). Настройка такого типа адресов производиться в специальном разделе CMS либо при помощи специальных директив в файле.htaccess. Если внешний вид ссылок изначально был задан не совсем подходящим образом и их пришлось изменить, стоит позаботиться о корректной переадресации со старых адресов на новые. Это позволит поисковым системам более быстро и корректно переиндексировать сайт, а так же сохранить уже приобретенный вес страниц от входящих ссылок на них.

Удаление дубликатов страниц и клонов. Стоит позаботиться о том, чтобы на сайте не было дублируемого контента. При чем, важно чтобы контент не дублировался и на прочих ресурсах или, так называемых, . Наличие дублей и аффилиатов может негативно сказаться на возможности продвижения сайта, т.к. высока вероятность