Обновленного сервиса для вебмастеров.

В Яндекс Вебмастер были добавлены новые отчеты, существенно улучшена визуализация данных, изменился интерфейс и многое другое.

Нововведений достаточно много, но сегодня хотелось бы остановиться на отчете «Статистика индексирования», и как с его помощью можно обнаружить дубли и мусорные страницы.

На многих сайтах есть неинформативные страницы, которые сканируют поисковые системы, но не добавляют в свой индекс, т.к. понимают что они появились в результате технических ошибок. Работа seo специалиста как раз таки заключается в том, чтобы устранить все проблемы в сканировании и индексировании ресурса.

Если мы устраним десятки, а то и сотни мусорных страниц, на сканирование которых тратят время поисковые системы, мы сможем увеличить частоту сканирования и индексирования полезных страниц сайта, а следовательно и улучшить ранжирование ресурса в поисковых системах.

На странице отчета «Статистика индексирования» мы сможем узнать:

• Какие страницы сайта сканирует робот;
• Какие страницы робот исключил из поиска;
• Какие страницы проиндексированы и находятся в индексе поисковой системы Яндекс.

Для поиска дубликатов и мусорных страниц достаточно проанализировать полный список загруженных Яндексом url-адресов.

В сервисе есть возможность выгрузить архив со всеми url-адресами, которые были просканированы роботом Яндекса. Для загрузки нужно перейти по ссылке:

В итоге мы получаем файл в формате.tsv, открыть который можно через Excel, Libre Office или простым блокнотом.

Файл также содержит следующие данные:

• Коды ответа сервера.
• Дату последнего сканирования в формате Unix time , преобразовать можно, задав в консоли запрос вида date -r .
• Проиндексированность страниц.
• В столбце «Double» находятся ссылки на дубликаты страницы, если они есть.

Примеры найденных ошибок на сайтах благодаря данным о загруженных страницах роботами Яндекса:

Сайт asteria.ua:

Были обнаружены следующие страницы:

http://asteria.ua/special/razdel/104.html
http://asteria.ua/uslugi/razdel/77.html
http://asteria.ua/kompaniya/razdel/27.html
http://asteria.ua/partneri/razdel/4.html

Это полные дубликаты страниц сайта, они не проиндексированы, но регулярно сканируются Яндексом, следовательно их нужно как можно скорее устранить.

Ещё несколько страниц дубликатов:

http://asteria.ua/index.php?get=easytostart.html
http://asteria.ua/index.php?get=vkluchenie.html
http://asteria.ua/index.php?get=uslugi.html
http://asteria.ua/index.php?get=kontakti.html
http://asteria.ua/index.php?get=shtraf_uvelichili.html

Эти страницы, на момент анализа, перенаправляли пользователей на корректный url-адрес с ЧПУ, но отдавали код 200, а не 301.

Сайт novebti.ua:

Были найдены дубликаты главной страницы сайта:

http://novebti.ua/?razdel=uslugi_view&content=41
http://novebti.ua/?razdel=uslugi_view&content=1
http://novebti.ua/?razdel=uslugi_view&content=26
http://novebti.ua/?razdel=reviews

С этих страниц нужно написать link rel=»canonical» на главную страницу сайта.

А также дубликаты других страниц сайта:
http://novebti.ua/index.php?do=contacts
http://novebti.ua/index.php?do=uslugi/razrabotka_gradostroitelnogo_rascheta

Страницы пагинации и тегов:
http://novebti.ua/faq?ask=true?p=35
http://novebti.ua/article?tag=%CD%EE%E2%EE%F1%F2%E8%20%EA%EE%EC%EF%E0%ED%E8%E8
http://novebti.ua/faq?ask=true?p=40
http://novebti.ua/faq?p=47

Страницы такого типа лучше всего закрывать при помощи мета тега robots=»noindex, follow».

Сайт asiamshop.com.ua:

Было обнаружено множество страниц вида:
http://asiamshop.com.ua/component/jcomments/captcha/32798
http://asiamshop.com.ua/component/jcomments/captcha/42306

Таких страниц много десятков, они генерируются модулем комментирования jcomments, такие страницы нужно закрыть от сканирования, так как они не несут никакой ценности.Так как у этих страниц нет возможности прописать мета тег robots, то лучше их закрыть при помощи файла Robots.txt.

Вывод:

Основное преимущество сервиса состоит в том, что мы анализируем базу url-адресов поисковой системы, а не парсера страниц сайта, который не сможет найти url-адреса на которые нет внутренних ссылок.

Используя инструмент «Статистика индексирования» в новом Яндекс Вебмастере можно в течение 30 минут проанализировать страницы, которые посещает робот, обнаружить проблемы и продумать варианты их решения.

Если вы нашли ошибку, выделите участок текста и нажмите Ctrl + Enter или воспользуйтесь ссылкой , чтобы сообщить нам.

Привет, Хабр! Все мы любим, когда сайт отлично работает на любом устройстве, вне зависимости от размеров экрана, способов управления и взаимодействия. Нередко контент приходится незначительно адаптировать к устройству, на котором его просматривает пользователь: например, оптимизация для небольшого экрана смартфона предполагает изменение изображений и других элементов содержания. Чтобы мобильным посетителям было удобнее, разработчики нередко используют всплывающую панель навигации . Если такие модификации реализованы должным образом и их цель - повысить удобство, мы не рассматриваем их как нарушение правил Google.

То же самое относится к переадресации на сайты для мобильных устройств. Пользователям смартфонов будет удобнее работать не с обычной версией сайта, а с мобильной. Поэтому переадресация, например, с example.com/url1 на m.example.com/url1 оправдана. Однако скрытая переадресация мобильных пользователей на посторонние страницы мешает работе и нарушает рекомендации Google для веб-мастеров .

Пример нарушения: страница с результатами поиска на компьютере и мобильном устройстве телефоне показывает один и тот же URL. Нажав на эту ссылку, пользователь компьютера попадет на целевую страницу, а пользователь смартфона будет перенаправлен на другой URL.

Что, где, когда?

Сегодня существует множество способов создать сайт. От готовых движков, плагинов и тем, до комфортных IDE, которые не требуют практически никаких знаний в области вёрстки. У многих крупных или старых ресурсов давно (ещё во времена обычных телефонов с JAVA-браузерами) появилась мобильная версия, которая может сильно отличаться от «полноценной». Тем не менее, мы считаем, что содержание сайта и предоставляемая информация должны совпадать по сути на всех устройствах. Давайте рассмотрим основные проблемы переадресации мобильных пользователей.

Проблемная обработка мобильных устройств
Иногда веб-мастера сами настраивают переадресацию мобильных посетителей, как правило, с нарушением наших рекомендаций . Если это вредит пользователям, мы вручную принимаем меры для решения проблемы (подробнее об этом читайте в конце статьи). Однако нам также известны случаи, когда скрытая переадресация выполняется без ведома владельца сайта .

Умышленное перенаправление в рекламных целях
Скрипт или элемент, размещенные на сайте для показа рекламы или монетизации контента, могут перенаправлять мобильных пользователей на сайт другой тематики без ведома веб-мастера. Причём неважно, вы сами разместили «проблемный» скрипт или ваш сайт взломали: если не понимать исходный код подключаемых модулей, получить троянского коня проще простого.

Переадресация мобильных пользователей в результате взлома сайта
Если ваш сайт взломан, он может перенаправлять мобильных пользователей в домены, которые распространяют спам, незаконно собирают личные данные или воруют деньги с банковских карт. Что делать, если вы стали жертвой подобных переадресаций?

Общая программа действий проста, как раз-два-три: определить, изолировать, предотвратить. За дело!

Как обнаружить скрытую переадресацию для мобильных устройств?

Чтобы грамотно бороться с проблемой, её надо определить. О том, что кто-то «ворует» ваших мобильных пользователей вы можете и не догадываться, пока кто-нибудь не пожалутеся или вы сами случайно не наткнётесь на результаты работы вредоносных скриптов.

Сообщения от посетителей могут нести мало полезной информации и нагонять панику: «Я открыл ваш сайт, а он меня А-а-а-а-а-а, У-у-у-у-у-у, Ы-ы-ы-ы и предлагает тухлые фрукты по оптовым ценам» . Ни проблемной страницы, ни информации об устройстве или браузере.

Итак, шаг первый: найти проблему. Советы могут выглядеть очевидными, но как показала практика, когда дело доходит до реальных проблем, многие пользователи и веб-мастера теряются и не знают, с чего начать. Начать следует с самого простого:

• Откройте сайт на смартфоне и посмотрите, не попадете ли вы на другой ресурс
  Мы рекомендуем проверить свой сайт, перейдя на него из результатов поиска Google на смартфоне. При современном разнообразии на рынке мобильных устройств отладку удобнее проводить с использованием эмуляции мобильных устройств в компьютерных браузерах. Данную функцию поддерживают Chrome , Firefox и Safari . В последнем случае (Safari) потребуется открыть настройки браузера и установить флажок «Показывать меню „Разработка“ в строке меню».
• Изучайте отзывы посетителей
  Пользователи могут видеть ваш сайт не так, как вы. У кого-то старый браузер, укого-то гора экстеншнов (они тоже могут подвергнутся атаке и начать подсовывать рекламу / переадресовывать пользователей). Всегда читайте отзывы посетителей и обращайте внимание на их жалобы, чтобы вовремя выявлять проблемы. Если требуется, задавайте уточняющие вопросы, попросите прислать скриншот или рассказать, как именно пользователь попал на проблемную страницу.
• Отслеживайте действия посетителей и анализируйте статистику сайта
  Необычные действия мобильных пользователей можно обнаружить, изучая данные веб-аналитики. Стастистика - мощнейший инструмент, который позволяет выявлять проблемы там, где одиночные проверки и тесты ничего не показывают. Например, если среднее время, проведенное на сайте владельцами мобильных устройств (и только ими), резко сократилось - это может быть вызвано переадресацией.

  Чтобы сразу же узнавать о значительных изменениях в поведении мобильных пользователей, можно настроить специальные оповещения в Google Analytics .

  Попробуйте создать оповещение о резком снижении времени, проведенного мобильными посетителями на сайте, или уменьшении их количества. При этом следует помнить, что значительные изменения этих показателей не всегда являются непосредственным следствием скрытой переадресации, но снижение посещаемости всё равно стоит изучить. Вы же сайт не просто так делали?

На моем сайте обнаружена скрытая переадресация для мобильных пользователей. Что делать?

Допустим, вы нашли проблему? Что дальше? Как с ней бороться? Шаг второй: изолировать источник проблем. Источников переадресации может быть два - внешнее или внутреннее воздействие.

В первом случае кто-то получил доступ к вашему сайту (уязвимости для популярных движков регулярно находятся и не всегда оперативно закрываются). Во втором вы, сами того не желая, заложили «бомбу замедленного действия», вставив какой-нибудь скрипт, не проверив его содержимое. Опционально, движок сайта мог самостоятельно обновить элементы с какого-нибудь репозитория, который был взломан. В любом случае, для устранения подобных проблем алгоритм одинаковый.

• Проверьте, не взломан ли сайт
  Откройте раздел Проблемы безопасности в Search Console: если мы обнаружили взлом, внутри вы найдёте соответствующее оповещение.
  Кроме того, стоит изучить дополнительную информацию о типичных признаках взломанных сайтов и примеры из нашей практики . Если вы используете какой-либо движок или фреймворк - посмотрите новости соответствующего сообщества, быть может с проблемой столкнулись не только вы.
• Проверьте, нет ли на сайте посторонних скриптов и элементов
  Если ваш сайт не взломан, проверьте, нет ли на нем сторонних скриптов или элементов, выполняющих переадресацию. Для этого выполните следующие действия:
  1. Внимание! Прежде чем вносить какие-либо изменения в работающий сайт, создайте резервную копию сайта, проверьте её работоспособность.
  2. Найдите страницу, на которой осуществляется переадресация пользователей. Если на ней находятся чужие скрипты и элементы - смело удаляйте их по одному.
  3. После каждого удаления проверяйте с мобильного устройства или через эмулятор, происходит ли переадресация.
  4. После локализации элемента, отвечающего за скрытую переадресацию, удалите его со всех страниц. Если элемент критически важен и необходим для функционирования сайта - попросите его поставщика помочь вам с отладкой.

Защищаем сайт

Шаг третий: предотвратить повторение. Здесь всё просто. Вы нашли причину переадресации - скрипт, элемент, модуль, что угодно. Если вы знаете, откуда он взялся - возможно, стоит перестать пользоваться этим источником расширений. Если нет - проверьте список известных уязвимостей для вашего движка или фреймворка, набора библиотек. Возможно, разработчики успели выпустить срочные обновления.

Не стоит исключать и человеческий фактор. Если взлома не было и вы не размещали скрипты / библиотеки / элементы, а они появились - посмотрите на историю доступов к сайту, возможно, инициативные модераторы или администраторы контента могли умышленно или неумышленно занести заразу на сайт.

Проверьте разрешения на чтение / запись в определённые папки, если запись не требуется - поставьте атрибут read only, он помешает злоумышленникам и вредоносам, попавшим через узкую лазейку, прописаться в рабочих папках и повысить уровень привилегий.

Используйте Search Console

Если пользователь перенаправляется на другие страницы с целью показать контент, отличный от представленного в результатах поиска, это является нарушением рекомендаций Google для веб-мастеров. Подробнее о скрытой переадресации можно прочитать .

Команда Google по оценке качества поиска может принять меры в отношении таких сайтов, например удалить URL из нашего индекса. Если подобное случится, вы, как владелец сайта увидите в Search Console соответствующие оповещения. Это лишь одна из причин, по которой мы рекомендуем вам зарегистрировать аккаунт в Search Console. Сам сервис крайне гибок и позволяет не только получать своевременные уведомления о проблемах, но и анализировать текущее состояние сайта, а также направлять в Google запросы на повторную проверку. Быстро, удобно, а главное - в одном месте.

One more thing

Выбирайте рекламодателей, которые не будут направлять ваших посетителей на неожиданные страницы. Если вы стремитесь к развитию доверительных отношений в отрасли - ознакомьтесь с рекомендациями по работе в рекламных сетях. Вы можете начать с изучения рекомендаций IAB по обеспечению качества площадок .

Существует много способов монетизации контента для мобильных устройств, обеспечивающих высокий уровень удобства для пользователей и не приводящих к удалению вашего сайта из поисковой выдачи. Используйте их.

Вредоносный код может быть добавлен на сайт умышленно или случайно:

• злоумышленником, который получил доступ к серверам или системе управления сайтом;
• владельцем сайта (например, код баннерной системы, счетчика веб-аналитики) - сторонние ресурсы могут быть взломаны;
• пользователем сайта, если есть возможность оставлять сообщения или загружать файлы.

Какие именно страницы сайта заражены?

Перечень страниц, на которых обнаружен вредоносный код, можно найти в Яндекс.Вебмастере, в разделе Безопасность и нарушения .

Список может быть неполным, так как страницы проверяются выборочно. Также следует помнить, что зараженным может оказаться код, включенный во все страницы - например, заголовок или подвал сайта.

Как часто происходят проверки?

Период проверок варьируется, поэтому данные о заражении могут обновляться с задержкой.

Сайт, на котором Яндекс нашел вредоносное содержимое, обязательно будет перепроверен. Если в ходе следующей проверки окажется, что сайт все еще заражен, интервалы между перепроверками начнут увеличиваться. Чем раньше сайт будет обеззаражен, тем быстрее Яндекс узнает об этом и снимет пометку об опасности для пользователей.

Как найти вредоносный клиентский код на своём сайте?

Я все исправил, как убрать пометку об опасности сайта?

Пометка об опасности сайта в результатах поиска будет снята, если при очередной проверке робот Яндекса не обнаружит заражения. Чтобы ускорить перепроверку, в интерфейсе Яндекс.Вебмастера, в разделе Безопасность и нарушения , нажмите кнопку Я все исправил .

Зачем регистрироваться в Яндекс.Вебмастере?

Яндекс.Вебмастер перечисляет страницы, на которых Яндекс обнаружил вредоносный код, сообщает вердикт антивируса для каждой страницы и показывает цепочки заражения . Также сервис позволяет вам запросить перепроверку заражения, чтобы как можно скорее снять пометку об опасности сайта в результатах поиска.

Чтобы данные о сайте были доступны только владельцу и его доверенным лицам, необходимо зарегистрироваться и подтвердить права на управление сайтом .

Как защитить сайт от новых заражений?

Почему сайт в результатах поиска помечен как зараженный, но в Вебмастере списка зараженных страниц нет?

Страницы разных доменов проходят проверку на вредоносный код независимо друг от друга. Если разные домены одного сайта (например, www.example.com и example.com ), не склеены Яндексом как зеркала , в Яндекс.Вебмастере информация может быть неполная. Домен, зарегистрированный в Яндекс.Вебмастере, может не помечаться как опасный, в то время как страницы на незарегистрированном домене будут зараженными.

Зарегистрируйте второй домен на сервисе. После этого вы сможете видеть информацию о заражении для обоих доменов, и запрашивать перепроверки безопасности для каждого из них.

Почему приходит много противоречивых сообщений о заражении сайта?

Обычно такие сообщения говорят о попытке вредоносного кода скрыть свою активность от сканирующей системы: код может проявляться с определенной периодичностью либо при соблюдении определенных условий. Например, только при переходе на сайт из поисковых систем или только для определенных браузеров.

Проверьте на заражение все файлы сайта.

• From:
• Registered: 2014.07.07
• Posts: 3,648
• I just like PunBB:
• 5 years, 3 months, 5 days,
• Likes: 425

Topic: Меры принятые вручную

Что делать, если на почту пришло письмо:
Маскировка и/или скрытая переадресация

Мы обнаружили, что страницы на Вашем сайте, которые видят посетители, отличаются от тех, которые предоставляются роботу Google. Например, пользователи определенных браузеров, устройств или с IP-адресами в заданном диапазоне могут перенаправляться на другие страницы. Поскольку маскировка и скрытая переадресация являются нарушением рекомендаций Google для веб-мастеров, мы вручную приняли меры в отношении (вашего сайта) для защиты от спама. К Вашему сайту или его разделам также могут быть применены и другие меры.

С помощью функции Просмотреть как Googlebot в Инструментах для веб-мастеров проверьте, предоставляется ли роботу Google тот же контент, что и пользователям.
Измените или удалите страницы, на которых используется маскировка или с которых осуществляется скрытая переадресация пользователей определенных браузеров, устройств или с IP-адресами в заданном диапазоне.

Ознакомьтесь со списком мер, действующих в отношении Вашего сайта, на странице Меры, принятые вручную. Если список пуст, запрос на повторную проверку отправлять не нужно.

Когда сайт будет приведен в соответствие с рекомендациями Google для веб-мастеров, отправьте запрос на его повторную проверку. Если Ваш сайт будет соответствовать нашим рекомендациям, принятые вручную меры будут отменены.

Если Ваш сайт будет соответствовать нашим рекомендациям, принятые вручную меры будут отменены.
Вопросы о способах устранения этой проблемы можно задать на справочном форуме для веб-мастеров.

2 Reply by PunBB

• From: Moscow, Sovkhoznay 3, apt. 98
• Registered: 2014.07.07
• Posts: 3,648
• I just like PunBB:
• 5 years, 3 months, 5 days,
• Likes: 425

Re: Меры принятые вручную

Под маскировкой подразумевается предоставление неодинакового контента или разных URL пользователям и поисковым системам. Использование маскировки является нарушением рекомендаций Google для веб-мастеров, поскольку пользователям предоставляются не те результаты, которые ожидались.

Ниже приведены некоторые примеры маскировки.

Предоставление поисковым системам страницы с HTML-текстом, а пользователям – страницы с картинками или Flash
Добавление на страницу текста или ключевых слов только в ответ на запрос этой страницы агентом пользователя, связанным с поисковой системой
Если на вашем сайте имеется содержание, при доступе к которому у поисковых систем могут возникнуть проблемы (JavaScript, изображения, Flash и т. п.), ознакомьтесь с нашими рекомендациями о том, как обеспечить возможность доступа поисковых систем к этому содержанию без использования маскировки.

Зачастую на сайты, подвергшиеся взлому, хакер добавляет содержание с помощью маскировки, чтобы веб-мастеру было сложнее обнаружить взлом

3 Reply by PunBB

• From: Moscow, Sovkhoznay 3, apt. 98
• Registered: 2014.07.07
• Posts: 3,648
• I just like PunBB:
• 5 years, 3 months, 5 days,
• Likes: 425

Re: Меры принятые вручную

Скрытая переадресация

Переадресацией называется перенаправление пользователя на другой URL вместо запрошенного. Часто этот метод используется обоснованно, к примеру, при переносе сайта на новый домен или объединении нескольких страниц в одну.

Однако в некоторых случаях переадресация применяется для обмана поисковой системы или для показа посетителям страниц отличных от тех, которые анализирует сканер. Это нарушение наших правил. В такой ситуации поисковый робот, скорее всего, не будет перенаправлен и проиндексирует содержание исходной страницы, в то время как пользователи увидят страницу переадресации. Как и при маскировке, такие действия являются мошенническими, поскольку людям и роботу Googlebot предоставляется разное содержание, и посетители могут быть перенаправлены не на ту страницу, на которую они хотели попасть.

Ниже приведены некоторые примеры скрытой переадресации:

Поисковый сканер анализирует одну страницу, а пользователям показывается совершенно другая.
Пользователи компьютеров видят обычную страницу, в то время как пользователи смартфонов перенаправляются хакерами на совершенно другой домен.
Веб-мастер может использовать JavaScript для переадресации посетителей, не желая обмануть их. Например, если вам нужно направить посетителя на внутреннюю страницу сайта после того, как он выполнит вход, применение JavaScript будет уместно. При проверке переадресации с помощью JavaScript или других методов на своем сайте на предмет соответствия требованиям нашего руководства подумайте, как могут быть истолкованы ваши цели. Не забывайте, что при переносе сайта на другой домен лучше всего задействовать переадресацию 301. Если же у вас нет доступа к серверу, на котором размещен сайт, можно использовать JavaScript.

4 Reply by PunBB

• From: Moscow, Sovkhoznay 3, apt. 98
• Registered: 2014.07.07
• Posts: 3,648
• I just like PunBB:
• 5 years, 3 months, 5 days,
• Likes: 425

Re: Меры принятые вручную

Запросы на повторную проверку

Что такое запрос на повторную проверку?

Эта процедура выполняется, если вы устранили все выявленные нарушения правил на своем сайте и хотите сообщить об этом в Google. Подробности вы найдете здесь.

Как отправить запрос на повторную проверку
Выполните следующие действия:

Войдите в свой аккаунт Search Console.
Проверьте все версии своего сайта.
В разделе "Меры, принятые вручную" прочитайте, какие действия предприняли специалисты Google в отношении вашего сайта.
Устраните все выявленные проблемы.
Перейдите в раздел "Проблемы безопасности" и узнайте, все ли в порядке с вашим сайтом.
Нажмите "Запросить проверку".

5 Reply by PunBB

• From: Moscow, Sovkhoznay 3, apt. 98
• Registered: 2014.07.07
• Posts: 3,648
• I just like PunBB:
• 5 years, 3 months, 5 days,
• Likes: 425

Re: Меры принятые вручную

Как происходит повторная проверка

Повторная проверка начинается с момента получения вами уведомления о мерах, принятых вручную, и завершается после того, как специалисты Google выяснят, удалось ли вам устранить все нарушения. Вот как выполняется эта процедура:

Вам придет оповещение о мерах, принятых вручную. Вы должны будете устранить все выявленные проблемы.
Оформите запрос на повторную проверку. О том, как это сделать, читайте ниже.
Устраните другие возможные проблемы. Подробнее читайте в разделе о типичных ошибках.

Отправьте нам запрос на повторную проверку из своего аккаунта Search Console.
Вам придет подтверждение от Google. Обратите внимание, что обработка запроса может занять несколько дней.
Google одобрит или отклонит ваш запрос.
Если проверка пройдет успешно, мы отменим меры, принятые вручную в отношении вашего сайта.

Если вы получите отказ, изучите раздел о типичных ошибках, прежде чем подавать очередной запрос на проверку.

6 Reply by PunBB

• From: Moscow, Sovkhoznay 3, apt. 98
• Registered: 2014.07.07
• Posts: 3,648
• I just like PunBB:
• 5 years, 3 months, 5 days,
• Likes: 425

Re: Меры принятые вручную

Как оформить запрос на повторную проверку

Запросы обрабатываются вручную специалистами Google. Чтобы нам было проще понять, какие меры вы приняли, расскажите о них как можно более подробно.

В нем точно описаны проблемы, выявленные на вашем сайте.
В нем подробно описываются действия, предпринятые для устранения проблем.
В нем приведены все результаты ваших действий.

Вы также можете предоставить нам материалы, в которых описываются ваши действия по устранению проблем на сайте. О том, как собрать и отправить такую информацию, читайте ниже.

Обратные ссылки. Составьте их список, удалите, а потом отклоните их. Мы также рекомендуем задокументировать процедуру удаления. Если вы отклоните обратные ссылки, но не станете их удалять, вам не удастся пройти повторную проверку.
Продажа ссылок на вашем сайте. Приведите примеры страниц, на которых вы удалили такие ссылки или заблокировали их с помощью атрибута . Убедитесь, что вы проделали это в отношении всех недопустимых ссылок, а не только указанных в нашем сообщении.

Likes: 425

Re: Меры принятые вручную

Типичные ошибки при отправке запроса на повторную проверку

Ниже перечислены наиболее распространенные ошибки, допускаемые веб-мастерами при отправке сайта на повторную проверку. Рекомендуем внимательно изучить этот раздел.

1. Отклонение всех обратных ссылок

Часто инструмент отклонения обратных ссылок используется неправильно. Необходимо помнить о следующем:

Обратные ссылки рекомендуется по возможности удалять. Добавление всех обратных ссылок в файл отклонения не считается решением проблемы, и вам не удастся пройти проверку.
Если в домене несколько таких ссылок, используйте строку вида domain:example.com.
Убедитесь, что не заблокировали обычные ссылки.

2. При удалении взломанного контента не использовалась функция "Просмотреть как Googlebot"

Часто нежелательный контент добавляется на взломанные сайты с помощью маскировки. Это означает, что пользователи и поисковый робот видят на веб-странице разные материалы.

Одним из способов выявления маскировки является функция Просмотреть как Googlebot в Search Console. Она позволяет узнать, как поисковый робот воспринимает ваш сайт. Часто нам приходится отклонять запросы на повторную проверку из-за того, что проблема не была устранена и при сканировании страницы обнаруживается внедренный контент. Узнайте больше о маскировке и скрытой переадресации.

3. Отправка запроса на повторную проверку пустого сайта

Мы рассмотрим запрос только в том случае, если на сайте есть полезная информация. Поэтому повторной проверке не подлежат:

Пустые сайты , на которых много веб-страниц, но мало или вообще нет контента.
Припаркованные домены – страницы-заполнители для доменов без контента.
Сайты, недоступные в связи с ошибкой "Не найдено" (404) или сбоями сервера. Подробнее об ошибках сканирования...
Перед повторной проверкой убедитесь, что ваш сайт соответствует требованиям Google. Если запрос отклонен, внимательно изучите наше сообщение и устраните все возможные проблемы, прежде чем обращаться к нам снова.

Cтатья отредактирована 27.012017 и актуальна на данный момент

Сегодня поговорим о сканировании ошибок. Мы найдем их и удалим из индекса поисковой системы. Для этого воспользуемся инструментами вэб- мастера от google.

Сначала, о том, что это за ошибки.

Возможно у всех была такая ситуация, когда написанный ранее пост на блоге, вы вдруг решили удалить. Удалили, а чем это чревато не знаете? Дело в том, что поисковые системы уже ранее проиндексировали вашу статью.

Если даже в плагине на блоге, вы запретите роботу индексировать, тот url, что вы удалили. У вас ничего не получится, потому что робот поисковик будет продолжать индексировать несуществующие страницы.

Заходя, к вам на блог в каждое свое посещение он индексирует новые страницы, но и не забывает про старые. Чтобы сокращать время пребывания на каждом блоге, он пользуется «кешем» где хранится прошлая информация о ваших страницах.

Получается, что он пользуется старой памятью плюс в индекс добавляет новую статью.

Страница, которую вы удалили также продолжает сканироваться. Таким образом, она находится в выдаче по поисковым запросам. И пользователь, набирая очередной свой запрос «кликает» по ней и попадает на страницу, которой не существует.

Что он делает в таком случае, когда не находит, того чего ищет? Как вы догадались, он просто уходит с сайта.

А если это повторяется изо дня в день? Это очень плохо отражается на продвижении блога. Роботы такой расклад не приветствуют. Ваши статьи понижаются в ранжировании, потому, что слишком много отказов с вашего блога.

Такие тревожные сигналы поступают роботу поисковику. А это все учитывается поисковыми системами Yandex и Google.

Есть выход- поставить на такую страницу с ошибкой 404, редирект 301. Или простыми словами сделать «перенаправление» на главную страницу сайта.

Обращаю ваше внимание на то, что из google эти страницы никогда не уйдут из индекса. Их нужно удалять вручную. А вот в yandex с этим хорошо справляется robot.

Но можно также их удалять и в яндекс. Достаточно в инструментах для мастера справа выбрать тот же пункт(удалить адрес).

А сегодня я покажу вам, как найти несуществующие страницы 404 и послать запрос на их удаление.

Для этого воспользуемся инструментами google- webmaster.

Выполним два условия:

• аккаунт в гугл+

Регистрация довольна проста и бесплатна.

• ваши права на сайт должны быть подтверждены

В панеле webmaster, на главной странице, справа есть красная кнопка «добавить сайт». Кликните по ней и следуйте дальнейшим инструкциям.

А мы переходим в инструменты webmaster на Google по ссылке

И смотрим мои скриншоты. Они вам помогут не заблудиться.

Отправляем запрос на удаление страницы.

Специально для посетителей которым не до чтения, предлагаю посмотреть короткое видео.

И так подведем итог. Мы сегодня узнали, как найти ошибки сканирования и удалить их из google webmaster.

На этом все. До скорых встреч. Подписывайтесь на новости. Желаю всем здоровья и удачи!

Рита, спасибо ОГРОМНОЕ! Всегда практические рекомендации по продвижению и настройке блога.

Появляется пост от Риты и очередная фишка.

Спасибо, за то, что делишься со своими читателями 😛

Рита, спасибо! Сейчас же пойду проверять все и удалять! У меня такие вещи присутствуют! Что конечно не очень хорошо.

Оооо! я голову ломала, что с ними делать? Огромное спасибо. У меня 15 «Не найдено». Как я поняла, по одному придется удалять? А там ничего очень важного не может оказаться случайно?

Спасибо! Ваша статья мне очень помогла.

Еще благодарность Вам Рита, за неожиданный подарок.

С уважением Анатолий.

Рита, у меня схема примерно такая же. Каждый раз, когда захожу в инструменты для вебмастеров, проверяю ошибки. Спасибо. Май 12th, 2016 at

Андрей, а это значит, что подзапустили вы свой блог. И нужно начинать с файла robots. Запретить роботам индексировать все подряд. И по- тихоньку, каждый вечер удалять. У меня в свое время неделя ушла. Сейчас периодически захожу и просматриваю. Удачи. Не расстраивайтесь.

Андрей Reply:
Май 12th, 2016 at

Это не совсем блог, это магазин, страницы возникли в результате переносов с одной платформы на другую и последующей генерации новых УРЛов (старые особого веса на тот момент не имели).

Вопрос возможно даже не только в том, как их удалить из индекса, а откуда гугл берет эти ссылки? В базе нет, в sitemap нет, в коде нет, robots направлен только на нужные директории, в коде которых тоже этих ссылок нет.

Такое ощущение, что сайт индексируется по каким то старым картам и как ему объяснить, что работать нужно только с новыми версиями sitemap и robots? И может ли такое быть, что в каком то еще аккаунте гугл находится старая карта сайта, которая приносит все эти старые линки?

В одном из постов читал, что ничего делать не нужно, если это действительно старые, не нужные ссылки, и якобы он сам забудет про них. Только, опять же, на сколько у него длинная память)

PS: недели не хватит, за сутки проиндексировались 1200 страниц с 404