Вредоносное ПО (malware) - это назойливые или опасные программы,...
Доброго времени суток, уважаемые читатели моего блога. Каждому разработчику (начинающему и не очень) важно, чтобы его сайт как можно скорее был проиндексирован в поисковиках. Ведь, если странички нет в Яндексе или Гугле, то найти ее практически невозможно. Недавно я рассказывал о том, .
Без этого можно с таким же успехом писать статьи и оставлять их в папке на рабочем столе. Но как узнать что ваш блог действительно проверили и когда этот вопрос становится менее актуальным для разработчиков?
Сегодня я подробно расскажу вам о том, как узнать проиндексирован ли сайт в Яндекс. Вы научитесь мгновенно понимать видят ли ваши страницы другие пользователи, что может этому препятствовать и как эффективно устранить проблемы.
Я научу вас быстро отслеживать информацию о «неподходящих» публикациях, чтобы не тратить время и деньги понапрасну.
Приступим? Но для начала.
Когда и зачем следить за информацией о индексации
Всех новичков заботит проверка собственного электронного ресурса. Поисковик может долгое время не посещать портал, а запретный плод сладок и желанен. Хочется как можно скорее увидеть свое детище на первом месте хоть по какому-нибудь запросу. Со временем эта мечта воплощается, а интерес к индексации угасает. Очень зря.
После первой проверки поисковик периодически заглядывает по уже знакомому URL, чтобы узнать новости и произвести переоценку. Существуют разные факторы ранжирования, к примеру, . Относительно них страницам присваивается определенное место в поисковой выдаче, но есть и факторы, которые мешают новым публикациям появляться в поисковиках.
Если странички нет в выдаче, то это означает, что вы потратили время и деньги (если вы заказывали статью у копирайтера) зря. В чем может быть проблема? Фильтр АГС, дублирование контента, или уникальность текста, технические сбои на хостинге или иной глюк в исходном коде. Причин может быть миллион.
Если вы знаете сколько всего статей на вашем портале и видите, что не все они находятся в выдаче, то нужно производить полную проверку, чтобы выявить какая именно неприятность приключилась на сайте. А они, как правило, есть практически у всех, вне зависимости от того, насколько вы подкованы в веб-строительстве.
Как узнать сколько всего страниц на портале
Итак, произвести анализ можно несколькими способами.
- WordPress
Если ваш портал на ВордПресс, то узнать точное количество страниц можно элементарно. Для этого достаточно зайти в панель управления. Сразу же, вам покажут число записей.
- Карта сайта.
Очень просто можно узнать сколько страниц у вас в блоге, если на нем есть Sitemap. Я уже писал статью о том, она вообще нужна. Если говорить в двух словах, то это очень удобное содержание. Которое хорошо сказывается и на поведении пользователей, и на ранжировании портала.
- Анализ сайта и проверка на ошибки.
Еще один удобный способ, который поможет не только понять какие проблемы есть на вашем блоге, но и поможет разобраться со всеми этими недочетами, сервис Seoto.me .
Он поможет избавиться от битых ссылок, картинок, осуществлять комплексную проверку уникальности, тайтлов, описания и так далее. Заинтересовались? Можете прочитать статью о том, или посмотрите этот ролик.
Сколько страниц проиндексировано
Отлично, если вы знаете сколько страниц есть на вашем сайте, то без труда можете понять сколько из них находится в поисковой выдаче. В идеале, их должно быть ровно столько, сколько и публикаций (плюс главная и страницы рубрик).
Если количество меньше, значит на сайте есть проблемы, которые нужно будет выявить и решить. Для начала я расскажу о простом способе проверки. Он не очень точный, удобный и красивый, но зато быстрый. Идеально подходит для первого раза.
Ручной метод
Откройте Яндекс и введите в поисковую строчку URL:доменное-имя-сайта*.
Естественно вместо «адрес-вашего-сайта» нужно ввести ваш url. Например, вот так. Мой тестовый портал совсем небольшой, но в выдаче нашлось аж 9 результатов. Это замечательно.
Вебмастер
Еще одна очень удобная штука – Яндекс.Вебмастер. Благодаря этому сервису вы можете узнать много полезного, уточнить кое-какую информацию, чтобы повысить свои шансы на первое место в поисковике, заставить Яндекс скорее индексировать свой сайт и, конечно же, проверить страницы.
Мой тестовый сайт еще не подключен к этому сервису. И статьи на тему подключения в моем блоге еще нет. Однако, я думаю, что совсем скоро эта ситуация изменится. Подписывайтесь на рассылку и узнавайте первыми о всем, что происходит с моим тестовым сайтом и с легкостью выполняйте важные задачи.
Как проверить конкретную страницу вручную
Если вам хочется узнать детальную информацию о конкретной странице со своего или чужого сайта, где вы, к примеру, купили ссылку, можно воспользоваться самим Яндексом. Это быстро и просто.
Копируете url и вводите в поисковую строчку Яндекса без каких-либо изменений.
На первом месте должен оказаться тот же URL, который вы вводили в поисковую строчку. Если этого не происходит, значит она не проиндексирована.
Теперь вы знаете как проверить проиндексирован ли сайт и без лишних телодвижений проверить портал на ошибки, а также устранить их.
В идеале у вас должен быть подключен Яндекс.Вебмастер, чтобы не морочиться с проверкой заново. Заходите и периодически проверяете не увеличилось ли количество исключенных страниц. Как только видите, что появились проблемы, заходите на www.seoto.me и он подсказывает чем вызвана проблема. Решаете ее и наслаждаетесь жизнью в интернете.
Современное общество уже не представляет жизни без социальных сетей. Интернет-аудитория активных пользователей продолжает неуклонно расти. Предлагаю взглянуть на это все со стороны продвижения бизнеса. Какие социальные сети индексируются поисковиками и помогают ли социальные факторы в поисковом продвижении сайтов?
Индексация Twitter
Поисковые системы охотно индексируют твиты. У Яндекса даже есть отдельный поиск по твитам. Ссылки в твитах также индексируются, в том числе и непрямые (например, через сервисы goo.gl/ и др.). При этом твиттер индексируют быстророботы, узнать такие ссылки в выдаче можно по указанной рядом дате или времени:
До момента ее индексации подобная ссылка передает только трафик с твиттера. Интернет в целом движется в сторону социальщины, так что пора начинать «собирать лайки на коммерческие сайты», чтобы оказаться на гребне волны, когда поисковые машины пересмотрят свою политику.
Итак, для того чтобы твит лучше индексировался, нужно:
- большее количество ретвитов;
- добавление в favorites;
- авторитетный аккаунт
Таким образом твиттер помогает продвижению сайта и ускоряет его индексацию.
Индексация Одноклассников
Около недели как страницы пользователей социальной сети « » начали индексироваться поисковиками. Это относится и к группам. Любой пользователь может отключить функцию индексации, чтобы защитить личную информацию о себе. Также у пользователей социальной сети есть возможность выборочно закрывать от поисковиков свою информацию – статусы, фотографии и другую информацию.
Индексация Facebook
Cсылки в Facebook стоят с атрибутом nofollow, т.е. вес по ним не передается поисковым системам и не влияет на тИЦ и PageRank. Но они все равно индексируются поисковиками. И наибольшую пользу приносят лайки самой социальной странички компании, а не публикаций на ней. Именно такие ссылки учитываются поисковыми системами. Чем больше лайков получает страница в Facebook продвигаемого сайта, тем больше ссылок с разных страниц пользователей социальной сети будет стоять на продвигаемый сайт.
Наибольшую ценность и вес, как и в твиттере, представляют лайки авторитетных аккаунтов и известных страниц. Это так же положительно сказывается и на трафике сайта. Для привлечения лайков на продвигаемый сайт можно создавать интересный контент, проводить различные конкурсы и опросы.
Влияние на SEO несколько ниже, чем у Twitter, но тем не менее приносит определенную пользу, и не стоит этим пренебрегать.
Индексация Google+
Хотя Мэтт Катс в свое время заявлял, что Google+ не имеет прямого влияния на релевантность сайта, по нашему опыту подобное влияние все же существует. В выдаче Google отдает предпочтение сайтам, добавленным в Google+ Круги. При поиске по местным результатам Google часто ставит местные Google+ результаты выше других.
Положительно на продвижение влияют не только +1 от авторитетных пользователей (Google Author Rang), но и пользователей старой почты Gmail. Проверенное авторство на информацию в Google+ служит залогом доверия у поисковой машины, т.е. в выдаче информация от проверенного аккаунта будет иметь большую релевантность, чем информация без подобной проверки.
Но не стоит искусственно накручивать +1, это чревато санкциями со стороны поисковика, ведь определить такие манипуляции для Google не представляет большого труда.
Индексация ВКонтакте
ВКонтакте все ссылки стоят через редирект, т.е. для передачи тИЦ и PageRank они бесполезны. Но в выдаче Яндекса можно найти профили из , а в поиске по блокам – статусы и заметки, где так же могут быть размещены и ссылки. Как минимум это обеспечит дополнительный трафик.
Яндекс так же обращает внимание на количество человек в группе продвигаемого сайта, а вернее на виджет, расположенный непосредственно на сайте. Если их более 500, поисковик учитывает эти данные при ранжировании сайта.
Индексацию личного профиля поисковыми системами при желании можно отключить.
Индексация YouTube
Все хорошо знают чей это сервис) Очень хорошо индексируется в Google, немного хуже в Яндексе. YouTube может дать большое количество посетителей. Для этого нужно заполнять все поля (описание,теги), выбрать удачное изображение на обложку видео. Особенно важно — это заголовок видео и ссылка на ваш ресурс.
Индексация Pinterest
В настройках социальной сети Pinterest можно выбрать будет ли ваш профиль индексироваться поисковыми системами или нет. В Яндексе не было замечено чтобы он индексировал профили. В Google все хорошо. Если у вас есть сайт то лучше добавить его в профиль.
Индексация Instagram
Пользователям Instagram которые предпочитают использовать функцию приватного доступа к аккаунту в Instagram, нет нужды беспокоиться о вопросах приватности с веб-профилями.
По словам разработчиков, если у вас приватный аккаунт, ваши фотографии смогут увидеть только залогиненные пользователи, которым вы дали доступ. Это также означает, что только эти ваши подписчики смогут комментировать и лайкать ваши фото в сети.
Более того, поисковики не индексируют фотографии в Instagram - вне зависимости от настроек приватности. Если у вас есть сайт то рекомендуется добавить его в профиль. Это будет бонусом как для поисковой индексации так и для узнаваемости.
В заключение
Ссылки из социальных сетей не имеют определяющего значения на положение сайта в выдаче и не передают вес сайту, но тем не менее косвенно влияют на его продвижение. Социальные сети и блогосфера – это миллионы людей, которые своими поведенческими реакциями отражают в том числе и свое отношение к сайтам. И для поисковиков социальные факторы – это в первую очередь человеческие сигналы, которые так же можно применять для . Пренебрегать SMM не стоит. Но даже если у вашей компании нет своей странички/группы в социальной сети, вы не ведете корпоративный блог или твиттер, имеет смысл хотя бы разместить на сайте кнопки социальных сетей для привлечения дополнительного трафика. Это пойдет только на пользу!
P.S Возможно я забыл какую то популярную социальную сеть которая индексируются поисковиками, напишите в комментарии.
Твитнуть
Отправить
Как известно, сделать понятный, красивый и интересный сайт – это только полдела. Остальная работа – добиться высокой посещаемости. В начале существования сайта основная масса посетителей приходит на него из популярных поисковых систем.
Итак, сайт создан, выложен на хостинг, наполняется информацией. Владелец ведет над ним непрерывную работу, а посещаемость все равно не растет. Сайта нет в результатах выдачи Google и Yandex? Это непосредственно связано с тем, что поисковики не сразу индексируют новый сайт, а через определенный промежуток времени. Как долго ждать посетителей? Сколько времени индексируется сайт в Google и «Яндекс»?
Для начала нужно разобраться, от чего вообще зависит скорость индексации сайта. Как показывает практика, на нее влияют следующие факторы:
- движок сайта;
- возраст домена и доменная зона;
- частота наполнения сайта контентом.
Чтобы разобраться в том, сколько времени индексируется сайт в «Яндексе» или Google, нужно детальнее познакомиться с каждым из пунктов.
Индексация сайта в Google и «Яндекс»: разбивка по группам
- Высшая категория. Живые форумы и новостные сайты. Боты на таких сайтах пасутся регулярно. Индексация для таких сайтов никогда не будет проблемой, так как страницы заходят в индекс практически моментально.
- Первый сорт. Часто обновляемые, трастовые сайты. Сюда поисковые боты заглядывают каждый день и быстро индексируют новые страницы.
- Второй сорт. Качественные сайты, обновляемые каждую неделю. На них поисковый робот заглядывает периодически, как только появилось сообщение о том, что ресурс обновился. В некоторых случаях индексация на них может задерживаться дней на семь.
- Третий сорт. Если Ваши сайты не подходят к первым трем группам, то, скорее всего, они где-то здесь. «Яндекс» заходит на сайт, когда ему захотелось, и это никак не влияет на скорость. Иногда индексации ждать приходится очень долго.
- Не сортовые сайты. К этой группе относятся все новые сайты, которые только недавно были выложены на хостинг. Если никак не влиять на их индексацию, то может уйти несколько месяцев, пока они появятся в поиске. Больше всего вопросов и возгласов, связанных с индексацией сайтов в Google и «Яндексе», поступает от владельцев таких ресурсов.
Естественно, такая разбивка на группы была сделана условно, а не из официальных источников «Яндекса» или Google.
Сколько времени индексируется сайт в Google?
На новый сайт быстрее всего заходит робот от Google. Уже в первую неделю после создания сайта в поиске могут появиться некоторые страницы. Google одинаково хорошо индексирует доменные зоны.ru и.com. Хотя в зоне.com сайты вылезают в поиске несколько раньше. Бытует мнение, что домен в зоне.info индексируется медленно. Что касается доменной зоны.рф, то здесь проблем индексации не отмечено (хотя мнения веб-мастеров в этом плане отличаются).
Сколько времени индексируется сайт в «Яндексе»?
В поисковой выдаче сайт появляется спустя две-четыре недели после добавления его в аддурилку. Но это время может несколько затянуться по причине редких апдейтов поисковой базы.
Если Вы создали сайт, но на нем нет посетителей, не стоит опускать руки. Ведите над ним планомерные работы, и в скором времени заметите первые движения.
Особенно хорошо индексируются «Яндексом» и Google сайты, построенные на популярных движках, таких как WordPress, Drupal, DLE, 1C-Bitrix, OpenCart и т.д. Такие скрипты интернет-магазинов, как Webasyst, Shop Script и Vam Shop, индексируются намного хуже. Могут встречаться проблемы и с индексированием сайтов на самописных движках.
Во многом скорость индексации сайта в «Яндексе» и «Гугле» зависит и от того, насколько часто он наполняется контентом. Например, поисковый бот зашел на сайт раз в три дня. Если он заметит, что контент редко обновляется, то, соответственно, и заглядывать на него он будет реже. При регулярном обновлении контента Google и «Яндексу» придется чаще заглядывать на сайт, чтобы никогда не отставать от последних обновлений. Если нет возможности регулярно добавлять новости самостоятельно, можно воспользоваться планировщиком записей.
Возраст домена тоже сказывается на скорости индексации ресурса. Более старые домены, имеющие определенный вес, будут индексироваться быстрее, чем новые. При этом трафик может идти с других сайтов посредством внешних ссылок.
Как ускорить индексацию сайта?
В поисковых системах есть специальные сервисы – аддурилки, которые позволяют «рассказать» поисковым системам о том, что появился новый сайт. Также Вы можете добавить свой сайт в популярные каталоги, такие как «Яндекс.Каталог», DMOZ и прочие.
Для ускорения индексации поможет регистрация в социальных сетях и закладках (vkontakte.ru, twitter.com, memori.ru и другие). Туда можно добавлять анонсы своих новостей.
Также можно завести свои блоги на livejournal.com, blogs.mail.ru, blogspot.com, my.ya.ru и др. Регулярно добавляйте записи со ссылками, и индексация сайта заметно улучшится.
Не забывайте о таком важном моменте, как внутренняя перелинковка. Она помогает продвигать сайт по НЧ-запросам, а также способствует улучшению поведенческих факторов.
Поисковые роботы часто посещают трастовые блоки с их комментариями. Они отслеживают в блогах все ссылки и индексируют их, переходя на Ваш ресурс. Но при размещении комментариев соблюдайте правила блога, добавляя ссылки в специально отведенное место, чтобы исключить удаление Вашего комментария.
Достаточно трудоемким является способ размещения большого количества текстов со ссылками на свой сайт. Сложность заключается в том, что Вам придется писать много интересных статей, которые бы выполняли функцию, похожую на каталог ссылок.
Нужно построить грамотную и четкую структуру ресурса. Она должна быть удобной и легкой для работы поисковых ботов со страниц. Добиться этого несложно. Принцип состоит в том, чтобы ссылки на страницах направляли бота с одной страницы на другую.
Если сайт состоит из огромного количества страниц, то робот просто может не добраться до последних страниц, наиболее удаленных от главной. В таком случае нужно создать карту сайта и продумать структуру так, чтобы каждая из страниц была не больше трех кликов от главной.
Веб-мастера отмечают, что основное содержимое сайта быстрее индексируется, нежели статьи в разделах, которые не отдаются в RSS-ленту и не появляются на главной. Статьи в скрытых разделах в некоторых случаях способствуют ускорению индексации. Хотя если Вы готовы ждать несколько недель, то дергаться не нужно.
В принципе способов улучшения индексации в «Яндексе» и Google гораздо больше, но даже этих вполне достаточно.
Что делать, если поисковик отказывается индексировать сайт?
Часто на форумах можно встретить вопрос: «Почему сайт не индексируется?». И на это есть несколько самых распространенных причин:
- Сайт закрыт от индексации командой в файле txt. Подкорректируйте файл, открыв сайт для индексации, добавив следующую строчку:
User-agent: *
Disallow:
- Ошибка в коде сайта, не позволяющая видеть поисковикам страницы сайта. К примеру, текст заключен в следующие теги .
- Неуникальный контент. Важно, чтобы тексты на сайте были уникальными, то есть они не должны встречаться на других сайтах. Поисковики особенно не любят сайты с неуникальным контентом, которые продают ссылки. Рано или поздно они попадают под фильтры, из которых выйти практически невозможно. Если ранее сайт имел неуникальный контент, но с него не продавались ссылки, то есть вероятность, что сайт будет нормально ранжироваться и индексироваться, если Вы добавите уникальные статьи.
- Переспам, переоптимизация. Не злоупотребляйте вхождением ключевых слов в статье и такими тегами, как , , , . Все должно быть непринужденно и естественно.
- Некачественный контент. Не стоит экономить на текстах, если Вы надеетесь на развитие сайта.
- Сайт выступает зеркалом другого сайта. Речь идет о той ситуации, когда есть сайт с полностью уникальным контентом, но по структуре и смыслу он частично или полностью копирует другой сайт. «Яндекс», по крайней мере, не очень любит такие сайты, и если он их вычисляет, то «склеивает» их с «главным зеркалом» всех ресурсов.
- Продажа ссылок с сайта. Поисковые системы плохо относятся к сайтам, которые продают ссылки. Как следствие, выпадение всех страниц из индекса. В этом плане «Яндекс» более жестокий, чем Google, который ранжирует все что можно и нельзя.
- Ссылочный взрыв. Если на неизвестный сайт в один прекрасный день начнут ссылаться сразу тысячи сайтов, то это может стать причиной санкций со стороны поисковиков.
- Домен, который Вы купили, был заблокирован (забанен) поисковыми системами.
- Хостинг блокирует поисковых ботов. К сожалению, и такая ситуация может быть. Поэтому пользуйтесь услугами хостинга с проверенной репутацией.
Как проверить индексацию сайта?
- Проверить страницы, вошедшие в индекс, можно очень легко. Достаточно скопировать URL и вбить их в поисковую строку «Яндекса» или Google. Если Ваша страница видна в поиске, это означает, что она занесена в базу поисковика. Если ее нет в выдаче, то она не прошла индексацию.
- Сервис pr-cy.ru и тому подобные позволяет Вам обо всем узнать быстрее и проще. С его помощью можно контролировать индексацию всего сайта и посмотреть, какие страницы уже вошли в индекс и каков их процесс. Внесите в форму адрес сайта и нажмите на кнопку «Анализировать», после чего Вы получите подробный отчет по данным.
- В меню «Яндекс.Вебмастер» и GoogleWebmaster Они содержат функции проиндексированных страниц и другую полезную информацию. В «Яндекс.Вебмастере» отдельно подсчитывается число страниц, которые прошли проверку роботов, и общее количество загруженных страниц для будущей индексации.
Что делать, если Вы исправили все недочеты, но сайт все равно не индексируется?
Если вышеперечисленные советы не помогли, сайт все равно не индексируется, то здесь остается только одно – обратиться за помощью к сотрудникам поисковых систем:
- Написать Google. Вы можете задать вопрос Google на родном языке, но ответ получите на английском, и он будет стандартным. Первый ответ будет приблизительно таким: «Мы получили Вашу заявку на пересмотр сайта и т.д.» Второй ответ, если с сайтом все нормально, будет примерно следующим: «Мы рассмотрели сайт и не обнаружили присутствие спама. Ожидайте, пока сайт будет проиндексирован».
- Написать «Яндексу». В большинстве случаев ответ от «Яндекса» приходит такой: «Улучшайте качество сайта». Однако не стоит расстраиваться, если Вам пришел шаблонный ответ. Скорее всего, это означает, что времени на рассмотрение Вашего ресурса совсем не было. В таком случае вступите в долгую переписку с представителями поисковика, стараясь отстоять свои права. Они должны понять, что Ваш сайт им небезразличен. Если Вы будете до конца уверены в том, что ресурс качественный, фильтр будет снят.
Внимание! Не давайте адрес сайта на разных форумах, блогах и прочих ресурсах, если он еще не проиндексировался. В противном случае у Вас просто своруют контент, скопировав его с Вашего сайта и разместив на своем. Также не рекомендуем регистрировать сайт, который еще не вошел в индекс, поскольку владельцы каталогов могут проверить сайт на наличие страниц в поиске и своровать его страницы.
То очень важно, чтобы все страницы вашего сайта были проиндексированы в поисковых системах (Яндекс, Google и т.п.).
- Во первых, если страницы нет в индексе, значит люди не смогут ее найти и вы зря потратили время (и возможно деньги) на ее создание, наполнение и оформление. Каждая страница в индексе — это источник посетителей.
- Во вторых, если страницы нет в индексе, это может свидетельствовать о технических проблемах на сайте, например дублирование контента, глюки сайта или хостинга.
- В третьих, эта страница может играть техническую роль, например, участвовать в схеме перелинковки (или содержать платные ссылки, за которые вы не получите деньги, если страницы нет в индексе).
Ниже я рассмотрю ручные и автоматизированные способы проверки индексации страниц в Яндекс и Google. Покажу, как проверить индексацию сайта в целом и каждой страницы в отдельности.
Как узнать количество страниц на сайте
Это можно сделать несколькими путями:
Теперь, когда мы знаем фактическое количество страниц, надо проверить сколько из них проиндексированы в Яндексе и Google
Смотрим индексацию сайта в целом
В данном случае мы узнаем сколько всего страниц сайта проиндексировано в поисковой системе . Что нам это дает? Зная фактическое количество страниц на сайте, мы можем сравнить соответствует ли оно количеству проиндексированных страниц. И если соответствует, значит всё в порядке, а если нет, то нужно разобраться с проблемой и выяснить каких именно страниц не хватает (или какие страницы имеют дубли).
Индексация сайта в Яндексе
Несколько способов.
Как видите данные немного отличаются. Это из-за того, что конструкция url:ваш-сайт показывает не только страницы, но другие типы файлов (doc, xls, jpg и т.п.). Вебмастер же показывает именно количество страниц.
Индексация сайта в Google
Здесь аналогично с Яндексом есть 2 способа:
- Вручную с помощью конструкции site:ваш сайт. Эффект будет примерно такой же, как с Яндексом.
- Используя инструменты Google для Вебмастеров https://www.google.com/webmasters/ (аналог Яндекс.Вебмастер)
автоматические способы
Что дальше
Теперь когда мы знаем, сколько страниц от фактического количества проиндексированы, может быть 3 ситуации:
- Количество страниц в поисковиках и на сайте совпадает. Это идеальный вариант, значит с сайтом всё впорядке.
- Количество проиндексированных страниц меньше. Значит с сайтом проблемы (наиболее популярная проблема — малоинформативный или неуникальный контент)
- Количество проиндексированных страниц больше. Скорей всего у вас проблема с дублированием страниц, т.е. одна страница может быть доступна по нескольким адресам. Это плохо для продвижения, т.к. статический вес страницы размывается и кроме-того получается много страниц с повторяющимся контентом.
Для дальнейшей диагностики сайта, нам понадобится узнать какие страницы точно проиндексированы, а какие не входят в индекс.
Как проверить индексацию одной страницы
Это нам может понадобится, когда мы хотим проверить конкретную страницу на своем сайте (например, недавно опубликованную) или страницу на чужом сайте (например, где мы купили ссылку и ждем, когда она проиндексируется)
Как проверить индексацию всех страниц по отдельности
В данном случае мы будем проверять на проиндексированность сразу все страницы сайта и в результате узнаем какие конкретно страницы не проиндексированы в поисковике .
Здесь нам понадобится не просто знать количество фактических страниц на сайте, но и список адресов этих страниц (их url). Это наверно самое сложное в этой статье. Список страниц мы вроде бы получили, когда генерировали карту сайта, но там адреса содержатся не в чистом виде и нужно уметь работать с какой-нибудь программой по обработке данных, чтобы извлечь их. Поэтому будем использовать еще одну программу.
Как получить список всех страниц сайта
Перед сбором ссылок нужно настроить параметр Exclude Patterns. Это делается, чтобы исключить при сборе ненужные ссылки, например, в моем случае при сборе собирается очень много адресов вида: https://сайт/prodvizhenie/kak-prodvigayut-sajjty.html?replytocom =324#respond, которые указывают на комментарий на странице. А мне нужен только адрес страницы. Поэтому, я настроил исключение адресов по маске *replytocom*:
Дальше, запускаем сбор url и когда программа закончит их собирать, переходим на вкладку Yahoo Map / Text и копируем адреса оттуда (Кнопка сохранить не работает, т.к. мы используем бесплатную версию программы)
Теперь у нас есть адреса всех страниц.
Как проверить индексацию страниц автоматически
Здесь всё просто. После запуска программы добавляем собранный на прошлом шаге список url вашего сайта и добавляем в список исходных url. Программа позволяет проверять индексацию в Яндекс, Гугл и Rambler, выбираем нужную нам поисковую систему и запускаем проверку:
После того, как получили список страниц, которые не попали в индекс, нужно понять почему это произошло. Если со страницей всё впорядке, то чтобы она зашла в индекс, можно закупить на нее ссылок или несколько ретвитов с прокаченных аккаунтов.
Заключение
Умение проверить индексацию страниц своего сайта позволит вам продуктивней работать с поисковыми системами, а так же вычислить существующие проблемы с сайтом.
Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.
При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.
Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.
1. Проверьте индексацию в панели вебмастеров
Это базовый способ проверки для вебмастера или владельца сайта.
Google . Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».
Yandex . Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.
Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс. 
Проблемы с индексацией выглядят так: 
На скриншоте — сайт, закрытый от индексации в файле robots.txt
Хотите узнать больше о поисковом продвижении? Подписывайтесь на рассылку:
