Вредоносное ПО (malware) - это назойливые или опасные программы,...
То очень важно, чтобы все страницы вашего сайта были проиндексированы в поисковых системах (Яндекс, Google и т.п.).
- Во первых, если страницы нет в индексе, значит люди не смогут ее найти и вы зря потратили время (и возможно деньги) на ее создание, наполнение и оформление. Каждая страница в индексе — это источник посетителей.
- Во вторых, если страницы нет в индексе, это может свидетельствовать о технических проблемах на сайте, например дублирование контента, глюки сайта или хостинга.
- В третьих, эта страница может играть техническую роль, например, участвовать в схеме перелинковки (или содержать платные ссылки, за которые вы не получите деньги, если страницы нет в индексе).
Ниже я рассмотрю ручные и автоматизированные способы проверки индексации страниц в Яндекс и Google. Покажу, как проверить индексацию сайта в целом и каждой страницы в отдельности.
Как узнать количество страниц на сайте
Это можно сделать несколькими путями:
Теперь, когда мы знаем фактическое количество страниц, надо проверить сколько из них проиндексированы в Яндексе и Google
Смотрим индексацию сайта в целом
В данном случае мы узнаем сколько всего страниц сайта проиндексировано в поисковой системе . Что нам это дает? Зная фактическое количество страниц на сайте, мы можем сравнить соответствует ли оно количеству проиндексированных страниц. И если соответствует, значит всё в порядке, а если нет, то нужно разобраться с проблемой и выяснить каких именно страниц не хватает (или какие страницы имеют дубли).
Индексация сайта в Яндексе
Несколько способов.
Как видите данные немного отличаются. Это из-за того, что конструкция url:ваш-сайт показывает не только страницы, но другие типы файлов (doc, xls, jpg и т.п.). Вебмастер же показывает именно количество страниц.
Индексация сайта в Google
Здесь аналогично с Яндексом есть 2 способа:
- Вручную с помощью конструкции site:ваш сайт. Эффект будет примерно такой же, как с Яндексом.
- Используя инструменты Google для Вебмастеров https://www.google.com/webmasters/ (аналог Яндекс.Вебмастер)
автоматические способы
Что дальше
Теперь когда мы знаем, сколько страниц от фактического количества проиндексированы, может быть 3 ситуации:
- Количество страниц в поисковиках и на сайте совпадает. Это идеальный вариант, значит с сайтом всё впорядке.
- Количество проиндексированных страниц меньше. Значит с сайтом проблемы (наиболее популярная проблема — малоинформативный или неуникальный контент)
- Количество проиндексированных страниц больше. Скорей всего у вас проблема с дублированием страниц, т.е. одна страница может быть доступна по нескольким адресам. Это плохо для продвижения, т.к. статический вес страницы размывается и кроме-того получается много страниц с повторяющимся контентом.
Для дальнейшей диагностики сайта, нам понадобится узнать какие страницы точно проиндексированы, а какие не входят в индекс.
Как проверить индексацию одной страницы
Это нам может понадобится, когда мы хотим проверить конкретную страницу на своем сайте (например, недавно опубликованную) или страницу на чужом сайте (например, где мы купили ссылку и ждем, когда она проиндексируется)
Как проверить индексацию всех страниц по отдельности
В данном случае мы будем проверять на проиндексированность сразу все страницы сайта и в результате узнаем какие конкретно страницы не проиндексированы в поисковике .
Здесь нам понадобится не просто знать количество фактических страниц на сайте, но и список адресов этих страниц (их url). Это наверно самое сложное в этой статье. Список страниц мы вроде бы получили, когда генерировали карту сайта, но там адреса содержатся не в чистом виде и нужно уметь работать с какой-нибудь программой по обработке данных, чтобы извлечь их. Поэтому будем использовать еще одну программу.
Как получить список всех страниц сайта
Перед сбором ссылок нужно настроить параметр Exclude Patterns. Это делается, чтобы исключить при сборе ненужные ссылки, например, в моем случае при сборе собирается очень много адресов вида: https://сайт/prodvizhenie/kak-prodvigayut-sajjty.html?replytocom =324#respond, которые указывают на комментарий на странице. А мне нужен только адрес страницы. Поэтому, я настроил исключение адресов по маске *replytocom*:
Дальше, запускаем сбор url и когда программа закончит их собирать, переходим на вкладку Yahoo Map / Text и копируем адреса оттуда (Кнопка сохранить не работает, т.к. мы используем бесплатную версию программы)
Теперь у нас есть адреса всех страниц.
Как проверить индексацию страниц автоматически
Здесь всё просто. После запуска программы добавляем собранный на прошлом шаге список url вашего сайта и добавляем в список исходных url. Программа позволяет проверять индексацию в Яндекс, Гугл и Rambler, выбираем нужную нам поисковую систему и запускаем проверку:
После того, как получили список страниц, которые не попали в индекс, нужно понять почему это произошло. Если со страницей всё впорядке, то чтобы она зашла в индекс, можно закупить на нее ссылок или несколько ретвитов с прокаченных аккаунтов.
Заключение
Умение проверить индексацию страниц своего сайта позволит вам продуктивней работать с поисковыми системами, а так же вычислить существующие проблемы с сайтом.
Индексация сайта в поисковых системах важна для каждого вебмастера. Ведь для качественного продвижения проекта следует следить за его индексацией. Я опишу процесс проверки индексации в Яндексе.
Индексация в Яндекс
Робот Яндекса день за днем просматривает сайты в поисках чего-нибудь «вкусненького». Собирает в топ выдачи те сайты и страницы, которые, по его мнению, наиболее этого заслуживают. Ну или просто Яндекс так захотел, кто его знает
Мы, как настоящие вебмастера, будем придерживаться теории, что чем качественнее сделан сайт, тем выше его позиции и больше трафик.
Проверить индексацию сайта в Яндексе можно несколькими способами:
- с помощью Яндекс Вебмастера;
- с использованием операторов поисковой системы;
- с помощью расширений и плагинов;
- с помощью онлайн-сервисов.
Индексация страниц сайта в Яндекс Вебмастер
Чтобы понять, что же там поисковик накопал на наш сайт, нужно зайти в наш любимый Яндекс Вебмастер в раздел «Индексирование».
Статистика обхода в Яндекс Вебмастер
Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.
Раздел содержит информацию о страницах:
- новые — страницы, которые недавно появились на сайте либо робот их только что обошел;
- изменившиеся — страницы, который поисковик Яндекса раньше видел, но они изменились;
- история обхода — количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).
На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.
А это график истории обхода.
В этом пункте отображены страницы, которые Яндекс нашел.
N/a — URL не известен роботу, т.е. робот её раньше не встречал.
Какие выводы из скрина можно сделать:
- Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет.
- Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.
Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо — Яндекс удалил, а что надо — Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.
Страницы в поиске
Поисковая выдача постоянно меняется — добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.
Информацию в разделе «Страницы в поиске» вы можете использовать:
- для отслеживания изменений количества страниц в Яндексе;
- для слежения за добавленными и исключенными страницами;
- для выяснения причин исключения сайта из поисковой выдачи;
- для получения информации о дате посещения сайта поисковиком;
- для получения информации об изменении поисковой выдачи.
Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.
Проверка количества страниц в индексе Яндекса с помощью операторов
Помимо Яндекс Вебмастера проверить индексацию страницы можно с помощью операторов непосредственно в самом поиске.
Будем использовать два оператора:
- «site» — поиск по всем поддоменам и страницам указанного сайта;
- «host» — поиск по страницам, размещенным на данном хосте.
Воспользуемся оператором «site». Заметьте, между оператором и сайтом нет пробела. 18 страниц находится в поиске Яндекса.
Воспользуемся оператором «host». 19 страниц проиндексировано Яндексом.
Проверка индексации с помощью плагинов и расширений
Проверить индексацию сайта с помощью сервисов
Таких сервисов очень много. Я покажу вам два.
Serphunt
Serphunt — онлайн-сервис для анализа сайта. У них есть полезный инструмент для проверки индексации страниц.
Одновременно можно проверить до 100 страниц сайта по двум поисковикам — Яндекс и Google.
Нажимаем «Начать проверку» и через несколько секунд получаем результат:
Без нормальной индексации сайта – в принципе невозможно.
Первое, что нужно сделать – это проиндексировать сайт и сделать так, чтобы новый контент на нем быстро индексировался поисковиками.
В данной статье мы рассмотрим 12 причин, по которым у вашего сайта могут быть проблемы с индексацией в поисковых системах Google и Яндекс.
Переходим к причинам:
1. Google и Яндекс пока не нашел ваш сайт
Такое случается в том случае, если вы только что выложили свой сайт и ничего не делали для того, чтобы поисковые системы его заметили.
В таком случае не стоит ожидать быстрой индексации. Но это легко можно поправить.
Для этого нужно сделать:
- Добавить сайт в поисковые системы (Add url)
- Добавить сайт в Google и Яндекс вебмастер
После чего, нужно немного подождать и ваш сайт должен проиндесироваться. Обычно это занимает от пару часов, до пару дней и более.
2. Сайт или страницы закрыты в robots.txt
Это часто бывает причиной, которую не учитывают разработчики и выкатывают сайт закрытым от индексации в файле robots.txt. Но такое легко можно поправить.
Если у вас не много технических разделов, то можно обойтись и таким robots.txt:
Но если на сайте нужно много чего закрывать, то:
- читаем статью по ссылке выше
- закрываем только те разделы, что не нужно индексировать
- оставляем для индексации все остальное
Тогда все с вашим сайтом должно быть нормально.
3. Включены приватные настройки
Если вы используете систему управления сайта WordPress, то по умолчанию могут стоять приватные настройки. Это действительно может быть причиной того, что сайт до сих пор не проиндексирован.
Для этого нужно зайти в:
- Настройки
- Чтение
- Видимость для поисковых систем
- Убрать галочку
Многие забывают убрать эту галочку и потом не могут понять, в чем же причина не индексации сайта.
4. Сайт закрыт от индексации в noindex в мета тегах
Индексацию контента или страницы так же можно закрыть с помощью мета тега. Выглядит он так:
Все что нужно:
- проверить код на наличие такого тега и что в нем прописано
- убрать строку кода
- или просто сделать follow и index
Из нашей практики встречались и такие сайты, на которых это было причиной индексации.
Если возникает много ошибок при сканировании, то поисковый бот просто может не дойти до нужных страниц.
Чтобы это проверить:
- Заходим в Google Webmaster Tools
- Сканирование
Если есть какие-то критические ошибки. Просто нужно их исправить и все будет хорошо.
6. Сайт заблокирован в .htaccess
В этом файле обычно прописывается . Но в нем, так же можно закрыть от индексации поисковыми системами.
Для того, чтобы это проверить:
- находим на сервере файл.htaccess
- в коде смотрим, чтобы не был закрыт сайт
Это может быть причиной, но многие даже не думаю в этом направлении. А как вариант не стоит исключать.
7. Хостинг или сервер работает не стабильно
Если в момент, когда поисковый бот пришел на сайт индексировать страницы, сайт не доступен, то это может быть причиной не индексации.
Как минимум стоит позаботиться о том, чтобы up time у вашего сервера был хорошим и хостинг стабильным.
Сервисов, которые позволяет это проконтролировать множество. Если нужно бесплатно, то Яндекс Метрика оповещает о том, когда сайт не доступен.
Как я сказал, сервисов множество, вводим в поиск uptime checker и получаем множество результатов сервисов. А дальше выбираем на вкус и цвет.
8. Проблемы с AJAX/JavaScript
Не секрет, что Google индексирует AJAX и JavaScript. Вот ссылка для разработчиков с инструкцией: https://support.google.com/webmasters/answer/174992
Но на данный момент поисковая система индексирует эти языки не так легко и просто как HTML.
В случае, если вы не правильно настроили все для поиска в AJAX и JavaScript, то Google не проиндексирует ваш сайт и страницы.
Вот полезная информация из справки Гугла на этот счет: https://support.google.com/webmasters/answer/174993
9. У вас на сайте много дублированного контента
Если на сайте много дублированного контента, как:
- страницы
- мета тегов
То во первых можно получить санкции от Google Панды. Во вторых это может быть причиной того, что сайт не индексируется.
На эту причину стоит обращать внимание. Так как сейчас это № 1 причина, за которые можно получить санкции и сложности в дальнейшей раскрутке сайта.
Скорость загрузки сайта влияет на позиции и это один из факторов ранжирования. Поэтому если ваш сайт грузиться очень долго, то вполне вероятно, что он не будет нормально индексироваться.
После чего, нужно учесть все моменты со скоростью загрузки и сделать ее очень быстрой.
Такое часто случается. Когда:
- регистрируешь хороший и звучный домен
- по обратным ссылкам все нормально
- делаешь хороший сайт с нормальным дизайном
- наполняешь уникальным и толковым контентом
- а он не хочет никак индексироваться
В таком случае дела не очень хороши. Но все равно это можно поправить. А именно:
- написать запрос на пересмотр (если Яндекс, узнать в чем причина)
- написать на форуме Google (постараться узнать в чем причина)
- развивать проект
Но по опыту скажу. Если домен не лезет в течении 3-4 месяцев нормально. То лучше развивать проект на другом домене. Как минимум это будет быстрее и на порядок проще.
12. У вас нет sitemap на сайте
Это очень редко может быть причиной. Но все же может быть. Поэтому нужно сделать карту сайта и добавить ее как Google вебмастер, так и в Яндекс вебмастер.
Увеличение размера капитала происходит в автоматическом режиме, специально за этим обращаться не надо. Материнский капитал: индексируется или нет? Как менялась его величина со временем?
Что такое индексация?
Выдача маткапитала началась еще в 2008 году, тогда составлял ровно 250 тысяч рублей. В 2015 году после индексации он возрос до 453 026 рублей, фактически увеличившись на 72%. Это сделано для того, чтобы уберечь сертификаты от инфляции и дать семьям возможность реального использования субсидии.
Расчет новой величины маткапитала производится в соответствии с текущим уровнем инфляции. Чем выше прогнозируемая инфляция, тем больше коэффициент индексации. Размер субсидии в каждом новом году определяется Министерством труда и социальной защиты населения.
Материнский капитал: индексация по годам (в скобках указан коэффициент) представлена ниже:
- в 2008 году возросла на 10,5% до 276 250 рублей (1.105);
- в 2009 году – на 13% до 312 162 рублей (1.13);
- в 2010 году – на 10% до 343 378 рублей (1.1);
- в 2011 году – на 6,5% до 365 698 рублей (1.065);
- в 2012 году – на 6% до 387 640 рублей (1.06);
- в 2013 году – на 5,5% до 408 960 рублей (1.055);
- в 2014 году – на 5% до 429 408 рублей (1.05);
- в 2015 году – на 5,5% до 453 026 рублей (1.055).
Об индексации также рассказывается в видеоролике.
Индексируется ли полученный материнский капитал?
При первичной выдаче капитала всё ясно. На сертификате ставится сумма маткапитала, соответствующая размеру в этот год. Это многих вводит в заблуждение. Считается, что какая сумма указана на сертификате, те денежные средства и подлежат выдаче. Поэтому многие не спешат начинать оформление маткапитала, ожидая, пока он «подрастет». Чтобы узнать где получить материнский сертификат пройдите по
На самом деле на индексацию время выдачи сертификата не оказывает никакого влияния, так как деньги переводятся из бюджета в Пенсионный фонд только после письменного заявления получателя.
Например, если сертификат был выдан в 2010 году, когда сумма маткапитала была равна 343 378 рублей, но семья воспользовалась им только спустя 4 года, когда субсидия «подросла» до 429 408 рублей, то именно последней суммой члены семьи смогут воспользоваться.
Получить сертификат можно сразу после того, как малыш появится на свет, а воспользоваться им тогда, когда придет необходимость. Цифра на сертификате является условной, она определяет размер материнского капитала в определенный год и служит ориентиром для расчета текущего размера субсидии.
Важный момент: при увеличении размера маткапитала не нужно менять сертификат. Единожды полученный документ служит основанием для получения субсидии в установленном законом размере.
Чтобы определить актуальную величину маткапитала, следует обратиться в отделение Пенсионного Фонда, где специалисты назовут точную цифру. Однако это можно сделать и самостоятельно, например, посетив сайт ПФ или другие официальные источники.
Индексируется ли остаток материнского капитала?
Часто у получателей маткапитала возникает вопрос: если субсидия была частично потрачена, например, на неотложные нужды или на погашение остатка ипотеки, то что происходит с оставшейся частью, и как индексируется ?
Она точно также, как и вся субсидия, индексируется. Это видно на примере:
- В 2011 году семья взяла из общей суммы в 365 698 рублей средства для оплаты обучения ребенка в размере 120 000 рублей. Остаток составил 245 698 рублей.
- Эта сумма будет проиндексирована на следующий год, и размер остатка составит уже 260 440 рублей.
- На следующий 2013 год остаток будет проиндексирован снова и составит уже 274 764 рубля
- Расчет будет производиться и далее, пока семья не воспользуется субсидией повторно.
На специальном калькуляторе специалисты фонда подсчитают размер остатка и сообщат точную цифру. Именно ей можно будет распорядиться при планировании расходов.
Итоги
Обесценивания маткапитала с течением времени не происходит. Его размер индексируется на установленную законом величину. Коэффициент увеличения высчитывается исходя из уровня инфляции. Данные об этом публикуются на официальном сайте ПФ.
Когда происходит индексация материнского капитала? Она проходит вне зависимости от времени выдачи сертификата. Цифра, указанная на нем, является условной и служит отправной точкой для расчета будущих коэффициентов.
Если же заявители успели потратить часть маткапитала не неотложные нужды или на другие цели, например, оплату задолженности по ипотеке или оплату учебы ребенка, то остаток субсидии также индексируется.
Коэффициенты индексации соответствуют выросшему уровню размера маткапитала. Для расчета точной суммы остатка лучше обратиться к специалистам. Если Вы хотите узнать как получить кредит под материнский капитал, то вам
Комментарий эксперта-юриста
Комментирует материал :
- Имеет внушительный опыт работы в должности главного инспектора отдела финансового мониторинга управления безопасности Северо-Кавказского банка ОАО «Сбербанк России»;
- Направление : противодействие легализации (отмыванию) доходов, полученных преступным путём, и финансированию терроризма. Элемент противодействия: анализ экономической и иной деятельности хозяйствующих субъектов и физических лиц;
Подробнее о наших экспертах вы можете узнать .
Уместно назвать свой комментарий так: «Индексации нет! ».
Государственная поддержка семей в части предоставления некоей суммы, получившей название материнский капитал, ежегодно пересматривалась как в отношении всей суммы, так и остатка от этой суммы. Такой порядок законодательно предусмотрен частью 2 статьи 6 Закона № 256-ФЗ от 29.12.2006.
Однако без материального обеспечения, наличия финансовых возможностей в государственном бюджете, обеспеченных его реальным наполнением, законодательная норма работать не будет, оставаясь лишь декларацией. Ежегодно рассматривая проект закона о федеральном бюджете, законодатели примеряют государственные возможности к государственным декларациям и устанавливают индексированный размер материнского капитала.
Население привыкло к естественному росту семейных выплат и как следует из статьи и комментариев к ней, особенно не озадачивается скорейшим освоением данной суммы, используя государственный сертификат по образу и подобию банковского депозита.
Сравнив два закона о федеральном бюджете (на 2015 и 2016 годы), нетрудно обнаружить, что размер семейного капитала на 2016 год остался равным сумме, выплачиваемой в 2015 году. А это значит – индексации на 2016 год не произошло, и сумма материнского капитала осталась равной сумме, определённой на 2015 год – 453026 рублей.
Причины, собственно говоря, установлены – неспособность государства отвечать по взятым ранее обязательствам. Законодатель «потрудился» подкрепить неспособность заблаговременно Законом № 68-ФЗ от 06.04.2015. Так, с 07.04.2015 действие нормы о ежегодной индексации было приостановлено до 01.01.2016, а затем Законом № 371-ФЗ от 14.12.2015 приостановление продлено до 01.01.2017.
Тенденция продления приостановления процедуры пересмотра размера семейного капитала вызывает тревогу о возможности её восстановления в будущем. Полезнее было бы донести читателю сведения о приостановлении индексации вместо констатации развития формы государственной поддержки.
Тем более что анализ после текстовых комментариев свидетельствует, что большая часть читателей пребывает в фантазиях о росте суммы семейного капитала и его остатках, в то время как инфляция неумолимо её «съедает», уменьшая тем самым потребительскую способность государственной поддержки.
Кстати, о подобном «развороте» государства стало известно не вчера, а почти десять месяцев назад, и при своевременном информировании читательской аудитории, многие поторопились бы в освоении полагаемых им денежных средств.
Любопытно и странно то обстоятельство, что в комментариях к тексту читатели задают вопросы об индексации мат. капитала даже на период 2017 года
, подсчитывая «доход», и также уверенно отвечают в отношении ожидаемого денежного прироста.
Подводя итог изложенному, и поверхностно оценивая экономическое состояние страны, справедливо напрашивается вывод о нецелесообразности ожидания индексации материнского капитала. Надо трезво понимать, что по состоянию на текущий момент, положенные суммы государственной поддержки ежедневно уменьшаются на процент суточной инфляции.
Даже по самым оптимистичным прогнозам в отношении инфляции, в 2016 году по данным различных уважаемых источников (Центральный банк РФ, Минэкономразвития РФ, МВФ) её годовой размер прогнозируется от 8 до 10 процентов. То есть, в ожидании индексации при её отсутствии, получатель государственной поддержки фактически снижает свои потребительские возможности на сумму равную 45000 руб. за год. Совет – поторопитесь.
Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.
При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.
Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.
1. Проверьте индексацию в панели вебмастеров
Это базовый способ проверки для вебмастера или владельца сайта.
Google . Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».
Yandex . Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.
Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс. 
Проблемы с индексацией выглядят так: 
На скриншоте — сайт, закрытый от индексации в файле robots.txt
Хотите узнать больше о поисковом продвижении? Подписывайтесь на рассылку:
