Вредоносное ПО (malware) - это назойливые или опасные программы,...
Здравствуйте, уважаемые читатели блога сайт. Сегодня я хочу поговорить о самой успешной интернет-компании рунета.
Если задуматься — больше половины пользователей приходит на мой блог с этой , а львиная доля моего приходится на доход с показа рекламных блоков РСЯ (посредством Профит Партнера).
Для вебмастеров, наверное, в первую очередь Yandex — это поисковик, который занимает лидирующее положение в рунете (недавно он поглотил даже ). Причем, реалии современного таковы, что не учитывать особенности этой поисковой системы при оптимизации сайта будет крайне не дальновидно, ибо именно она агрегирует в себе львиную долю запросов коммерческой направленности. Не получив целевых посетителей с нее — не факт, что вы их сможете получить с , т.к. их там просто-напросто может не быть.
Главная страница Яндекса, темы и настройки
Но в то же время Яндекс уже давным-давно перерос короткие штанишки чистого поисковика и стал для многих пользователей тем местом, с которого они начинают свое путешествие по сети интернет — мультипорталом. Миллионы пользователей используют сейчас его поиск по изображениям, Почту, и еще десятки различных сервисов. У основного конкурента Google все это тоже есть, но тем не менее аудитория нашего сегмента сети большинством своим голосует за отечественного производителя.
Давайте начнем рассмотрение портала с его главной страницы. Над ее созданием и компоновкой трудились многие специалисты и именно на начальной странице вы найдете практически все, что вам может понадобиться на первых порах. Уже потом, немного освоившись и определившись с тем, какие именно сервисы вам будут необходимы в первую очередь, вы сможете полностью перестроить ее под свой вкус и потребности .
О регистрации, получении почтового ящика и о том, мы поговорим чуть ниже по тексту. Сейчас же отметим для себя, что уже многое из того, что может понадобиться большинству пользователей, имеет место быть на главной странице. Оранжевым цветом я подчеркнул сервисы, которыми сам периодически пользуюсь.
Так же на главной при ее прокрутке вы найдете , со списком материалов интернета, которые могут быть вам интересны. Яндекс знаете ваши предпочтения и старается показывать в этой ленте только самое для вас интересное. Насколько это у него получается судите сами:
Однако, все люди разные и интересы у них тоже различаются. Поэтому в самом верху главной страницы вы всегда сможете увидеть выпадающий список под названием «Личные настройки» (иконка шестеренки в правой верхней области экрана). Щелкнув по нему, сможете выбрать один из четырех пунктов:
Давайте перейдем на первую вкладку Настроить Яндекс . Здесь нам дадут возможность удалять, настраивать, перетаскивать уже имеющиеся виджеты на главной странице, а еще при желании добавлять новые:
Сохраняя произведенные изменения, удаления или перестановку блоков на главной странице (кнопка «Сохранить») нужно понимать, что если вы не зарегистрировались на Yandex.ru, то будет осуществлена привязка только к тому браузеру, из которого вы эти настройки производили (запоминается в куках). В другом браузере вы увидите главную страницу настроенную по умолчанию.
Как видите, здесь сосредоточенны не только настройки главной страницы, но и глобальные и фундаментальные вещи. Давайте рассмотрим их подробнее (понятно, что лучше будет их сохранить именно для своего аккаунта):
Регистрация и получение Яндекс Паспорта
У вам есть две возможности работать с этим порталом. Можно зарегистрироваться в Яndex и получить в подарок бесплатный почтовый ящик с хорошей спаморезкой, а можно забить на регистрацию и просто работать с главной страницей и прочими сервисами, которые позволяют это делать без авторизации.
Наверное, предпочтительнее будет первый вариант (с регистрацией), ибо таким образом вы сможете использовать потенциал системы по максимуму.
После перехода по ней вы сможете скачать подробный мануал со скриншотами, который поможет вам настроить стартовую страницу именно для того браузера, в котором вы сейчас открыли эту самую инструкцию. Либо, как в случае с Интернет Эксплорером, вам предложат для этого неблагодарного дела просто кликнуть по кнопке.
Яndex — поисковая система нужная всем
Возможно, что Yandex сейчас в большей степени используется пользователями для удовлетворения своих обывательских запросов и именно поэтому он, в первую очередь, интересен Seo компаниям, занимающихся продвижением коммерческих сайтов. Но и доля тех пользователей, которые вводят информационные запросы в этом поисковике, все равно получается огромной, хотя уже и сравнимой с долей Гугла (сужу по статистике своего проекта).
Понятно, что это не точная статистика, ибо кроме доменной зоны Ru в из других доменных зон, да и счетчик Ливинтернета не у всех установлен. Однако эту выборку все равно можно считать репрезентативной и из нее следует, что Яндекс довольно уверено лидирует в русскоязычном сегменте интернета.
Он откусил больше половины от бублика, что очень даже много, учитывая многомиллионную аудиторию рунета. Понятно, что в мировом поиске доля Яндекса мала (от одного до двух процентов) и там уже безапелляционно царит Гугл. Да и в рунете, если рассматривать аудиторию пользователей вводящих информационные запросы (которым не надо что-то купить), доли Яndex и Google будут практически одинаковыми. Я сужу об этом, анализируя статистику своего блога сайт:
Но это уже, конечно же, совсем не репрезентативная выборка, а скорее мое собственное Имхо. Кстати, если анализировать позиции моего сайта по разным популярным поисковым запросам (например, можно посмотреть его видимость в ), то можно будет заметить, что у этих двух гигантов зачастую складывается совершенно различная оценка одних и тех же вебстраниц.
В течении нескольких последующих лет (вплоть до 1996 года) велась активная работа над совершенствованием алгоритмов поиска и учета в нем морфологии языка. За это время были выпущены несколько программных продуктов (Академическое издание классиков на CD ROM, Библейский компьютерный справочник), где применялись все эти наработки, но, как вы сами понимаете, все это не давало возможности реализовать весь потенциал алгоритмов поиска и не позволяло на этом серьезно заработать. Интернета в рунете в это время еще практически не было.
Кстати, именно в этот период было придумано название для разработанной технологии поиска, а именно Яndex, что означает «Языковой Index» . Хотя бытует еще масса трактовок происхождения бренда, но сути это не меняет. У команды разработчиков появилось желание и убеждение, что продавать саму технологию поиска будет гораздо выгоднее, чем продавать продукты на ней построенные.
В 1996 году на выставке Netcom компания, которая еще в то время являлась отделом компании «Аркадия», предложила свои первые продукты для поиска по сайту (Яndex.Site) и поиска по содержимому компакт-дисков (Я.CD). Ну, а также отдельный продукт, реализующий технологию поиска Я.Lib. В этом же году компания вышла в интернет и с помощью продукта Я.Dict позволял осуществлять запросы на русском языке к популярной в то время в буржунете поисковой машине AltaVista (Гугла то ведь еще не было ).
Но все это было не то, что позволило бы действительно развернуться компании во всей красе. Не хватало своего собственного индекса всех сайтов рунета. Ну, сотрудники компании (в том время отдела компании «Аркадия») поднапряглись и создали поискового робота, который довольно быстро обошел все имеющиеся в рунете пять тысяч сайтов (на тот момент) и собрал индексный текстовый файл весом всего лишь в четыре гигабайта.
Все. В 1997 на выставке Softool был проанонсирован новый сайт yandex.ru (проект под кодовым названием Яndex-Web), который был запущен в свет 23 сентября.
Кстати, первый вариант дизайна для него нарисовал всем вам известный сейчас Артемий Лебедев:
По началу для работы с поисковой системой требовалось вводить сформулированные специальным образом запросы (с помощью логических операторов), но через несколько месяцев от этого избавились и к поисковику можно было обращаться, как к простому собеседнику. В этом же году открылся форум для общения с посетителями и решения возникших у них проблем, который просуществовал до 2008 года.
Yandex уже в то время успешно боролся с дублями контента в разных или отличающимися незначительно, и из выдачи удалялись одинаковые документы. К тому же, применялись , позволяющие размещать вверху поисковой выдачи ссылки на наиболее релевантные (отвечающие запросу пользователя) документы.
Получается, что развитие интернета в рунете очень хорошо совпало с тем, что компания Яндекс до этого уже довольно долго и серьезно работала над проблемами поиска на русском языке по огромным текстовым массивам.
Наверное, это сыграло решающую роль в дальнейшем головокружительном взлете — ему ведь только оставалось перенести свои наработки в веб и уделить внимание разработкам сопутствующих сервисов и продумыванию путей извлечения из всего этого дохода. Главным было оказаться в нужное время и в нужном месте . Сегаловичу и Волажу это удалось, с чем и поздравляю — молодцы.
Но, как бы, на этом история не заканчивается, а, наоборот, только начинается. В следующем 1998 году ведутся работы над усовершенствованием движка поиска, появляются новые функциональные возможности для пользователей (поиск в найденном, найти похожие документы и т.п.), а также претерпевает небольшое изменение дизайн главной страницы (получить эти скриншоты оказалось делом довольно простым, ибо существует такой сервис, как , который выполняет функцию машины времени):
В 1999 году семимильными шагами начал набирать популярность интернет в русскоговорящем сегменте сети и в связи с этим серьезно увеличилось количество проиндексированных Яндексом документов, что ему удалось за счет запуска нового робота сканирующего сайты рунета. В этом же году стартовал новый проект , который просуществовал до 2012 года.
Что интересно, именно начиная с этого года Yandex всерьез взялся за фильтрацию спама, стал учитывать содержимое тегов Alt для изображений, а еще кроме самого текста документа стал рассматривать при ранжировании и , ведущих на него с других сайтов сети (зарождение полноценного ссылочного ранжирования). Ну, и дизайн его главной страницы существенно поменялся:
Развитие нового поисковика и сопутствующих ему сервисов
В 2000 году произошел целый ряд событий предопределивших дальнейший успех Яндекс.ру. Если вы посмотрите на предыдущие три скриншота с дизайном его главной страницы, то заметите логотип CompTek. Это вполне логично, ибо команда разработчиков в то время входила в состав отдела программирования этой компании. А вот в 2000 году этот отдел был обратно выделен в отдельную компанию, но которая уже называлась не «Аркадия», а Яndex.
Кстати, в это время у них еще не была проработана схема получения дохода и они были вынуждены привлечь инвестора. Корпорация ru-Net Holdings вложила в поисковик около пяти миллионов долларов, за что получила третью часть активов компании Yandex. В общем-то, очень даже выгодная сделка получилась, ибо сейчас поисковая система номер один в рунете тянет уже на сотни миллионов долларов.
В этом же году появился знаменитый , а так же был введен , с помощью которого осуществлялось ранжирование сайтов в этом каталоге (видите уже привычную нам денежку на приведенном скриншоте).
Причем, Тиц присваивался всем проиндексированным ресурсам (вне зависимости от их нахождения или не нахождения в каталоге) и в отличии от тематический индекс присваивался всему сайту, а не отдельным его страницам. Он измеряется цифровыми значениями от 0 и до бесконечности и является линейной величиной, а Page rank имеет только одиннадцать градаций от 0 до 10 и является величиной логарифмической.
Кроме этого, Yandex в 2000 году уже формируется как мультипортал, ибо как раз в это время появляются такие сервисы, как Почта, Новости, Закладки, Открытки, ну, и голая строка поиска по адресу ya.ru (у Гугла главная страница выглядит так же — полная аскетичность). Так же появился ряд сервисов, которые в последствии станут Маркетом. Ну, и еще до кучи в 2000 году впервые увидела свет , которую пользователи могли установить как дополнение для своего браузера (сейчас ее переименовали в Элементы).
Главным достижением компании в 2001 году можно считать то, что она стал самым посещаемым сайтом в рунете, индексная база выросла до размера одного терабайта, появился сервис поиска по изображениям .
Ну, и примерно в это же время увидела свет . Традиционно поменялся и дизайн главной страницы:
В 2002 году на базе трех отдельных сервисов сформировался всем вам сейчас хорошо знакомый и удобный инструмент поиска и подбора нужного товара — . А еще произошло знаковое событие в истории компании — она полностью перешла на самоокупаемость за счет открытия сервиса .
Дизайн главной страницы стал еще ближе к современному варианту:
2003 год стал первым годом самоокупаемости, а также эта поисковая система, кроме обычных Html страничек, научилась индексировать документы в форматах RTF, PDF, и DOC, ну, а спустя год очередь дошла и до Flash сайтов. В Я.Почте появилась серьезная спаморезка под названием «Самооборона», а Директ с этого года стал работать по принципу оплаты за клики.
В 2004 году прибыль компании уже составила около десяти миллионов зеленью, появились сервисы поиска по карте, а так же по блогам и форумам. Примерно в этом же году на рынке поиска в рунете появился мощный конкурент в лице Гугла , в связи с чем Yandex расширил свой штат сотрудников примерно в десять раз для адекватного ответа.
К участию в разработке дизайна главной страницы были привлечены все желающие пользователи и в результате этот вариант главной просуществовал аж до 2007 года без изменений:
В 2005 году Яndex решил задуматься о расширении и появилось представительство этой компании в незалежной. А в конце этого же года произошло очень примечательное для многих вебмастеров событие — открылась . Не знаете что это такое?
Теперь все владельцы сайтов получили возможность размещать на страницах своих площадок контекстную рекламу и получать пятьдесят процентов от цены каждого клика. За это я хочу высказать отдельный респект, ну, и своему цопу (центру обслуживания партнеров) Профит Партнеру еще больший респект, ибо они меня фактически кормят. Также в этом году появился сервис Я.Словари.
В 2006 году на Яндекс.Картах появилась возможность отображать пробки и появился инструмент по выявлению общественного мнения , где фактически искались отзывы по блогам и форумам.
В 2007 году появился , а еще довольно популярный сейчас инструмент аналитики — , который изначально был ориентирован прежде всего на нужды рекламодателей в Директе.
Ну, и открылся украинский поисковик Yandex.ua, который сейчас агрегирует в себе примерно четверть поиска в незалежной, также появилась первая версия . Плюс сверстали новый дизайн главной:
В 2008 году открылся офис компании в штатах и одновременно в алгоритмы движка была добавлена поддержка международных стандартов , MediaRSS и др. Это позволяло компании успешно индексировать сайты буржунета, которые эти стандарты уже давно поддерживали. Ну, а логотип Яndex с этого момента стал писаться полностью на русском языке:
А дизайн главной страницы претерпел свою последнюю реинкарнацию:
Главным событием 2009 года стало введение регионального поиска (в алгоритме Снежинск), что дало Яндексу определенную фору относительно Гугла, у которого региональный поиск заключался в разбиении только по странам, а не по городам. В 2010 году появился и пользователи поисковика получили возможность осуществлять поиск только по бурженету, как через Yandex.ru, так и через.com.
Примерно в это же время появляется украинский региональный поиск, а еще для расчета формулы релевантности начинает использоваться самообучающийся алгоритм Матрикснет и вступает в действие технология Спектр.
Матрикснет использует в качестве реперных точек оценки асессоров (определяющих качество отдельных сайтов в сети), а Спектр позволяет учесть в поисковой выдаче все возможные смыслы, заложенные пользователем в запрос (например, по запросу «Наполеон» довольно трудно решить, о чем же хочет узнать пользователь — о торте или о выдающейся личности в истории).
Ну, и в 2011 году лидер поиска рунета разместил на бирже NASDAQ свои акции. Тонкостей этого дела я не понимаю, но выручил Yandex на этом огромную сумму (больше миллиарда зеленью), которая немногим меньше той суммы, которую получил Гугл при аналогичном размещении в 2004 году.
Все, но история Яндекса на этом не заканчивается и, скорее всего, будет продолжаться еще долгие годы.
Сейчас у них уже довольно много офисов в разных городах мира и если верить фотографиям, то атмосфера в компании царит довольно-таки демократичная:
Особенности продвижения под Яндекс (отличия от Google.ru)
Теперь давайте вернемся к проблемам вебмастеров и оптимизаторов — как же продвигать свой сайт под Яндекс? Не так просто, как может показаться на первый взгляд. На самом деле, я для себя не разделяю продвижение под разные поисковики на отдельные составляющие (), но нюансы и отличия есть и многие на них заостряют внимание:
- Как правило, при продвижении по конкурентному поисковому запросу следует иметь сразу несколько страниц на сайте, которые бы отвечали на данный запрос. Одна из них будет прокачиваться вами внешними ссылками, а остальные будут создавать видимость того, что ваш ресурс акцентирован на ответе на данный запрос пользователя.
- С недавних пор Yandex ратует за то, чтобы тексты статей не были бы переоптимизироваными и грозится за это карать. Как мне кажется, одной переоптимизации будет мало для наложения вето — нужно, чтобы и поведение пользователей говорило, что данный текст спамный.
- Так же он учитывает при ранжировании возраст сайта (не домена) и его трастовость. Гугл тоже это учитывает, но несколько в меньшей степени.
- Внешние ссылки оказывают влияние на продвижение сайта в Яндексе несколько в меньшей степени, чем при продвижении в Google.
- «Зеркало рунета» любит разнообразие как источников ссылок, так и их анкоров (текстов).
- Как я уже говорил, в отечественном поисковике доля коммерческих запросов существенно выше, чем в буржуйском аналоге и конкуренция по ним будет значительно более высокой
- При ранжировании в поисковой выдаче, Google больше внимание уделяет самой релевантной запросу странице (как бы в отрыве от сайта), а Yandex оценивает еще и другие страницы этого же ресурса, а еще и весь его в целом.
- Ну, и в обоих поисковых системах сейчас при определении релевантности страниц активно учитываются , ибо они позволяют привлечь к оценке качества сайта огромное количество пользователей (за бесплатно).
При продвижении под Яндекс (и под Гугл.ру, но в меньшей степени) следует учитывать, что сейчас уже не работает такое понятие, как плотность ключевых слов (). Поиск великолепно разбирается в особенностях русского языка и способен выносить оценку о тематике статьи по тому вектору, который в ней имеется.
Т.е. должны быть в статье, но в очень ограниченном количестве, а еще должны присутствовать все те слова и фразы, которые по мнению поисковой системы должны присутствовать в подобных текстах (вектор).
Удачи вам! До скорых встреч на страницах блога сайт
посмотреть еще ролики можно перейдя на");">
Вам может быть интересно
Рамблер - поисковая система, которой уже нет (от расцвета до заката)
Сегодня мы с вами частично рассмотрим поисковую систему Яндекс.
Ее главная страница является лицом всей системы и буквально порталом в удивительный мир поисковика, занимающего лидирующие позиции в рунете.
О причинах лидерства рассказывать сейчас нет смысла, потому как тема нашей статьи несколько иная, но, если в паре слов, то, Яндекс:
- Помогает пользователю
- Дружелюбен даже для начинающих
- Прост в использовании
- Использует уникальную систему ранжирования
- Имеет собственный путь развития и старается привносить что-то новое.
Запуск системы состоялся еще в далеком девяносто седьмом году во время презентации на выставке Softool.
И уже на тот момент Яндекс без проблем справлялся с морфологией русского языка, искал необходимую пользователю информацию, учитывая расстояние.
А также имел собственный алгоритм релевантности той или иной страницы каждого сайта, прошедшего индексацию.
Первое знакомство с главной страницей
Для того, чтобы попасть на главную страницу Яндекса, достаточно ввести в поисковой строке браузера www яндекс или www яндекс ru или ру.
Ну а если вам вообще лень или вы полны нетерпения насладиться доселе невиданным зрелищем – просто напишите «Яндекс» и нажмите на первую ссылку, которая выпадет в поиске.
Итак, мы на главной странице. Нужно сказать, что с момента своего появления у этой поисковой системы главная страница менялась очень часто.
А все потому, что разработчики тщательно следят за современными тенденциями и желаниями пользователей.
На основе всего этого, как конструктор, собирается страница, которая максимально соответствует тому, что мы привыкли называть словом «удобство» или «комфорт».
Попав на страницу впервые, вы первым делом обратите на самый верх, где выскочит полоска, предлагающая скачать адаптированный браузер Яндекс.Браузер , оснащенный специальной технологией защиты.
Совет! Несмотря на то, что Яндекс.Браузер хорошо проработан и «заточен» под все желания простого юзера, кому-то не захочется его качать, а верхняя полоска будет отвлекать от важной информации. В этом случае можно будет обратить внимание на верхний правый угол страницы, где есть кнопочка «Закрыть», выполненная в виде крестика. Нажмите на нее, и вы больше не увидите надоедливую полоску, предлагающую совершить ненужное для вас действие.
Конечно, спустя некоторое время она снова может появиться, но вы уже будете точно знать, что с ней делать.
Ну или она переубедит вас и вы все же решите скачать Яндекс.Браузер хотя бы для интереса.
В конце обзора, кстати, мы предоставим вам видео с подробной настройкой этого браузера.
Сделать Яндекс главной страницей в браузере
У вас может возникнуть вопрос: «А как сделать так, чтобы главная страница Яндекса постоянно была в моем браузере и мне не приходилось постоянно ее искать?».
Сделать это можно абсолютно бесплатно!
Заботливые разработчики позаботились об этом, поэтому, если вы взглянете в самый верхний левый угол страницы, сможете найти ссылку «Сделать стартовой».
Нажмете, вам предложат установить специальное расширение и готово – страница стартовая!
Совет! Обратите внимание на картинку вверху. Первой стрелочкой (слева) указана основная ссылка, которая позволяет сделать Яндекс стартовой страницей любого браузера. Однако, если вы пользуетесь браузером Google Chrome, у вас может выскочить удобное объявление (стрелочка слева), которое поможет с установкой специального расширения, которое максимально быстро сделает Яндекс основной поисковой системой в браузере. После этого, каждый раз, как только вы захотите погулять в интернете, автоматически будет загружаться ваша любимая главная страница Яндекса.
Указываем свое местонахождение, если Яндекс не определил
После небольших манипуляций с браузером возвращаемся к странице и видим, что в том же левом верхнем углу указан город, в котором вы сейчас находитесь.
Система автоматически его определяет и выдает вам информацию, которая максимально релевантна месту, в котором вы сейчас находитесь.
Но может случиться и так, что Яндекс ошибется и выдаст вам не тот город.
Итак, если вам все еще интересна поисковая система Яндекс, мы продолжим. Переносимся в правый верхний угол страницы и видим там несколько ссылок.
Они позволяют:
- , на котором будет страница
- , подстроив ее под себя
- Завести почту , если таковой у вас нет (есть кнопка « »)
- Войти в систему при помощи кнопки «Вход» после регистрации или при помощи профиля в одной из социальных сетей
Совет! Регистрация в Яндексе быстрая и удобная. Советуем вам ею воспользоваться, ведь она позволит вам пользоваться дополнительными возможностями системы, а также сохранить все изменения, которые вы произвели в настройках.
Новости в Яндексе
Разобравшись с верхней частью страницы, двигаемся ближе к середине. Перед вашими глазами, как вы заметите, появится столбик «Новости ».
Изначально там демонстрируются новости, которые релевантны стране, в которой вы находитесь.
Если ваша страна Россия – будут показаны все новости, которые произошли за сегодня. Если в Украине – будет показан соответствующий контент.
Однако, если вам более интересны новости, касающиеся района, в котором вы проживаете, достаточно нажать на ссылку рядом со ссылкой «Новости», которая называется так, как и ваш район.
В нашем случае это «Днепропетровская область».
А справа от новостей то и дело транслируются рекламные баннеры компании Яндекс, которые либо помогают в каких-то мелочах, либо рассказывают о каких-то новых продуктах компании и ее партнеров.
- Более подробными новостями
Добрый день, уважаемые читатели моего сео блога . Эта статья о том, как работает поисковая система Яндекс , какие она использует технологии и алгоритмы для ранжирования сайтов, что делает для подготовки ответа пользователям. Многие знают, что этот флагман русского поиска задает тон в Рунете, владеет самой большой базой данных в Евразии, оперирует контентом более чем миллиарда страниц, знает ответ на любой вопрос. По данным Liveinternet за август 2012 года, доля Яндекса в России составляет 60,5%. Месячная аудитория портала - 48,9 миллионов человек. Но самое главное, для нас, блоггеров в том, как поисковая система получает наши запросы, как их обрабатывает и какой результат получается на выходе. С одной стороны, зная и понимая эту информацию, нам проще пользоваться всеми ресурсами Яндекса, с другой стороны — легче продвигать наши блоги. Поэтому, предлагаю вместе со мной посмотреть самые важные технологии лучшей поисковой системы Рунета.
Когда пользователь Интернета впервые хочет обратиться за информацией к поисковой системе, у него может возникнуть один вопрос: «Как происходит поиск?» Но когда он ее получает, зачастую этот вопрос меняется на другой: «Почему так быстро?» И действительно, почему поиск какого-нибудь файла на компьютере занимает 20 секунд, а результат запроса со всей сети компьютеров по всему миру появляется через секунду? Самое интересное, что первых два вопроса (как происходит поиск и почему 1 секунда) могут быть в одном ответе — поисковая система заранее подготовилась к запросу пользователя.
Чтобы понять принцип работы Яндекса, как и другой поисковой системы, проведем аналогию с телефонным справочником. Чтобы найти любой номер телефона, необходимо знать фамилию абонента и любой поиск занимает в таком случае максимум минуту, потому что все страницы справочника — это сплошной алфавитный указатель. А вот представьте себе, если бы поиск шел по другому варианту, где номера телефонов были бы упорядочены по самим номерам. После таких поисков, которые уже затянутся на более продолжительное время, цифры перед глазами искавшего будут еще очень долго стоять. 🙂
Так и поисковая система раскладывает всю информацию из Интернета в удобном для нее виде. И самое главное, все эти данные заранее кладутся в ее справочник, до прихода посетителя со своими запросами. То есть, когда мы задаем Яндексу вопрос, он уже знает наш ответ. И выдает нам его через секунду. Но эта секунда включает в себя ряд важнейших процессов, которые мы сейчас подробно рассмотрим.
Индексирование Интернета
Яндекс ру собирает в сети Интернет всю информацию, до которой может дотянутся. С помощью специального оборудования, отсматривается весь контент, в том числе и изображения по визуальным параметрам. Занимается таким сбором поисковая машина, а сам процесс сбора и подготовки данных называется индексированием. В основу такой машины входит компьютерная система, которая по другому именуется поисковый робот. Он регулярно обходит проиндексированные сайты, проверяет их на наличие нового контента, а также сканирует Интернет в поисках удаленных страниц. Если он обнаруживает, что какая-то такая страница больше не существует или закрыта от индексирования, то удаляет ее из поиска.
Как поисковый робот находит новые сайты? Во-первых, благодаря ссылкам с других сайтов. Потому что если на новый веб-ресурс поставлена ссылка с уже проиндексированного сайта, то при следующем посещении второго, робот зайдет в гости и к первому. Во-вторых, в есть чудесный сервис, в народе называемый «аддурилка» (от словосочетания на английском языке -addurl — добавить адрес). В нем можно внести адрес Вашего нового сайта, который через некоторое время посетит поисковый робот. В-третьих, с помощью специальной программы «Яндекс.Бар» отслеживается посещение пользователей, которые ею пользуются. Соответственно, если человек попал на новый веб-ресурс, в скором времени там появится и робот.
Все ли страницы попадают в поиск? Каждый день индексируются миллионы страниц. Среди них есть страницы различного качества, в которых может содержатся разная информация — от уникального контента до сплошного мусора. Причем, как говорит статистика, мусора в Интернете намного больше. Каждый документ поисковый робот анализирует с помощью специальных алгоритмов. Он определяет, есть ли у него какая-нибудь полезная информация, сможет ли он ответить на запрос пользователя. Если нет, то такие страницы не берут «в космонавты», если же да, то он включается в поиск.
После того, как робот посетил страницу и определил ее полезность, она появляется в хранилище поисковой машины. Здесь идет разбор любого документа до самых основ, как говорят мастера автоцентра — до винтиков. Страница очищается от html-разметки, чистый текст проходит полную инвентаризацию — подсчитывается местоположение каждого слова. В таком разобранном виде страница превращается в таблицу с цифрами и буквами, которую по другому называют индексом. Теперь, чтобы не случилось с веб-ресурсом, в котором содержится эта страница, ее последняя копия всегда есть в поиске. Даже если сайт уже не существует, слепки его документов еще некоторое время хранятся в Интернете.
Каждый индекс вместе с данными о типах документов, кодировке, языке вместе с копиями составляют поисковую базу . Она периодически обновляется, поэтому находится на специальных серверах, с помощью которых происходит обработка запросов пользователей поисковой системы.
Как часто происходит процесс индексации? В первую очередь это зависит от типов сайтов. Веб-ресурс первого типа очень часто меняет содержимое своих страниц. То есть, когда к этим страницам каждый раз приходит поисковый робот, они каждый раз содержат другой контент. По ним ничего в следующий раз уже не получится найти, поэтому такие сайты не включаются в индекс. Второй тип сайтов — хранилища данных, на страницах которых периодически добавляются ссылки на документы для скачивания. Контент такого сайта обычно не меняется, поэтому его робот посещает крайне редко. Другие сайты зависят от частоты обновления материала. Имеется в виду следующее — чем быстрее появляется новый контент на сайте, тем чаще приходит поисковый робот. И приоритет отдается в первую очередь наиболее важным веб-ресурсам (новостной сайт на порядок важнее, чем любой блог, к примеру).
Индексирование позволяет выполнить первую функцию поисковой системы — сбор информации на новых страницах в сети Интернет. Но у Яндекса есть и вторая функция — поиск ответа на запрос пользователя в уже подготовленной поисковой базе.
Яндекс готовит ответ
Процессом обработки запроса и выдачей релевантных ответов занимается компьютерная система «Метапоиск» . Для своей работы сначала она собирает всю вводную информацию: из какого региона был осуществлен запрос, к какому классу относится, есть ли ошибки в запросе и т.д. После такой обработки метапоиск проверяет, есть ли в базе точно такие же запросы с такими же параметрами. Если ответ положительный, то система показывает пользователю заранее сохраненные результаты. Если же такого вопроса в базе не существует, метапоиск обращается поисковой базе, в которой содержатся данные индекса.
И вот здесь происходят удивительные вещи. Представьте себе, что существует один супермощный компьютер, который хранит в себе весь обработанный поисковыми роботами Интернет. Пользователь задает запрос и в ячейках памяти начинается поиск всех документов, причастных к запросу. Ответ найден и все довольны. Но возьмем другой случай, когда появляется очень много запросов, содержащих в своем теле одинаковые слова. Система должна каждый раз пройтись по одним и тем же ячейкам памяти, что может увеличить время на обработку данных в разы. Соответственно, увеличивается время, что может привести к потери пользователя — он обратится за помощью к другой поисковой системе.
Чтобы таких задержек не было, все копии в индексе сайтов распределены по разным компьютерам. После передачи запроса, метапоиск дает команду таким серверам искать свой кусочек с текстом. После чего, все данные от этих машин возвращаются в центральный компьютер, он объединяет все полученные результаты и выдает пользователю первую десятку самых лучших ответов. С такой технологией сразу убивается два зайца: в несколько раз уменьшается время поиска (ответ получается за доли секунды) и благодаря увеличению площадок дублируется информация (данные не теряются из-за внезапных поломок). Сами компьютеры с дублирующей информацией составляют дата-центр — это комната с серверами.
Когда пользователь поисковой системы задает свой запрос,в 20-ти случаях из 100 получаются неоднозначные цели в вопросе. Например, если он пишет в строке поиска слово «Наполеон», то еще не известно, какой ответ ожидает — рецепт торта или биография великого полководца. Или фраза «Братья Гримм» — сказки, фильмы, музыкальная группа. Чтобы такой возможный веер целей сузить до конкретных ответов в Яндексе существует специальная технология С п е к т р . Она учитывает потребности пользователей, используя статистику поисковых запросов. Из всех вопросов, заданных в Яндексе посетителями, Спектр выделяет в них различные объекты (имена людей, названия книг, модели машин и т.д.) Эти объекты распределены по некоторым категориям. На сегодняшний момент таких категорий насчитывается более 60-ти. С помощью них поисковая система имеет в своей базе разные значения слов в запросах пользователей. Интересно, что эти категории периодически проверяются (анализ происходит пару раз в неделю), что позволяет Яндексу более точно давать ответы на поставленные вопросы.
На базе технологии Спектр Яндекс организовал диалоговые подсказки. Они появляются под поисковой строкой, в которой пользователь набирает свой неоднозначный запрос. В этой строке отражены категории, к которым может относится объект вопроса. От выбора пользователем такой категории зависят дальнейшие результаты поиска.
От 15 до 30% всех пользователей поисковой системы Яндекс желают получить только местную информацию (данные того региона, в котором они живут). Например, о новых фильмах в кинотеатрах своего города. Поэтому ответ на такой запрос должен быть разным для каждого региона. В связи с этим, Яндекс использует свою технологию поиска с учетом регионов
. Например, вот такие ответы могут получить жители, которые ищут репертуар фильмов в своем кинотеатре «Октябрь»:
А вот такой результат получат жители города Ставрополь на тот же запрос:
Регион пользователя определяется в первую очередь по его ip-адресу. Иногда эти данные не точны, потому что ряд провайдеров могут сразу работать на несколько регионов, а значит и менять ip-адреса cвоим пользователям. В принципе, если такое случилось с Вами, Вы легко можете поменять в настройках в поисковой системе свой регион. Он указан в правом верхнем углу на странице выдачи результатов. Изменить его можно .
Поисковая система Яндекс ру — результаты ответа
Когда Метапоиск подготовил ответ, поисковая система Яндекс должна выдать его на странице с результатами. Она представляет собой перечень ссылок на найденные документы с небольшой информацией по каждому. Задача технологии выдачи результатов — максимально информативно предоставить пользователю самые релевантные ответы. Шаблон одной такой ссылки выглядит следующим образом:
Рассмотрим эту форму результата поподробней. Для заголовка результата поиска Яндекс часто использует название заголовка страницы (то, что оптимизаторы прописывают в теге title). Если же его нет, то здесь появляются слова из названия статьи или поста. Если текст заголовка большой, поисковая система ставит в это поле его фрагмент, который больше всего релевантен к заданному запросу.
Очень редко, но бывает так, что заголовок не соответствует содержанию запроса. В таком случае Яндекс формирует свой заголовок результата поиска, используя текст в статье или посте. Он обязательно будет иметь слова запроса.
Для сниппета поисковая система использует весь текст на странице. Она выбирает все фрагменты, где присутствует ответ на запрос, а потом выбирает самый релевантный из них и вставляет в поле формы ссылки на документ. Благодаря такому подходу, грамотный оптимизатор может после увиденного сниппета его переделать, тем самым улучшив привлекательность ссылки.
Для лучшего восприятия результата на запрос пользователя, заголовки оформляются как ссылки в тексте (выделение синим цветом с подчеркиванием). Для привлекательности веб-ресурса и его узнаваемости добавляется фавикон — маленький фирменный значок сайта. Он появляется слева от текста в первой строке перед заголовком. Все слова, которые входили в запрос в ответе тоже выделены жирным шрифтом для удобства восприятия.
В последнее время в сниппет поисковая система Яндекса добавляет различную информацию, которая поможет пользователю еще быстрее и точнее найти свой ответ. К примеру, если пользователь в своем запросе пишет название какой-либо организации, то в сниппете Яндекс добавит адрес ее, контактные телефоны и ссылку на месторасположение в географических картах. Если поисковой системе знакома структура сайта, в котором есть документ с ответом для пользователя, он ее обязательно покажет. Плюс к этому Яндекс тут же может добавить в сниппет наиболее посещаемые страницы такого веб-ресурса, чтобы при желании посетитель смог сразу перейти в нужный ему раздел, экономя свое время.
Есть сниппеты, которые содержат в себе цену какого-либо товара для интернет-магазина, рейтинг отеля или ресторана в виде звездочек, другая интересная информация с различными цифрами о объектах в документах поиска. Задача такой информации — дать полный перечень данных о тех предметах или объектах, которые интересны пользователю.
В целом уже с различными примерами страница с ответами будет выглядеть так:
Ранжирование и асессоры
В задачу Яндекса входит не только поиск всех возможных вариантов ответа, но и подбор самых лучших (релевантных). Ведь пользователь не будет рыться во всех ссылках, которые ему предоставит в качестве результата поисков Яндекс. Процесс упорядочивания результатов поиска называется ранжированием . То есть именно ранжирование определяет качество предлагаемых ответов.
Есть правила, по которым Яндекс определяет релевантные страницы:
- понижение в позициях на странице с результатами ждут сайты, которые ухудшают качество поиска. Обычно это такие веб-ресурсы, владельцы которых пытаются обмануть поисковую систему. К примеру, это сайты со страницами, на которых находится бессмысленный или невидимый текст. Конечно, он видим и понятен поисковому роботу, но не посетителю, читающему этот документ. Или сайты, которые при переходе на ссылке в зоне выдачи сразу переводят пользователя совсем на другой сайт.
- не попадают в выдачу результатов или сильно понижаются в ранжировании сайты, содержащие в себе эротический контент. Это связано с тем, что часто такие веб-ресурсы используют агрессивные методы продвижения.
- зараженные вирусами сайты не понижаются в выдаче и не исключаются с результатов поиска — в этом случае пользователь информируется об опасности с помощью специального значка. Это связано с тем, что Яндекс предполагает, что на таких веб-ресурсах могут находиться важные документы по запросу посетителя поисковой системы.
К примеру, так будет ранжировать Яндекс сайты по запросу «яблоко»:
Кроме факторов ранжирования Яндекс использует специальные образцы с запросами и ответами на них, которые пользователи поисковой системы считают самыми подходящими. Такие образцы ни одна машина не сможет сделать на данный момент — это прерогатива человека. В Яндексе такие специалисты называются асессорами . В их задачу входит полный анализ всех документов поиска и оценка ответов на заданные запросы. Они выбирают лучшие ответы и составляют специальную обучающую выборку. В ней поисковая машина видит зависимость между релевантными страницами и их свойствами. Имея такую информацию Яндекс может подобрать для каждого запроса оптимальную формулу ранжирования. Метод построения такой формулы называется Матрикснет. Плюс этой системы в том, что она устойчива к переобучению, что позволяет учитывать большое количество факторов ранжирования, не увеличивая количество ненужных оценок и закономерностей.
В завершении моего поста хочу показать вам интересную статистику, собранную поисковой системой Яндекса в процессе своей работы.
1. Популярность личных имён в России и российских городах (данные взяты из учетных записей блоггеров и пользователей социальных сетей в марте 2012 года).
В 1863 году великий писатель Жюль Верн создал очередную свою книгу «Париж в ХХ веке». В ней он подробно описал метро, автомобиль, электрический стул, компьютер и даже сеть Интернет. Однако издатель отказался печатать книгу и она пролежала более 120 лет, пока ее не нашел правнук Жюля Верна в 1989 году. Издана была книга в 1994году.
