Поисковые системы интернета: обзор существующих решений. Поисковые системы россии и лидирующие поисковики интернета

Для начала – что такое «Поисковая система»?

Поисковая система – программно-аппаратный
комплекс с веб-интерфейсом, предоставляющий
возможность поиска информации в Интернете.

В просторечии, под поисковой системой,
подразумевают веб-сайт, на котором размещён
интерфейс (фронт-энд) системы.

Программной частью поисковой системы является поисковая
машина (поисковый движок) – комплекс программ, обеспечивающий функциональность поисковой системы и являющийся коммерческой
тайной компании-разработчика поисковой системы.

Большинство поисковых систем ищут информацию на сайтах
Всемирной паутины, но существуют также системы, способные
искать файлы на ftp-серверах, товары в интернет-магазинах,
а также информацию в группах новостей Usenet. как пользоваться поисковыми сайтами

Пользоваться поисковыми сайтами – просто!

На любом поисковом сайте – есть поисковая строка.
В конце строки, на русскоязычных сайтах стоит – «найти»,
а на англоязычных сайтах – «search» (поиск).

Надо напечатать в поисковой строке то, что вы хотите найти
и нажать — либо кнопку «найти» на сайте, либо клавишу
Enter, на своей клавиатуре.

Но то, что ищете – !

Существуют некоторые правила и хитрости, для успешного
поиска. Как правильно составить поисковый запрос – смотрите
в правой колонке этой страницы.

Наиболее известные поисковые сайты

Наиболее известные поисковые сайты

российские поисковые системы и каталоги

Российские поисковые системы и каталоги

Yandex.ru (яндекс) — крупнейший российский интернет-поисковик;
Rambler.ru (рамблер) — информац.-поисковая система в России;
Google.ru (гугл) — поиск-система, расширенный поиск в интернете;
Mail.ru (мейл) — бесплатная почта, веб-рейтинг, интернет-сервисы;
ru.Wikipedia.org (википедия.ру) — мировая энциклопедия;
Nigma.ru (нигма) — мульти-поисковая система МГУ;
MSN.ru (microsoft МСН) — поисковая система, почта, новости;
ru.Yahoo.com (яху) — поисков. каталог, почта, интернет-сервисы;
Aport.ru (апорт) — поисковая система, интернет-каталог России;
Metabot.ru (метабот) — российская мульти-мета поисковая система;
LiveInternet.ru (лайф интернет) — рейтинг сайтов, статистика;
Yellow-Pages.ru (желтые страницы) — телефон. база, адреса фирм;
NOL9.ru (ноль девять) — информ.-поисковая система, веб-рейтинг;
Webalta.ru (вебальта) — рейтинг сайтов, беспл. электронная почта;
Gogo.ru (гоугоу) — от mail.ru, расширенный поиск по интернету;
Zone.ru (зона ру) — мультипортал, поиск сайтов, новости, сми;
Filesearch.ru (файлсёрч) — ищет файлы на FTP-серверах;
Spylog.ru (спайлог) — рейтинг сайтов, сервис интернет статистики;
Km.ru (портал Кирилл и Мефодий) — энциклопедия, беспл. почта.

Большинство «русскоязычных» поисковых систем индексируют и ищут тексты
на многих языках – украинском, белорусском, английском и др. Отличаются же они
от «всеязычных» систем, индексирующих все документы подряд, тем, что в основном индексируют ресурсы, расположенные в доменных зонах, где доминирует русский язык или другими способами ограничивают своих роботов русскоязычными сайтами.

Яндекс (61,3 % Рунета)
Mail.ru (8,5 % Рунета)
Rambler (1.9 % Рунета)
Nigma (0,3 % Рунета)

Из перечисленных поисковых систем не все имеют собственный поисковый
алгоритм – так QIP.ru используют поисковый механизм Яндекса, а Nigma сочетает
в себе как свой алгоритм, так и сборную выдачу от других поисковиков.

По данным LiveInternet на сентябрь 2012 года, в России
доли поисковых систем распределяются следующим образом:

Яндекс - 52,8 %, Google - 33,9 %, Mail.Ru - 8,4 %, Рамблер - 1,2 %.

мировые поисковики и каталоги

Мировые поисковики и каталоги

Поиск возможен на русском
и других языках по России и Миру!

Поиск русских сайтов – на русском вводите слова
(что искать) и нажимаете кнопку search (поиск).
И всё – результат на русском!

Altavista.com (альтависта) — мультиязычная поисковая система;
Google.com (гугл) — расширенный поиск в интернете;
MSN.com (microsoft МСН) — поисковая система, почта, новости;
Gigablast.com (гигабласт) — ресурс, поисковая система интернета;
Ask.com (аск) — своеобразный ресурс, поисковая система интернета;
Clusty.com (класти) — поисковик с кластеризацией результатов;
Entireweb.com (энтривэб) — поисковик с предосмотром сайтов;
Yahoo.com (яху) — поисковый каталог сайтов, почта, сервисы;
Alltheweb.com (олзевэб) — поиск сайтов, робот, совместно с yahoo;
Searchaol.com (аол) — поиск сайтов, робот, совместно с google;
Dmoz.org (дмоз) — каталог сайтов №1, веб-проект Netscape и AOL;
Search.com (серч) — интернет мульти-мета поисковая система;
Amfibi.com (амфибия) — интернет-поисковая система;
Wikipedia.org — энциклопедия №1 в мире. С поисков. википедия;
Walhello.info (волхело) — интернет-поисковая система;

По данным компании Net Applications в ноябре 2011 года использование
поисковых систем на Западе распределялось следующим образом:

Google - 83,87 %
Yahoo - 6,20 %
Baidu - 4,22 %;
Bing - 3,69 %;
Yandex - 1,7 %;
Ask - 0,57 %;
AOL - 0,36 %.

Из истории поисковой системы

Из истории «Поисковой системы»

Одним из первых инструментов поиска в интернете
(до WWW) был Archie. Первой поисковой системой для
Всемирной паутины был «Wandex», уже не существующий
индекс, который создавал «World Wide Web Wanderer» –
бот, разработанный Мэтью Грэем (англ. Matthew Gray) из
Массачусетского технологического института в 1993.
Также в 1993 году появилась поисковая система
«Aliweb», работающая до сих пор.

Первой полнотекстовой (т. н. «crawler-based», то есть
индексирующей ресурсы при помощи робота) поисковой
системой стала «WebCrawler», запущенная в 1994. В отличие
от своих предшественников, она позволяла пользователям
искать по любым ключевым словам на любой веб-странице –
с тех пор это стало стандартом во всех основных поисковых
системах. Кроме того, это был первый поисковик, о котором
было известно в широких кругах. В 1994 был запущен
«Lycos», разработанный в университете Карнеги Мелона.

Вскоре появилось множество других конкурирующих
поисковых машин, таких как «Excite», «Infoseek», «Inktomi»,
«Northern Light» и «AltaVista». В некотором смысле они
конкурировали с популярными интернет-каталогами, такими,
как «Yahoo!». Позже каталоги соединились или добавили к себе
поисковые машины, чтобы увеличить функциональность.

В 1996 году русскоязычным пользователям интернета
стало доступно морфологическое расширение к поисковой
машине Altavista и оригинальные российские поисковые
машины Rambler и Aport. 23 сентября 1997 была открыта
поисковая машина Яндекс.

В последнее время завоёвывает всё большую
популярность практика применения методов кластерного
анализа и метапоиска. Из международных машин такого
плана наибольшую известность получила «Clusty»
компании Vivisimo.

В 2005 году на российских просторах при поддержке
МГУ запущен поисковик Nigma, поддерживающий
автоматическую кластеризацию. В 2006 году открылась
российская метамашина Quintura, предлагающая визуальную
кластеризацию в виде облака ключевых слов. Nigma тоже
экспериментировала с визуальной кластеризацией.

Помимо поисковых машин для Всемирной паутины,
существовали и поисковики для других протоколов,
такие как Archie для поиска по анонимным
FTP-серверам и «Veronica» для поиска в Gopher.

Источники для описания поисковых сайтов:
http://ru.wikipedia.org/ Поисковые системы
http://www.puler.ru Поисковые системы и каталоги

Данный материал будет полезен как тем лицам, которые занимаются поисковой оптимизацией, так и тем, у кого это не стоит в планах. Чтобы качественно продвигать сайты важно знать, какие существуют поисковые системы и основные принципы их работы. Для остальных информация будет полезна для общего развития.

Все знают, что во всемирной паутине количество сайтов огромно и нужно уметь в них ориентироваться. В противном случае человек свои посещения будет ограничивать теми ресурсами, которые хорошо знает, но где гарантия, что на других ресурсах не будет лучше и полезнее информации? Изначально люди обменивались ссылками, позже стали появляться каталоги ссылок, отсортированные по темам. При помощи каталогов у пользователей появилась возможность находить для себя более интересные сайты, тем не менее, поиск информации по-прежнему был проблематичным. В это время появились поисковые системы.

Среди множества поисковых систем с огромным отрывом лидирует . В 1998 году студенты Стэнфордского университета, Сергей Брин и Ларри Пейдж, создали эту систему. Сергей сделал ошибку в слове Googol (число 10 в 100 степени), так и возникло название Гугл. Сегодня Гугл является крупной поисковой системой и работает со 191 языками.

Если рассматривать поисковики России, то в этом сегменте лидирует всеми знакомая . Среди всех запросов в русскоязычной сети, 60% приходились именно на эту систему в 2010 году. В этом же году компания запустила yandex.com для выхода на мировой рынок.

Поисковики России поделили следующим образом сегмент рынка русскоязычных поисковых систем (согласно данным liveinternet.ru за октябрь 2013 г.):

1. Яндекс – 54,0% (основной поиск + поиск по картинкам);
2. Google — 34,9 %; (основной поиск + поиск по картинкам)
   
3. Майл. Ру – 8,8%;
4. Рамблер – 1,0%;
5. Bing – 0,7%;
6. Остальные поисковики 0,2 % и менее.

является русскоязычным вариантом текстовой версии поисковика, запущенного корпорацией Майкрософт в 2009 году. Он в настоящий момент не опережает Гугл. Однако объем индексного файла сопоставим с аналогами в Гугл, но по всем остальным параметрам, по определению релевантности поисковых запросов, Бинг пока ещё уступает своему сильному конкуренту. Система обладает стандартными возможностями поисковика, возможность поиска по картинкам и видеозаписям.

Рассматривая поисковики России нельзя не упомянуть о , появившейся ещё в 1996 году. Спустя 6 лет была проведена модернизация, позволяющая данному поисковику войти в число лидеров.

В 2008 году запущен поисковый модуль почтовой службы майл.ру. При этом в качестве программного движка применяется модуль поисковика Гугл, что обеспечивает этому поисковику высокое качество. При этом индексирование и сбор сведений майл. Ру осуществляет самостоятельно, что объясняет разные результаты выдачи одного и того же поискового запроса. Форма ограниченного поиска позволяет отфильтровать запросы по месторасположению ключевых слов, по типам файлов и доменам.

Во второй половине 1990 года была разработана . Она устарела, имеет ограниченный индекс страниц, всего 70 миллионов. Ценность представляют отдельные характеристики: подсистема выдачи результатов: искомые слова отображаются в контексте документа, что сразу позволяет пользователю определить, интересен ли ему документ.

Нигма является экспериментальным проектом с применением искусственного интеллекта. В ряде случаев она предвидит поисковые запросы и выдаёт ответы, не обращаясь к первоисточникам, расшифровывает сокращения, решает формулы, даёт уточняющие подсказки при поиске на английском языке.

Американская компания (Яху) является в мире второй по популярности – 7,57%. В соответствии с соглашением 2009 года по состоянию на 2012 году в Америке и Канаде поиск осуществляется на сайте Яхо поисковиком Бинг. Портал также включает в себя популярный почтовый сервис. Yahoo! Mail в 2004 году запустил новую версию почтового интерфейса, который стал базироваться на AJAX.

Ask.com является системой, фишкой которой являются ответы на вопросы. Сервис основали в 1996 году в Бркли, Дэвис Уортон и Гарреттом Грюнер. Вначале сервис построен был на базе поисковой машины, написано Гарри Чевски.

GoGo.ru - является отечественным поисковиком, разработкой компании Mail.Ru, запущенный в июне 2007 года. Компания приобрела домен gogo.ru ещё в 2000 году. Спустя 6 лет началась разработка, которую возглавил Михаил Костин, создатель поисковика Апорт. Сумма инвестиций составила 700 тысяч долларов.

Результаты выдачи отличаются от встроенной системы на основе поисковика Яндекс. По данным специализированных статистических компаний, качество её поисковой выдачи находится на хорошем уровне.

Отличительными особенностями являются поиск на русском языке по видеозаписям, а также на основе данных проекта ответы. Майл.ру. разработчиками предусмотрена возможность фильтрации результатов поиска по теме. Есть возможность ограничить выдачу по коммерческим, информационным, а также пользовательским источникам.

В 2008 году на базе гоугоу. Ру насчитывается 2,5 млрд. документов, 2 миллиона видеороликов, 140 миллиона изображений и 86 миллионов ответов.

В этой статье мы кратко рассмотрели самые популярные поисковики России, более подробно об каждом из этих поисковиков читайте в следующих статьях.

всего

Вступление

Мало кто сейчас может представить Интернет без поиска, поисковой выдачи и организующих всё это информационных поисковых систем (ИПС). А ведь еще недавно, вся информация Интернет умещалась в несколько каталогов, название которые еще на слуху (DMOZ, Yahoo).

Сегодня, объем информации в сети Интернет настолько огромный, что уместить её ни в какие каталоги не возможно. Для обработки, хранения информации, организации поиска созданы и продолжают создаваться, мощные программные продукты которые мы называем поисковые системы (ПС). У каждой поисковой системы (поисковика) свои базы данных, свои алгоритмы обработки, поиска, ранжирования и выдачи информации.

Поисковые системы Интернет это

Можно дать следующее академическое определение поисковым системам. Поисковая система это набор программ и технических средств для организации в сети Интернет пользовательского поиска, при котором на текстовой запрос, пользователь получает список релевантных (соответствующих запросу) результатов.

Выдача производится в виде списка ссылок на источник информации с кратким описанием (превью) иногда с фото.

Для первого примера, вспомним мирового лидера поиска «Google» и лидера Рунета поисковик «Яндекс». Кроме этих поисковиков можно назвать еще десяток существующих поисковых систем, о коих поговорим чуть ниже.

Мнение: Поисковые системы Google, Яндекс и другие, не являются генераторами (производителями) контента, а являются агрегаторами (аккумуляторами) контента и в основной массе, чужого контента. Стоит вспомнить, что использование чужого контента для создания собственного трафика и его монетизации, можно характеризовать, как «пиратство», что на деле, конечно же, не происходит.

Рейтинг

• и Google делят первые два места лидеров: около 49% и 45%.
• Третье место: Поиск Mail.ru около 3%;
• Остальные поисковики плавают ниже 1%.

Смотрю статистику по Google Analytics:

• yandex / organic 40,26 %
• google / organic 38,93 %
• mail.ru / organic 0,60 %
• rambler / organic 0,52 %
• bing / organic 0,12 %

Статистика неумолима: к поискам Яндекс и обращаются больше всего, и если посчитать, что 3% это хороший результат по сравнению с 45%, то третьим по популярности можно назвать поиск Mail.ru.

В этой связи рассуждения о популярности поисковиков кроме Яндекс и Google, можно отнести к суемудрию, а специальное продвижение сайтов в других поисковиках (не Яндекс и Google), не заслуживающих внимание.

Как работают поисковики

Вопрос, как работают поисковики, такой же общий, как вопрос «какого цвета небо». Если небо синее, то поисковики собирают информацию в интернет, обрабатывают её, ранжируют и отдают по поисковому запросу пользователю.

Теория поиска Интернет гораздо объемнее и в статье её не изложить. Однако основные моменты нам пригодятся:

Поисковые системы Интернет не осуществляют хранение документов, то есть не производят скачивание и выгрузку документов полностью в свои хранилища;

ИПС используют Интернет в качестве децентрализованного хранилища документов. Поисковики периодически обходят Интернет, выбираю нужную, по их алгоритмам, информацию и частично помещая её (информацию) в свою базу данных (Database). Отсюда несколько проблем:

• ИПС используют для выдаче не всю информацию Интернет, а только часть;
• Информация интернет часто меняется. Добавляется около 1500 тыс. страниц в день, отсюда возможная «пустая выдача»;
• Имеется большое количество дублей (дубли контента). К сожалению, у меня нет точных данных по дублям, а встречающаяся цифра в 25% дублей, кажется завышенной;
• Много рекламы, которую тоже обходят поисковики;
• «Блуждание» поисковых роботов в сети многократно увеличивает нагрузку не ресурсы (не относится к поисковикам);
• Большинства сайтов коммерческие (порядка 83%), и имеют малое информативное значение.

По этим и некоторым другим причинам, подавляющее большинство ИПС Интернет используют схему поиска по ключевым словам (search engines), а не классическую схему поиска по классификации информации.

Особенности поиска по ключевым словам

Несмотря на меняющиеся алгоритмы поисковых систем, реклама которых пытается нас убедить, что машины становятся умнее и понятливее, в основу работы поисковых систем лежит поиск по ключевым словам.

Мне нравится такая схема поиска по ключевым словам.

Как видим, работа поисковые системы Интернет основана на поиске новых документов (поисковой робот Spider + Crawler), индексирование обнаруженных документов (Indexer) и выполнение пользовательского запроса (Search Engine Results Engine). В скобках перечислены названия используемых для этих целей поисковых роботов.

Как я сказал, большинство поисковых систем не копируют полные тексты документов в свою базу данных. Для поиска при индексировании документа создается его поисковый образ. Для организации поиска по , робот индексирования создает образ документа по, так называемому, выводящему методу (derived). То есть в образе документа указывается заголовок и набор ключевых слов.

Однако достаточно точно можно утверждать, что все ИПС обращают внимание на следующее:

• Присутствие ключевого слова в