Начнём, пожалуй, с того, что Интернет не всегда был глобальным. Именно в эпоху его становления, когда эта сеть ещё не была тем, что она представляет для нас сейчас, зародилась концепция поиска информации в этой тогда ещё, по большей части, недоступной для всех сети. Число комьютеров, подключённых к Сети, росло. Информации становилось всё больше и больше. В следствие чего возникла новая проблема, которая стояла перед человечеством, а в первую очередь, перед программистами. Нужно было структурировать информацию так, чтобы любой человек, который бы в ней нуждался, смог найти то, что хочет.

 К этому времени человечество уже знало одну достаточно «обкатанную» технологию поиска информации, которая, в частности, использовалась и используется сейчас в библиотеках различного уровня. Это реализация каталогов. Первоначально на них была возложена важная функция структурирования информации. Да, это помогло, но эффект был временным и виден лишь частично.

В этот период зародилась концепция полнотекстового поиска информации, когда машина обрабатывала тексты на страницах, загружала специальным образом обработанные данные в свой индекс (базу), по которой, в последствии, проводился поиск специальной программой. Задача для человека практически недостижимая, т. к. для этой цели явно бы не хватало человеческих ресурсов. Реализация этой задачи была возложена на машины-роботы, база которых была основана на компьютерном мышлении, т. е. логической обработке различных текстовых данных.

Первым этапом этой концепции поиска были каталоги, что и неудивительно. Каталоги по мере своего роста становились громоздкими, что усложняло работу с ними рядовому пользователю.

Одним из первых и авторитетнейших каталогов был Yahoo.com, в последствии переросший в полноценную поисковую систему. На нём была внедрена функция поиска по каталогу.

Но на этом прогресс человеческой мысли не закончился. В последствии были созданы полноценные поисковые системы, которые работали по описанной мной выше схеме. Робот регулярно сканировал новые ресурсы или обновлял информацию о старых, переходя по ссылкам, которые находились на страницах, и добавлял новые и изменённые страницы в индекс, своего рода базу поисковой системы. Поиск же осуществлялся, посредством программного анализа собранной информации и выдачи релевантных (наиболее подходящих) по запросу данных.

Первая поисковая система в Интернете появилась в 1992 году, имя которой было Veronica. Своего рода пробный проект дал почву для развития темы поиска в Интернете. Вслед за ней появились такие системы, как Altavista, Yahoo, Lycos, HotBot.

Вторым этапом развития информационного поиска Интернете следует считать появление на сцене одного из фаворитов веб-поиска – поисковой системы Google. На сегодняшний день эта поисковая система имеет наибольшую базу проиндексированных страниц, наивысшую скорость индексации документов и современные продвинутые технологии поиска и ранжирования полученной информации.

Из поисковиков Рунета следует отменить такие поисковые системы как: Rambler, Webalta, Aport и Яндекс. Яндекс занимает лидирующие позиции поиска в Рунете, имеет продвинутые способы анализа слов и большую базу данных проиндексированных документов.

Гораздо меньшей активностью обладают Rambler и Aport. Большие надежды возложены на поисковые системы Webalta и Gogo.ru. Они сравнительно молодые игроки поиска в Рунете. Надеюсь, они добьются своих целей и привнесут много нового в сферу поиска информации в Интернете.