Марк Малсид - Google. Прорыв в духе времени
Любимейшим предметом для обсуждения у Пейджа была разработка новых, более совершенных транспортных систем. Ларри, чье детство прошло в пригороде Детройта, изобретал такие способы перемещения людей и грузов из одной точки в другую, которые позволили бы уменьшить число дорожно-транспортных происшествий, снизить расходы, уровень загрязнения атмосферы и интенсивность движения. «Он много говорил об автотранспортных системах, управляемых компьютером. Допустим, по улицам города курсирует определенное количество машин, и, если вам нужно куда-то добраться, вы просто садитесь в одну из них и называете адрес. Они функционируют, по сути, как такси, но ездить на них дешевле, и такие машины могут плотно прижиматься друг к другу на автостраде, – вспоминает Андерсон. – Его очень занимал вопрос перемещения людей или грузов по городу. Ларри нравилось искать пути решения общественных проблем».
Тридцатилетний профессор Раджив Мотвани, научный консультант Сергея, с интересом наблюдал за процессом формирования «интеллектуального родства» между Брином и Пейджем, все больше проникаясь к ним симпатией. «Оба они чрезвычайно талантливы, – говорит Мотвани, – но талантливы каждый по-своему». Сергей – практик и инженер, решающий конкретные задачи. По его логике, если что-то работает – ну и прекрасно. У него математический склад ума, он любит общаться с людьми. «Раньше он был немного нахальным, но вместе с тем очень умным и эрудированным молодым человеком, просто светился интеллектом». В кабинет Мотвани Брин заходил как в свой собственный, без стука. Пейдж же по натуре мыслитель, ему хочется докопаться до сути, понять, «почему это работает». Не менее амбициозный парень, но гораздо скромнее Сергея. Прежде чем войти в кабинет Мотвани, он обязательно стучал. «Всякий раз, когда группа из двадцати студентов собиралась для обсуждения какого-то вопроса, верховодил Сергей. Ларри же сидел тихо, и только после того как все расходились, он спрашивал: «А что ты думаешь о том, чтобы…».
Манера поведения Сергея была нетипична для докторанта Стэнфорда. «Он очень прямой, очень напористый. Такую напористость встречаешь нечасто, – отмечает Деннис Эллисон, профессор Стэнфордского университета. Сергей полностью погружается в беседу. Он всем своим видом показывает, что понимает вас, и говорит то, что думает. С ним приятно общаться».
Брин и Мотвани работали над проблемой извлечения информации из больших массивов данных. Они создали исследовательскую группу, которую назвали MIDAS (Mining Data at Stanford – «Стэнфордская программа по анализу и поиску информации»)[3]. Брин приглашал ученых, специализировавшихся на этой тематике, на собрания членов группы, проводившиеся раз в неделю, и выбирал темы для обсуждения. Они с Мотвани написали целый ряд научных статей по этой проблеме.
К методикам статистического анализа данных тогда прибегали главным образом для того, чтобы определить, какие сочетания продуктов покупатели приобретают в супермаркетах чаще всего и, соответственно, какие коррективы следует внести в схему размещения продуктов. Брин и Мотвани решили поэкспериментировать – применить эти методики к только-только появившемуся, неорганизованному Интернету. В середине 1990-х годов Всемирная паутина смахивала на Дикий Запад – такая же неконтролируемая, не стесненная нормами приличий и неуправляемая. Миллионы пользователей, конечно, были довольны: появилась электронная почта, существенно упростившая общение, а вот ученые, надеявшиеся черпать из Интернета информацию, быстро в нем разочаровались. Первые поисковые системы, призванные помогать осуществлять в Сети поиск, – Web-Crawler, Lycos, Magellan, Infoseek, Excite, HotBot – не оправдали надежд. «Поисковые системы того времени не впечатляли, – вспоминает Мотвани. – Вы получали абсолютно бесполезный список сайтов». В 1995 году Мотвани протестировал поисковую систему Inktomi, разработанную в университете Калифорнии (г. Беркли), в котором он сам защищал докторскую. Он ввел слово «Inktomi» и нажал кнопку «Поиск». «Чуда не произошло. Ее адреса в результатах не было – она не могла найти саму себя».
Тем временем Джерри Янг и Дэвид Фило, докторанты Стэнфорда, готовившиеся к защите диссертации, взяли на вооружение несколько иной подход к поиску: они привлекли редакторов, которые составили каталог веб-сайтов в алфавитном порядке. Своей компании Янг и Фило дали название Yahoo!. Их подход действительно упростил процесс поиска нужной информации, однако и он был несовершенен, а количество сайтов росло не по дням, а по часам. Брин и Мотвани перепробовали множество других каталогов и поисковых систем, но всякий раз получали сотни или даже тысячи результатов в совершенно произвольной последовательности. Чтобы найти нужную информацию, им приходилось вручную отсеивать лишние ссылки, что отнимало уйму времени. Брин и Мотвани утвердились во мнении, что должен быть более совершенный способ поиска информации в Интернете.
Пейдж, работавший над проектом «Цифровые библиотеки», как-то случайно наткнулся в Сети на AltaVista, новую поисковую систему. Она выдавала результаты быстрее других поисковиков, и, кроме того, в ней была функция-новинка: помимо списка адресов веб-сайтов, на страницах с результатами поиска появлялись выделенные цветом слова – так называемые «ссылки». Это значительно ускоряло работу в Сети: пользователь, кликнув по выделенному в тексте слову или фразе, моментально попадал на другую веб-страницу, содержавшую больше информации на интересующую его тему. Пейдж задумался: а что же можно почерпнуть из анализа ссылок?
Гектор Гарсия-Молина, один из научных консультантов Пейджа, согласился, что анализ данных о ссылках может дать интересную информацию. AltaVista не производила с ними никаких операций – просто помещала их на страницах с результатами. Пейдж с помощью тщательного анализа хотел выяснить, как еще их можно использовать. Но для того чтобы иметь возможность проверять свои предположения, ему нужно было обзавестись большой базой данных.
Выполнив необходимые расчеты, Пейдж заявил своему научному консультанту, что собирается загрузить на свой компьютер всю Всемирную сеть.
Эта идея казалась не столь дерзкой, сколь абсурдной. Но Пейдж, ничтоже сумняшеся, объявил, что загрузит весь Интернет довольно быстро и без особых проблем. Гарсия-Молина и его коллеги лишь снисходительно улыбнулись. Ларри, однако, был полон решимости осуществить задуманное. Он не был одинок в оценке значимости ссылок: Тим Бернерс-Ли, британский специалист по компьютерным технологиям, который в 1989 году разработал Всемирную сеть, еще в начале 1980 годов утверждал, что, щелкая по выделенным словам, компьютерные пользователи смогут переходить с одной веб-страницы на другую, а ссылки будут ключевым элементом Сети.
Осенью 1996 года, объединив усилия, Пейдж и Брин приступили к загрузке и анализу веб-страниц со ссылками. На сбор информации ушло гораздо больше времени, чем предполагалось (Пейдж даже подсчитал, что каждая отправка программы-«паука» в Интернет стоила кафедре компьютерных технологий 20 тыс. долл.), но Ларри очень хотел довести начатое до конца. Его стремление определить, насколько важны перекрестные ссылки, привлекло к проекту внимание не только Брина, но и Мотвани – ведь проект Пейджа открывал новые возможности для исследования Сети. Брина же привлекала не только перспектива работать со своим другом, но и чисто научный интерес к проблеме извлечения информации из больших массивов случайных данных. Всемирная сеть была для Брина идеальным объектом применения его математических способностей и навыков программирования.
У Пейджа возникла идея: подсчитав количество ссылок на отдельно взятый веб-сайт, можно было приблизительно определить степень его популярности. Да, популярность и содержание – это не одно и то же. Но и в его семье, и в семье Брина ценили опубликованные в научных журналах статьи, которые были снабжены ссылками на другие работы. Ссылки на веб-страницах напоминали Пейджу ссылки в статьях. Ученые ссылались на ранее опубликованные научные работы, изученные ими, и количество ссылок в научной среде служило мерилом влияния и авторитета автора. «Ссылки очень важны, – говорил Пейдж. – Имена лауреатов Нобелевской премии фигурируют в ссылках десяти тысяч научных работ». Большое количество ссылок в научной литературе «говорит о значимости вашей работы, раз ее сочли необходимым упомянуть».
То же можно сказать и о веб-сайтах, заключил Пейдж. Вскоре его осенила мысль: ссылки обладают разной степенью значимости! Одни являются более важными, другие – менее. Больше веса, вероятно, имеют ссылки, размещенные на важных веб-сайтах. А как определить, какие сайты относятся к числу «важных», а какие – нет? Очень просто: сайты, на которые ведет большее количество ссылок, более значимы, и наоборот. Иными словами, веб-сайт, ссылка на который появляется на главной странице популярного поискового ресурса Yahoo! автоматически становится более значимым. Своей программе определения степени значимости ссылок Ларри дал название PageRank: page – это часть слова webpage (веб-страница) и одновременно его фамилия, a rank означает «ранжировать».
