Алексей Кутовенко - Профессиональный поиск в Интернете
Рис. 9.1. Инструменты расширенного поиска Filesearch.ru
Доступны здесь и некоторые опции настройки просмотра результатов поиска. Можно выбрать способ сортировки найденных файлов: по имени, дате добавления или размеру. Кроме того, можно включить режим вывода в результатах поиска размера файла в байтах, а также даты его добавления в индекс.
Отдельно выделен режим поиска драйверов. После выбора конкретного устройства в каталоге оборудования различных производителей начинается стандартный поиск FileSearch по имени файла. К сожалению, объем этого каталога совсем невелик и в нем немало ошибок.
FileSearch.ru поддерживает несколько типов запросов. Первый и самый простой – поиск на включение. При таком запросе ведется поиск ссылок, содержащих указанную последовательность символов, которая может быть частью имени нужного файла или каталога.
Второй тип запросов – поиск по маске. Он во многом напоминает поиск файлов на дисках локального компьютера. Подстановочные спецсимволы? и * в запросе соответственно означают, что вместо них в искомом слове может быть любой символ или несколько любых символов.
Третий тип запросов – поиск с использованием регулярных выражений. Такие запросы позволяют максимально подробно указать свои требования к имени файла или каталога. Среди языка запросов FTP-поисковиков не наблюдается такого разнообразия, как в языках универсальных интернет-поисковиков, что несколько облегчает жизнь пользователя. В приложении А вы найдете описание синтаксиса регулярных выражений FileSearch.ru, которыми можно с успехом пользоваться и при работе с другими поисковиками.
Страница поисковой выдачи FileSEarch.ru достаточно проста и предоставляет только необходимый минимум информации о найденных файлах. Каждому файлу выделена ровно одна строка. Тип найденного ресурса обозначается графическим значком. Демонстрируется размер файла в килобайтах, а также полный адрес файла. Если по запросу ничего не было найдено, система предлагает повторить поиск на внешних поисковых системах.
Веб-мастера могут установить на своем сайте форму поиска FileSearch, код которой можно найти на странице Вопросы/ответы.
Поиск на файловом хостинге Rapidshare
На множестве интернет-ресурсов для хранения файлов используются внешние сервисы. Как результат, файлообменники содержат большое количество полезного контента. Однако встроенные системы поиска в архивах таких ресурсов – скорее редкое исключение из правил. Непосредственный поиск файлов требует применения специализированных инструментов.
На универсальных машинах исторически первым средством извлечения ссылок на файлы из архивов файлообменников были сложные поисковые выражения. В Google с помощью операторов intitle и inurl можно было найти немало таких файлов. Правда, для этого надо было озаботиться изучением операторов и располагать временем на эксперименты. Инструменты автоматизации такого поиска не заставили себя долго ждать.
Некоторые поисковики для Rapidshare продолжают использовать такой подход, реализованный на новом уровне: добавление дополнительных операторов и фильтров происходит автоматически и прозрачно для пользователя. Недостатки подобных поисковиков достаточно очевидны. Во-первых, поиск идет в основном в тексте ссылок. Это значит, что формируя поисковый запрос, приходится в первую очередь угадывать имя нужного файла, в результате страдает полнота поиска. Кроме того, полезные результаты сопровождаются значительным информационным шумом.
Второе дыхание поисковиков для файлообменников открылось с распространением технологий персонального поиска. Действительно: куда перспективней сосредоточиться на поиске по страницам ресурсов, точно содержащих ссылки на «рапидовские» файлы, чем изощряться в составлении сложных запросов, работающих «по площадям». Поскольку такие веб-страницы, как правило, содержат описания выложенных файлов, их можно использовать как дополнительный источник поисковых признаков. Достоинство такого подхода – он действительно работает и не слишком сложен в реализации. От создателя поисковика, по большому счету, требуется только собрать достойный список ресурсов, публикующих файлы на Rapidshare или на других файлообменниках.
Поскольку подборки ресурсов на разных поисковых машинах различаются, пробуйте искать на нескольких поисковиках – вполне возможно, что нужная ссылка найдется на одном из сайтов из уникального списка определенного поисковика.
Среди множества таких ресурсов упоминания заслуживает несколько проектов. Проект Torosso (torosso.com) предлагает поиск среди ссылок на файлы, хранящиеся на файлообменниках Rapidshare и Depositfiles. Поддерживается и поиск на нескольких крупных торрент-трекерах. Доступен фильтр типов файлов. Достаточно интересные результаты выдает поисковик RapidExplorer (www.grabsharefiLe.com). Он поддерживает поиск ссылок на серверах Rapidshare и Megaupload. Доступны тематические переключатели Web, Software, Music и Video. Результаты поиска неплохие, задания обрабатываются на среднем уровне, без провалов и особых успехов: чуть хуже по книгам, чуть лучше по мультимедиа-файлам и программам. Вот только не стоит при таком поиске включать опцию Software, предусмотренную в интерфейсе RapidExplorer – вы не получите ничего кроме ссылок на весьма подозрительные сайты. Работа с ними – занятие на любителя.
Немало современных поисковиков, работающих с торрентами, построено на базе «персональной» платформы Google Custom Search Engine. Назовем несколько примеров таких поисковых машин.
Ресурс CompleTorrent, по заявлению разработчиков, обрабатывает добрых четыре сотни трекеров, среди которых есть как общеизвестные универсальные ресурсы, так и небольшие тематические проекты. Ахиллесова пята подобного подхода – зависимость от качества работы «пауков» Google. Если в силу каких-либо причин робот Google не сможет проиндексировать сайт, CompleTorrent просто потеряет такой ресурс. Кроме того, CompleTorrent предлагает только самые простые средства составления запроса и не обладает какими-либо полезными дополнениями.
Практически теми же плюсами и минусами обладает поисковик Toorgle. Он представляет собой типичную CSE-машину Google, простую в создании и способную обрабатывать большое количество ресурсов. Данный проект работает с двумя сотнями сайтов.
Необходимо отметить, что стандартные инструменты Google CSE не самым лучшим образом подходят для поиска торрентов. Например, ни на Toorgle, ни на CompleTorrent не приводится сведений о состоянии того или иного торрента, не выявляются «мертвые» релизы, что ведет к большому количеству бесполезных ссылок в результатах поиска.
Среди поисковиков для файлообменников особого внимания заслуживает Rapidoogle (rapidoogLe.com). Он является, пожалуй, лучшим решением в своем классе, построенном на базе технологии Google Custom Search Engine. В его активе – весьма обширная подборка индексируемых ресурсов. Среди них есть как самостоятельные сайты, так и форумы, а также блоги. В списке выдачи присутствуют как ссылки с достаточно известных ресурсов, так и с большого количества мелких сайтов. Нельзя не отметить неплохой охват азиатских ресурсов, которые обычно выпадают из поля зрения не только пользователей, но и многих специализированных поисковиков, а ведь там можно отыскать достаточно редкие вещи, в том числе повторно размещаемые файлы, ссылки на которые по тем или иным причинам удалены из «наших» сегментов интернета. Это положительно сказывается на качестве результатов поиска. Кроме того, данная система рассылает запросы на некоторые другие поисковые системы, индексирующие файлообменники. Таким образом, Rapidoogle можно рассматривать в качестве своеобразного метапоисковика.
Rapid Search Engine
Поскольку создание собственной базы – процесс достаточно длительный и ресурсоемкий, несколько «рапидовских» поисковиков решили задействовать для этой цели социальные методы. Они предлагают пользователям, которые размещают файлы на обменных ресурсах, сообщать об этом поисковику. Дополнительное преимущество данного решения состоит в том, что при добавлении файла в индексную базу владелец файла составляет его детальное описание, что значительно облегчает его поиск в будущем. Если говорить о минусах такого подхода, то они достаточно очевидны: меньшее по сравнению с автоматически собираемыми базами количество доступных ссылок в индексе проекта, а также более медленное пополнение индексной базы.
Лучшая на сегодняшний день реализация социального поиска в файлообменниках – это проект Rapid Search Engine. Данный поисковик работает только с файлами, размещенными на файлообменнике Rapidshare. Для поиска используются две базы: индекс сайтов, размещающих файлы на Rapidshare, и индексная база прямых ссылок на файлы, генерируемая с помощью пользователей проекта. Разработчики этого поисковика сообщают о почти пятнадцати миллионах проиндексированных файлов. Темпы пополнения индексной базы достаточно стабильны.
