История поисковика AllTheWeb.com восходит к 1997 году, когда компания FAST была зарегистрирована в Норвегии. В 1998 году FAST открыла офисы в Бостоне и Сан-Франциско. А уже в 1999 году были установлены партнерские отношения с Dell, с целью создания самой большой базы данных проиндексированных web-страниц. Таким образом, появилась поисковая система www.AllTheWeb.com, которая имеет базу данных более 575 миллионов URL.
Но уже в феврале 2003 года, компания Overture покупает поисковик AllTheWeb, и в свою очередь поглощается Yahoo в марте 2004 года. Произошедшее слияние выгодно обоим компаниям, Yahoo получает новый поисковый движок, AllTheWeb.com начинает использовать огромную базу данных Yahoo. Хозяев Yahoo вполне можно понять, к 2000 году база URL выросла с 80 миллионов до 200 миллионов, но и на этом поисковая система AllTheWeb.com не остановилась, к июню 2002 – го роботы поисковика проиндексировали 2 миллиарда сайтов.
В июле 2005 года поисковая машина AllTheWeb.com, разработанная компанией FAST Search & Transfer, обновила свой дизайн и функциональные возможности. Изменения могут обеспечить этому ресурсу одно из ведущих мест среди поисковиков.
AllTheWeb предлагает поиск по одной из самых больших коллекций web-страниц. Порой этот ресурс оказывался просто незаменим, особенно если требуется найти информацию по необычной или малоизвестной тематике, но у него было немало и слабых сторон. На нем отсутствовали многие возможности, которыми обладают другие поисковые машины: например, он не умел автоматически распараллеливать свою базу данных для увеличения скорости поиска. Кроме того, www.AllTheWeb.com был слабо защищен от спама и имел достаточно низкие показатели релевантности для популярных тем поиска. Но теперь в истории поисковой системы произошли значительные изменения. Как утверждает Searchenginewatch, теперь есть все основания считать поисковую систему AllTheWeb одним из лучших средств поиска информации в Сети. Новые возможности и улучшение релевантности поиска сделали этот ресурс гораздо более привлекательным, чем прежде.
Одно из наиболее заметных нововведений в поисковике AllTheWeb - это так называемый "универсальный поиск", когда поисковая машина автоматически выдает информацию из разных коллекций. Так, в дополнение к каталогу web-страниц AllTheWeb имеет базу картинок, видеоклипов, MP3 и FTP-файлов из разных ресурсов Сети. При осуществлении поиска результаты выдаются из всех этих источников.
Например, задайте для поиска "britney spears." В результатах поиска вы увидите соответствующие страницы, во главе с собственным сайтом Бритни Спирс. В правой стороне экрана красуется портрет Бритни и ссылки на другие графические файлы, а также видео-клипы о ней. В разделе под названием "side bar results" содержатся картинки, видеоклипы, MP3-файлы и результаты поиска по FTP-серверам.
Следующее новый сервис - интерфейс для поиска новостей. AllTheWeb News везде рекламируется как наиболее быстрый: действительно, если ввести в поисковую форму некое популярное словосочетание, вам представят результаты, которые попали в базу всего одну минуту назад. Однако при столь высоких скоростных показателях ресурс разочаровывает своей неразборчивостью в плане отсеивания ненужных данных. Если, скажем, история о какой-то компании была опубликована агентством Reuters и после этого попала в полсотни американских газет, то новостной сервис поисковика AllTheWeb услужливо предложит полсотни ссылок на один и тот же материал, опубликованный в различных изданиях. В последнее время данное неудобство проявляется не так часто, как раньше, однако релевантность ссылок AllTheWeb, безусловно, требует доработки.
На www.AllTheWeb.com можно точно указать, в какой именно базе производить поиск. Для этого следует воспользоваться ссылками, расположенными под окном поиска или выбрать соответствующую опцию на домашней странице AllTheWeb. Новый фильтр также позволил решить проблему спама.