Historique des moteurs de recherche

L’objectif de tous moteurs de recherche, est de trouver et d’organiser les données trouvées sur Internet. Avant le développement des moteurs de recherche, Internet n’était qu’une simple collection de fichiers où les utilisateurs naviguaient pour trouver des fichiers partagés spécifiques. Comme la liste des serveurs Web a grandi et le World Wide Web est devenu l’interface pour accéder à Internet, la nécessité de trouver et d’organiser ces fichiers de données distribuées sur des serveurs Web FTP est devenu indispensable. Les moteurs de recherche ont commencé à naviguer plus facilement ces serveurs ainsi que tous les fichiers existant sur Internet.

Archie et Gopher

Le premier moteur de recherche a été développé comme un projet d’école par Alan Emtage, un étudiant de l’Université McGill à Montréal. En 1990, Alan créé Archie, nom inspiré du mot «Archivé». En 1991, Mark McCahill, étudiant à l’Université du Minnesota, a effectivement utilisé un paradigme hypertexte pour créer Gopher, qui a également cherché des références en texte brut dans les fichiers.

Archie et Gopher n’avaient pas les capacités linguistiques des mots-clés utilisés dans les moteurs de recherche modernes. Vers la même époque, Matthew Gray a développé Wandex, le premier moteur de recherche sous la forme que nous connaissons aujourd’hui. La technologie de Wandex a été la première à explorer l’indexation et à rechercher dans les pages indexées sur le web. Un autre développement important dans les moteurs de recherche est arrivé en 1994 quand le moteur de recherche «WebCrawler» a commencé l’indexation du texte intégral des sites web au lieu d’indexer tout  simplement les titres des pages.

Excite – Né en 1993

Excite est né en Février 1993 comme un projet universitaire appelé «Architext» impliquant six étudiants qui cherchaient à utiliser l’analyse statistique des relations entre les mots, afin d’améliorer la pertinence des recherches sur Internet. Ce projet d’école a finalement conduit à la libération commerciale Excite comme un moteur de recherche à la fin de l’année 1995.

En 1996 et avec une croissance solide, Excite a acheté «WebCrawler» et «Magellan». Vers la fin des années 1990, Excite a conclu un partenariat avec MSN et Netscape afin de fournir les services de recherche.

En 1999, Excite a été vendue à @Home.com (devenant plus tard Excite@Home).

Avec des dettes significatives, Excite @ Home a déclaré sa faillite en Octobre 2001 et a vendu son réseau à AT&T pour 307 millions de dollars. Un mois plus tard, InfoSpace a fait une offre de 10 millions de dollars pour acheter les biens et les propriétés de «Excite@Home», y compris les noms de domaine et les marques. L’offre d’Infospace a été acceptée. Ask Jeeves (maintenant Ask.com) a acheté le portail Excite.com en 2004.

Yahoo! – Né en 1994

David Filo et Jerry Yang ont créé Yahoo! en 1994. C’était à l’origine un répertoire très apprécié des sites qui ont été cataloguées par des éditeurs humains. Ce répertoire a fourni une longue liste de sites Web pris en charge par un réseau de répertoires régionaux. En 2001, Yahoo! a commencé à imposer des frais pour l’inclusion dans sa liste de répertoires. L’action de Yahoo! a permis de contrôler le nombre de sites inscrits et ont aidé à couvrir les coûts des revenus supplémentaires.

Initialement, Yahoo a utilisé des services secondaires de moteur de recherche pour soutenir son répertoire. Des partenariats et des accords avec Inktomi et Google. En 2004, Yahoo! a acheté «Overture’s pay-per-click  service», qui avait acheté, seulement un mois plus tôt, AltaVista, AllTheWeb, et la base de données de «Inktomi». Avec ces acquisitions, Yahoo! a combiné tous les outils lui permettant de créer son propre index de recherche. Aujourd’hui, Overture est renommé Yahoo.

WebCrawler – Né en 1994

WebCrawler a été le premier moteur de recherche à fournir la recherche en plein texte. En 1994, Brian Pinkerton, un étudiant en informatique à l’Université de Washington, a utilisé son temps libre pour créer WebCrawler. Avec WebCrawler, Brian a créé une liste des 25 meilleurs sites web le 15 Mars 1994. Seulement un mois plus tard, le 20 Avril 1994, Brian a annoncé le lancement de WebCrawler en direct sur le web avec une base de données de 4000 sites. Le 11 Juin 1994, Brian a déclaré que WebCrawler était disponible pour la recherche. Le 14 Novembre 1994, WebCrawler a atteint un million de requêtes. À la fin de l’année, WebCrawler a signé avec deux sponsors, Dealernet et Starwave qui lui ont fourni les capitaux nécessaires pour financer WebCrawler. Un peu moins d’un an plus tard, WebCrawler était complètement opérationnel sur les recettes publicitaires.

En Juin 1995, America Online (AOL), acquis WebCrawler. Le 4 Septembre 1995, Spider-Man a été créé en tant que mascotte de WebCrawler. Le 1 Avril 1997, WebCrawler a été vendu par AOL à Excite. En 2001, Excite a fait faillite et a été racheté par InfoSpace. Dans le cadre de l’accord, InfoSpace acquis WebCrawler.

Lycos – Né en 1994

Lycos a été l’un des premiers moteurs de recherche développés en 1994 à l’Université Carnegie Mellon par le Dr. Michael Mauldin et une équipe de chercheurs. Le nom de Lycos venait du terme latin «lycosidea » signifiant: les araignées-loups qui chassent activement leurs proies.

La société a été fondée avec 2 millions de dollars, et fut dirigée par Bob Davis, qui s’est concentré sur sa construction. Elle est devenue publique en Avril 1995 avec peu d’argent.

Avec une croissance phénoménale dans son catalogue, Lycos avait le plus grand index à la fin de 1996, avec 60 millions de documents. En 1997, «Lycos Pro» a été lancé avec un nouvel algorithme de recherche et continua à grandir.

En 1999, Lycos est devenu le portail web le plus visité. Au cours des années, Lycos devient l’une des entreprises Internet les plus rentables, elle a acquis près des dizaines de marques à fort profil sur Internet.

En Février 1998, Lycos a acquis «Tripod Inc», un site où les gens ont construit leurs propres pages Web. Cet été-là, la langue a été introduite dans la recherche et les pages de résultats ont été redessinées.

A cette même époque, les services d’annuaire «WhoWhere Inc» et «Mail City’s email services» ont été acquis pour 133 millions de dollars. Vers la fin de l’année 1998, Lycos a acquis «Wired Digital» (propriétaire de HotBot) pour 83 millions de dollars.

En 1999, Lycos était l’un des outils de recherche les plus visités sur le web, elle  continua à être impliqué dans les nouveaux projets et les acquisitions. En Février de la même année, Lycos est devenu «USA / Lycos Networks Interactive» quand USA Networks a acheté une part de 61,5% dans la société pour 18 milliards de dollars. En conséquence, Lycos a ensuite annoncé un projet visant à créer un outil de recherche pour récupérer des informations sur le site USATODAY.com

En Avril 1999, Lycos rejoint l’Open Directory Project dirigé par Netscape. En Juin 1999, Lycos s’est associée à «IntelliSeek» afin de fournir un annuaire de plus de 7400 bases de données. En Septembre 1999, Lycos a acquis «Quote.com», et a lancé la «Zone Lycos», un site éducatif pour les enfants avec un filtrage de contenu. Enfin, en Décembre 1999, Lycos a investi dans la technologie de recherche FAST.

En mai 2000, Terra Networks, une branche du géant des télécommunications espagnol «Telefonica», a acheté Lycos pour 5,4 milliards de dollars, en formant une nouvelle société Terra Lycos. Cette reprise a été évaluée de 3.000 fois l’investissement de capital-risque initial et 20 fois la valeur initiale de l’offre publique.

Lycos a souffert de l’accident dotcom en 2001. Fin 2001, Lycos a abandonné son propre robot d’exploration et a commencé à servir exclusivement les résultats de FAST. En Août 2004, Terra a vendu Lycos à «Daum Communications Corporation» à environ 95 millions de dollars.

Depuis 2006, Lycos a annoncé l’introduction du téléphone Lycos, Lycos Mail, et MIX Lycos. Ces services et outils combinent IM chat vidéo, lecteur mp3, et envoi et réception par e-mail des fichiers de tailles illimitées, vidéo et chat, et des applications pour les médias sociaux.

Lycos reste dans le top 5, derrière les portails Yahoo!, MSN, AOL et MySpace.

Infoseek – Né en 1994

Infoseek, également connu comme le « grand jaune », fondée par Steve Kirsch en 1994. Au début, et précisément en Janvier 1994, Infoseek était un service payant mais Le service est devenu gratuit en Août 1994 et Infoseek a été représenté comme Infoseek Recherche en Février 1995.

La position d’Infoseek dans le monde des moteurs de recherche s’est beaucoup améliorée après l’accord avec Netscape en 1995, l’accord qui a fait d’Infoseek, le moteur de recherche essentiel de Netscape. En Juin 1996, Infoseek est devenue publique et en Septembre 1997, le moteur de recherche servait environ 7 millions de visiteurs par mois.

En Novembre 1996, InfoSeek introduit Ultrasmart / Ultraseek et redessine son site Internet. En Mars 1998, Infoseek inclus une page de recherche utilisant des  techniques de recherche avancées, elle était la seule également à offrir un service d’hébergement gratuit sans publicité avec espace de stockage illimité.

À l’été 1998, 43% des Infoseek a été racheté par Disney, ce qui fait de la Société Disney médias une énorme entreprise commerciale.

À l’été 2000, la technologie de Infoseek Ultraseek a été vendue à Inktomi et rebaptisé «Inktomi Enterprise Search». En Décembre 2002 (avant l’acquisition de Yahoo! d’Inktomi) Ultraseek a été vendue à un concurrent «Verity Inc».

AltaVista – Né en 1995

AltaVista, qui signifie «une vue de dessus », développé à partir de recherches menées par des scientifiques de «Digital Equipment Corporation» (DEC) Laboratoire de recherche en Californie, au cours du printemps 1995. Ils ont essayé de mettre en valeur leur système de base de données informatique appelé «Alpha 8400 turbolaser» qui a été plus rapide que ses concurrents. Les scientifiques ont élaboré un outil de recherche qui navigue, stocke et rapidement indexe chaque mot des pages Web HTML sur tout l’Internet. Ce nouvel outil de recherche était puissant.

Les deux principaux scientifiques impliqués dans le développement d’AltaVista étaient Louis Monier et Michael Burrows. Louis pour le robot (appelé Scooter) et Michael pour l’indexeur. Après avoir testé le nouveau moteur de recherche, AltaVista est devenu publique le 15 Décembre 1995.

Plus de 300.000 visiteurs ont utilisé l’outil de recherche le premier jour, et jusqu’à la fin de 1996, il avait récolté 19 millions de visiteurs, et 80 millions de dollars par jour à la fin de l’année 1997.

Ironiquement, en 1996, AltaVista a commencé à fournir exclusivement les  résultats de recherche de Yahoo!, qui allait devenir un jour propriétaire d’AltaVista.

En Juin 1999, CMGI, une société d’investissement Internet et qui possédait 20% de Lycos, s’engage pour acquérir 83 % d’AltaVista.

Vers la fin de 2002, AltaVista est devenu le premier moteur de recherche sur Internet qui offre des recherches d’images, audio, et vidéos dans le cadre d’une nouvelle gamme de fonctionnalités multimédia.

En Février 2003, «Overture» a acheté AltaVista pour 140 millions de dollars. Ce prix est une fraction de l’évaluation d’AltaVista de 2,3 milliards de dollars trois ans plus tôt.

Ask Jeeves (maintenant Ask.com) – Né en 1997

Ask a été développé en 1996 par Garret Gruener et David Warthen et lancé en 1997 en tant que Ask Jeeves. En 2006, le nom «Jeeves» a été retiré, une refonte de son image après avoir été racheté en 2005 par Barry Diller InterActiveCorp (IAC). Suite à l’acquisition de Direct Hit en 2000 et Teoma en 2001, Ask a commencé le développement de son propre technologie de recherche. Avec la croissance financière, ASK a acquis d’autres sociétés, y compris Excite et iWon.

Google – Né en 1997

Google a été fondée en 1998 comme un projet scolaire à l’Université de Stanford en Californie. En Janvier 1996, les étudiants Larry Page et Sergey Brin ont commencé à étudier le concept d’un moteur de recherche basé sur le classement de pertinence. Page et Brin étaient convaincus que les moteurs de recherche devrait analyser et classer les sites en fonction du nombre de fois que les termes de recherche est apparu sur les pages Web. Ils ont développé un moteur de recherche surnommé « BackRub. » qui vérifiait le nombre et la qualité des liens de retour à des sites, dans le but d’estimer la valeur d’un site web. Les recherches de Brin et Page ont finalement conduit à développer le «PageRank»,  un système  d’algorithme qui analyse les liens et que le  moteur de recherche de Google pourrait utiliser pour attribuer une pondération numérique pour les éléments des documents hypertextes.

En 2000, Google a remplacé Inktomi en tant que fournisseur de résultats de recherche Yahoo! et AOL et Netscape. Même si Yahoo! se détacha de Google en 2004, sa part de marché n’a cessé de croître pour représenter environ 70 pour cent de l’ensemble des recherches sur le Web. Part de marché de Google a augmenté de façon constante au fil des années.

MSN Search  – Né en 1998

MSN Search était un service offert comme les autres services web dans le réseau de Microsoft. En Août 1995 Le Réseau Microsoft a fait ses débuts en tant que service en ligne et fournisseur de services Internet. Durant les années 1990, Microsoft a lancé Internet Explorer.

MSN Search lancé en 1998, les résultats de recherche affichaient ceux d’Inktomi,  un peu plus tard les résultats de Looksmart aussi apparaissaient dans les résultats de MSN. En 1999, et pendant une courte période, les résultats de recherche AltaVista ont remplacé Inktomi.

Depuis 2004, MSN Search a commencé à utiliser ses propres résultats de recherche intégré. Depuis ce temps, MSNBot a toujours exploré le web. Aujourd’hui, la recherche d’image est alimenté par Picsearch. MSN Search a été rebaptisé Windows Live en 2006, ensuite Live search en 2007.

Overture – Né en 1998

Overture est considéré comme le pionnier de la recherche payante. Il a été lancé par Bill Gross en 1998. Overture a été maîtrisé par Google lorsqu’ AOL a choisi Google comme partenaire publicitaire. Ouverture a acheté AltaVista et AllTheWeb avec l’espoir de gagner des points contre Google, mais ils ont finalement été rachetés par Yahoo! en 2003

Comparaison entre les géants de l’internet Google Bing Yahoo