Pour créer et maintenir leur index à jour, les moteurs de recherche utilisent des logiciels appelés indifféremment "spiders", "crawlers", "bots" ou "agents". Ces outils, chargés de "crawler" le Web à la rencontre de nouvelles pages ou de nouvelles versions de pages déjà indexées, ont grandement évolué depuis une dizaine d'années. Cet article, très complet, explore ces différentes versions et évolutions de Googlebot, le spider de Google, qui n'a plus rien à voir aujourd'hui avec ce qu'il était lors de la naissance du moteur de recherche leader. Prêt à tenter l'aventure et à endosser votre habit de spider ?...

Taille de l'article : 14 pages (format A4)
Taille du fichier à télécharger :  3,4 Mo.
Auteur :  Philippe Yonnet, Directeur Technique @Position (http://www.aposition.com) et président de l'association SEO Camp (http://www.seo-camp.org/).

Format disponible : PDF
Date de parution : 15 juillet 2009

Plus d'infos sur le blog de la lettre Recherche et Référencement.