Ces robots vont crawler, c’est-à-dire arpenter, parcourir, l’ensemble des sites internet. Pour cela, ils visitent tous les liens qu’ils rencontrent. Ainsi, quand ils sont sur une page, ils vont suivre l’ensemble des liens présents sur cette page, que ce soit des liens qui mènent vers d’autres pages du même site ou vers des pages d’un site extérieur.
Ce que les robots regardent et arpentent, dans un site web, c’est son code HTML. Celui-ci sert à écrire le fond du contenu, à l’inverse du code CSS, par exemple, qui sert à créer un design. Par exemple, Google identifiera dans le code HTML ce qui est un titre, mais pas ce qui est “plus grand que le reste, rouge et en majuscule”.
Ce qui l’intéresse, c’est la fonction de chaque élément, et non ce à quoi ils ressemblent.
