Un moteur de recherche, comme Google, Yahoo Search ou Bing (L’ancien Msn Live Search), exploite un robot (appelé aussi crawler, spider, ou robot d‘indexation), pour parcourir l’ensemble du Web. Dans le cas de Google par exemple, ce robot a été baptisé Googlebot. Sa fonction consiste à récupérer toutes les informations dans les pages d’un site internet et à établir une liste de mots et d’expression pour chaque page visitée. Ces keywords sont stockés dans des bases de données ou index, mis à jour régulièrement , une a deux fois par mois, voire tous les jours ou toutes les heures pour des sites d’actualité et de référence à fort trafic.

Les robots explorent le Web de lien en lien et récupèrent les informations qu’ils stockent sur des disques durs du moteur de recherche. Il est donc important de lier les pages entre elles en créant des liens qui soient compatibles avec ces robots. C’est à dire que ceux-ci puissent les détecter.

Les informations collectées par les robots de moteurs de recherche sur internet, sont ensuite indexées par les moteurs d’indexation. Ceux-ci indexent en générale le texte intégral, c’est à dire tous les mots d’une page, à l’exclusion des mots vides: le, la les, etc….. ainsi que sont code HTML. Les termes répertoriés enrichissent la base de données, appelée aussi index, qui est mise à jour quasi en permanence.

L’index principal contient l’ensemble du corpus de données collectées par les robots (URLs et documents). Associé à cet index principal, un index inversé reprend tous les termes ou mots clés associés aux URL exactes de l’ensemble des pages web ayant été indexées et contenant ces termes. Tous les termes rencontres sur le web sont répertories et en tant que terme d’accès potentiel, chacun étant associé à toutes les pages où il figure. Cette organisation permet bien sûr d’accélérer le processus de recherche.

Consultez les tarifs de référencement et demandez un devis gratuit pour votre site internet.