Les techniques évoluées d’indexation dans les moteurs de recherche

Pour développer un moteur de recherche encore plus pertinent, il convient d’améliorer les techniques d’indexation. L’efficacité se mesure en fonction de trois facteurs :

• L’indexation doit être rapide : c’est la condition sine qua non pour qu’un robot puisse passer souvent et assurer que les pages figurant dans l’index aient une "fraîcheur suffisante"
• L’indexation doit être complète : on sait qu’elle ne peut pas être exhaustive, car certaines portions du web ne sont pas reliées entre elles par des liens. Mais le robot doit être capable d’indexer une portion significative de la Toile
• Dans le même temps, l’indexation doit respecter les sites visités : notamment, le robot doit tenir compte des instructions du fichier robots.txt, et ne pas aspirer des centaines de pages à la seconde...

Une solution est d’indexer plus souvent les pages les plus importantes. Le fondement de cette approche repose sur une évaluation de l’importance des pages. En effet, la qualité d’un index limité reposera sur la possibilité d’indexer toujours les pages "importantes", et jamais les pages "sans importance". Le problème est de définir les bons critères pour évaluer l’importance d’une page...

Les techniques évoluées d’indexation dans les moteurs de recherche par Philippe Yonnet sur le Forum Webmaster Hub : Première partie : les méthodes traditionnellesLe problème de la fraîcheur des index. Deuxième partie : les techniques évoluées d’indexation dans les moteurs de rechercheLes techniques de crawl sur index "ouverts".