Lancé de PC et de MAC par le balcon
15-06-2007, 10:47
Des petites questions au sujet des fichiers robot.txt :
1) Si ce fichier n'existe pas, à priori tous les robots peuvent explorer tous les sous répertoires à partir de ma racine.
2) Comme expliqué la semaine dernière, à la racine de mon domaine j'ai mis une page index.html vide. J'ai demandé à différents moteurs de recherche d'indexer un de mes sous répertoire. Mais les robots si j'ai bien compris vont rechercher le fichier robot.txt à la racine.
Ma question est: Est ce que le robot va faire sa recherche à partir de la racine (là où il cherche le fichier robot.txt) où il n'a aucun lien à trouver?
ou est ce que le robot va faire sa recherche à partir de l'url que j'ai demandé d'indexer (en vérifiant le fichier robot.txt à la racine de l'url).
Merci pour les réponses de la semaine passée et d'avance pour les prochaines.
1) Si ce fichier n'existe pas, à priori tous les robots peuvent explorer tous les sous répertoires à partir de ma racine.
2) Comme expliqué la semaine dernière, à la racine de mon domaine j'ai mis une page index.html vide. J'ai demandé à différents moteurs de recherche d'indexer un de mes sous répertoire. Mais les robots si j'ai bien compris vont rechercher le fichier robot.txt à la racine.
Ma question est: Est ce que le robot va faire sa recherche à partir de la racine (là où il cherche le fichier robot.txt) où il n'a aucun lien à trouver?
ou est ce que le robot va faire sa recherche à partir de l'url que j'ai demandé d'indexer (en vérifiant le fichier robot.txt à la racine de l'url).
Merci pour les réponses de la semaine passée et d'avance pour les prochaines.