aspi web: question sur les robots et autres ...

Discussion dans 'Web, design' créé par dagibbon, 21 Janvier 2004.

Statut de la discussion:
Fermée.
  1. Offline
    dagibbon Elite
    Et hop;
    Amis webmasters bijour… Je suis en train de faire un petit aspi web, et je me demandais comment pouvoir aspirer les fichiers non référencés par des liens hypertextes dans une page (vous devinez bien pourquoi hein :wink:); et surtout si il y a moyen de ne pas passer par le robot.txt du rep racine.

    Mici d’avance pour vos réponses, qui j’en suis sur, vont fuser de toute part…
    dagibbon, 21 Janvier 2004
    #1
Statut de la discussion:
Fermée.