aspi web: question sur les robots et autres ...

Et hop;
Amis webmasters bijour… Je suis en train de faire un petit aspi web, et je me demandais comment pouvoir aspirer les fichiers non référencés par des liens hypertextes dans une page (vous devinez bien pourquoi hein :wink; et surtout si il y a moyen de ne pas passer par le robot.txt du rep racine.

Mici d’avance pour vos réponses, qui j’en suis sur, vont fuser de toute part…