Archive.org ne va plus tenir compte des robots.txt pour archiver les sites. C'est très bien. Trop de sites se servent des robots.txt pour faire disparaître des pages d'archive.org par simple convenance.
(Permalink)