Je me met ça sous le coude: un crawler de sites web écrit en Python (et scriptable) et avec une interface graphique pour suivre l'état des différents crawlers.
(Permalink)