Robots.txt : Google publie les sources de nouveaux outils
mardi 22 septembre 2020 à 10:39L'année dernière, à l'occasion des 25 ans de ce fichier important pour les sites et moteurs de recherche, c'était déjà le cas du parser C++ utilisé par l'entreprise. Il passait alors sous licence Apache 2.0, le Robots Exclusion Protocol (REP) faisant...