Webcrawler-Standardisierung: Google legt seinen Parser für robots.txt offen

Die Open-Source-Legung des Parsers ist Teil von Googles Bemühungen, das Robots Exclusion Protocol offiziell zu standardisieren.