Webcrawler-Standardisierung: Google legt seinen Parser für robots.txt offen 2. Juli 2019 Garantiewebserver Die Open-Source-Legung des Parsers ist Teil von Googles Bemühungen, das Robots Exclusion Protocol offiziell zu standardisieren.