Soubor robots.txt a blokování AI
Datum publikování: 19. 2. 2024
Soubor robots.txt (Robots Exclusion Protocol) navrhl Martijn Koster v únoru 1994, tedy před 30 lety. Původně měl za úkol bránit robotům, co procházeli a indexovali internet pro vyhledávače jako byla AltaVista, Lycos či WebCrawler. Důvodem tenkrát bylo většinou slabé internetové spojení, které mohlo mnoho robotů, nebo špatně napsaný robot zahltit.