После того, как летом 2006 года произошло несколько судебных разбирательств европейских средств массовой информации с Google по поводу воровства контента, несколько крупных организаций объединились для разработки собственного стандарта протокола, регулирующего доступ поисковым системам к содержимому сайтов.

Спустя год был выпущен Автоматический протокол доступа к контенту — ACAP (Automatic Content Access Protocol). Это протокол расширяющий возможности файла robots.txt (регулирует доступ к файлам на сервере) и метатегов robots (регулируют доступ к конкретным страницам на сайте).