24 апреля 1994 года, студент Вашингтонского университета Брайан Пинкертон, запустил свой поисковик WebCrawler. Это был первый бот, который индексировал страницы полностью. Вскоре он стал таким популярным, что в дневное время к нему нельзя было достучаться.