Wyszukiwarki internetowe stanowią integralną częśc internetu, ciągle puchnący internet bez wyszukiwarek uzbrojonych w boty przeszukujące internet gromadzące informacje, które następnie są prezentowane poprzez wyszukiwarki w wynikach wyszukiwań byłby bezużytecznym magazynem informacji, w którym jedynie katalogi stron segregują w bardzo ograniczonym stopniu informacje.