Um mecanismo de pesquisa é uma ferramenta baseada na Web que permite aos usuários localizar informações na World Wide Web. Exemplos populares de mecanismos de busca e utilizam aplicativos de software automatizados que viajam pela Web, seguindo links de página para página, site para site. As informações coletadas pelos spiders são usadas para criar um índice pesquisável da Web.
Para projetar um motor de busca é uma tarefa desafiadora. Os mecanismos de pesquisa indexam dezenas a centenas de milhões de páginas da Web envolvendo um número comparável de termos distintos. Eles respondem a dezenas de milhões de perguntas todos os dias. Apesar da importância dos mecanismos de busca em larga escala na web, muito pouca pesquisa acadêmica foi feita sobre eles. Além disso, devido ao rápido avanço da tecnologia e à proliferação da web, a criação de um mecanismo de pesquisa na web hoje é muito diferente de três anos atrás.