Un buscador como Google necesita seguir dos pasos antes de agregar un sitio web a sus páginas de resultados. Antes que nada, debe indexar el sitio, para ello Google emplea robots (conocidos frecuentemente como bots o spiders), que son sistemas que actúan como usuarios en navegadores muy simples. Los robots recorren los sitios, y cada vez que encuentran una página nueva la almacenan en el índice del buscador. Por eso es tan importante asegurarse de que todas las páginas de nuestro sitio estén enlazadas de manera que los robots puedan acceder a ellas.