Cómo funcionan los robots de los motores de búsqueda

Empecemos con un motor de búsqueda pequeño: InfoSeek. Ellos solo indexan alrededor de 200 palabras de tu página web, por lo tanto es importante que tengas etiquetas de metadatos (meta tags) en tu sitio, y que las cosas mas importantes sean listadas primero. La información que coloques entre las etiquetas de metadatos será usada para mostrar una descripción de tu sitio, y la mayoría de metadatos contienen aproximadamente 200 caracteres de texto. Sin embargo, la etiqueta de palabras clave puede llegar a tener hasta 1000 caracteres.

Sin embargo, muchos motores de búsqueda ni siquiera mirarán tus etiquetas de metadatos, por lo tanto es importante que la información que tengas dentro de tus etiquetas de metadatos, también la tengas en tu contenido (pero obviamente no podrás colocar cantidades exageradas de palabras clave en tu contenido porque esto podría actuar en detrimento de la efectividad del contenido de tu sitio).

El motor de búsqueda AltaVista enviará a Scooter, su robot, para examinar tu sitio completamente. Scooter puede tardar tanto como tres meses para examinar e indexar completamente tu sitio – el robot promedio solo tarda entre 6-8 semanas. Scooter examinará normalmente cada semana entre dos y diez páginas de tu sitio. Esto quiere decir que entre mayor sea la duración de tu sitio web, mejor será el proceso de indexado, siendo esto un ejemplo de cómo los motores de búsqueda implementan en su ideología la teoría Darwiniana.

Excite fue alguna vez un portal de búsqueda, pero ha sido relegado a ser solo un proveedor de búsquedas para AOL y Netscape, por eso ahora es menos importante que lo que fue alguna vez. En todo caso, el algoritmo que usa para determinar la relevancia de las palabras clave es muy complicado: después de que indexa tus páginas, el intenta resumir estas mediante la selección de las frases mas relevantes. Con este motor de búsqueda puedes esperar tener tus páginas revisadas aproximadamente una vez cada dos semanas. Para Excite las etiquetas de meta datos de tu sitio no afectan el posicionamiento de tus páginas, sin embargo, las etiquetas de descripción serán usadas para mostrar tu sitio en su página de resultados, siempre que esta etiqueta de descripción use palabras que sean relevantes al contenido de tus páginas.

Continuemos con Lycos. Lycos ha integrado completamente a su página de resultados principal el ODP (El Proyecto de Directorio Abierto, por sus siglas en inglés), y también usa los resultados de búsqueda de AllTheWeb. Lycos también envía tráfico a su sitio hermano HotBot. Lycos es uno de los motores de búsqueda mas difíciles de entender, debido a que en su documentación dicen una cosa, pero la manera como indexan tu sitio es otra. Como regla general, tu sitio será indexado en Lycos a su debido tiempo, siempre y cuando tu sitio haya sido indexado en ODP y AllTheWeb.

A pesar de que WebCrawler es de propiedad de Excite, aún tiene su propio motor de búsqueda e indexador. Si llegas a estar listado con WebCrawler, deberías tratar de permanecer en su índice, porque WebCrawler no es precisamente el motor de búsqueda más fácil en el que se pueda estar listado. Tiene estándares confusos y junto a lo esporádico de sus métodos de indexado, hace difícil el proceso de presentar tu sitio a este motor de búsqueda, pero no imposible.

El gran gigante es por supuesto, Google, quien usa un sistema de posicionamiento de páginas como el eje central de su índice. Alguna fue virtualmente imposible manipular su sistema de ranking para aumentar tu posicionamiento, pero rápidamente las personas se dieron cuenta que entre mas vínculos generaran hacia sus sitios desde el resto de la web, mejor serían posicionados por Google. No se cree que Google use un sistema de posicionamiento sensible al contexto de las páginas. Sin embargo Yahoo!, Looksmart y ODP usan información sensible al contexto y Google acude a estos sitios para re-indexar su propia base de datos.

MSN es otro motor de búsqueda importante. En este momento, como dirían algunos Google, Yahoo! y MSN conforman la santísima trinidad. La combinación de estos tres motores de búsqueda, te proporcionará la vasta mayoría del tráfico que puedas recibir desde los motores de búsqueda. Generalmente, MSN será el primer motor de búsqueda en indexar tu sitio y será el que mas rápidamente listará la mayor cantidad de páginas en tu sitio, casi el 100% de las veces.

A pesar que nadie te podrá decir con certeza cuando serás indexado en cualquier motor de búsqueda, es mejor checar al menos semanalmente. Pero hagas lo que hagas, no “molestes” a los motores de búsqueda tratando de dar de alta en buscadores tu sitio una y otra vez , trata de hacerlo con una frecuencia que no sea mayor que cada dos meses aproximadamente – si un motor de búsqueda percibe que los estas “molestando” mucho, podría costarte que tu sitio no sea indexado.
Fuente del artículo http://www.articulo.org/autores_perfil.php?autor=300