Lo importante está en el interior

Anteriormente he comentado como nos enfrentamos a un exceso de información en nuestro proceso de búsqueda de la misma. Para acceder a dicha información hacemos uso habitual de los denominados de forma general como buscadores, aunque también podemos utilizar metabuscadores, directorios, etc. No obstante, si queremos ser más certeros en nuestra búsqueda, podemos acotar los resultados y filtrarlos con el uso de operadores y herramientas avanzadas. Pues bien, puede ser que lo que estemos buscando no esté a simple vista, y ¿a qué me refiero con esto? De eso va esta entrada, ¿está toda la información disponible en internet localizable a través de un buscador?

Iceberg como símil de información en Internet

Los buscadores tradicionales sólo ofrecen acceso a una pequeña parte de lo que existe online, lo que se ha comenzado a llamar la Web superficial o visible. Lo que resta, la Web profunda o invisible, es un amplio banco de información ubicado en catálogos, revistas digitales, blogs, entradas a diccionarios y contenido de sitios que demandan un login (aunque sea gratuito) y otros tipos de contenido que no aparecen entre los resultados de una búsqueda convencional.

Para ilustrar esta diferencia entre la web superficial y la web profunda se suele recurrir de forma bastante recurrente a un iceberg, del cual a simple vista solo podemos observar su superficie, sin que podamos ver de manera directa el iceberg desde la profundidad del océano, al igual que ocurre con la información disponible en internet, y que no se puede buscar de manera directa, ya que por diversos motivos, ésta puede estar oculta o no disponible para nosotros, pero no quiere decir que no exista.

La Web superficial

La Web Superficial comprende todos aquellos sitios cuya información puede ser indexada por los robots de los buscadores convencionales y recuperada casi en su totalidad mediante una consulta en sus formularios de búsqueda. Las características principales de los sitios de la Web visible son:

• Su información no está contenida en bases de datos.
• Es de libre acceso.
• No se requiere la realización de un proceso de registro para acceder a la información.
• Mayoritariamente está formada por páginas Web estáticas, es decir páginas o archivos con una URL fija y accesibles desde otro enlace.

Nótese la importancia de lo definido, ya que en ello radica la principal diferencia entre ambos tipos de web o de información contenida en ella: "lo que no es o no puede ser indexado no es accesible a través de un buscador al uso". Es decir, si no es indexado no quiere decir que no exista, sino que la herramienta que estamos utilizando es incapaz de alcanzar esa información.

La Web profunda

Web invisible es el término utilizado para describir toda la información disponible en Internet que no se recupera interrogando a los buscadores convencionales. Es decir, toda información que no pueda ser indexada por los buscadores convencionales queda englobada en esta categoría. Tal y como dice Lluis Codina:

“Internet invisible es un nombre claramente inadecuado para referirse al sector de sitios y de páginas web que no pueden indizar los motores de búsqueda de uso público. Debería denominarse, en realidad, la web "no indizable", lo cual es un término mucho más adecuado”.

Los motivos por lo cuales la información se considera de la web profunda pueden ser variados, pero generalmente es información almacenada y accesible mediante bases de datos. Parte de la información es "invisible" a los robots de los buscadores convencionales, ya que los resultados se generan en la contestación a una pregunta directa mediante páginas dinámicas (ASP, PHP, etc.) es decir páginas que no tienen una URL fija y que se construyen en el mismo instante (temporales) desapareciendo una vez cerrada la consulta, por lo que el buscador no puede almacenar una dirección que mostrar en base a unas palabras clave que hagan de índice y que pueda devolver al realizar la consulta.

Sherman y Price identifican cuatro tipos de contenidos invisibles en la Web: la web opaca, la web privada, la web propietaria y la realmente invisible. Puedes consultar más acerca de esto en el extracto de su documento The Invisible Web: Uncovering Sources Search Engines Can’t See en la web de recursos digitalizados de Illinois para la educación: IDEALS.

La web opaca

Se compone de archivos que podrían estar incluidos en los índices de los motores de búsqueda, pero no lo están por alguna de estas razones:

• Extensión de la indexación: por economía, no todas las páginas de un sitio son indizadas en los buscadores.
• Frecuencia de la indexación: los motores de búsqueda no tienen la capacidad de indizar todas las páginas existentes; diariamente se añaden, modifican o desaparecen muchas y la indización no se realiza al mismo ritmo.
• Número máximo de resultados visibles: aunque los motores de búsqueda arrojan a veces un gran número de resultados de búsqueda, generalmente limitan el número de documentos que se muestran (entre 200 y 1000 documentos).
• URL’s desconectados: las generaciones más recientes de buscadores, como Google, presentan los documentos por relevancia basada en el número de veces que aparecen referenciados o ligados en otros. Si un documento no tiene una liga en otro documento será imposible que la página sea descubierta, pues no habrá sido indizada.

La web privada

Consiste en las páginas web que podrían estar indizadas en los motores de búsqueda pero son excluidas deliberadamente por alguna de estas causas:

• Las páginas están protegidas por contraseñas (passwords).
• Contienen un archivo “robots.txt” para evitar ser indizadas.
• Contienen un campo “noindex” para evitar que el buscador indice la parte correspondiente al cuerpo de la página.

La web propietaria

Incluye aquellas páginas en las que es necesario registrarse para tener acceso al contenido, ya sea de forma gratuita o pagada. Se dice que al menos 95% de la web profunda contiene información de acceso público y gratuito.

La web realmente invisible

Se compone de páginas que no pueden ser indizadas por limitaciones técnicas de los buscadores, como las siguientes:

• Páginas web que incluyen formatos como PDF, PostScript, Flash, Shockwave, programas ejecutables y archivos comprimidos.
• Páginas generadas dinámicamente, es decir, que se generan a partir de datos que introduce el usuario.
• Información almacenada en bases de datos relacionales, que no puede ser extraída a menos que se realice una petición específica. Otra dificultad consiste en la variable estructura y diseño de las bases de datos, así como en los diferentes procedimientos de búsqueda.

Recursos de búsqueda en la Web Profunda

• The WWW Virtual Library se considera el catálogo más antiguo en la web y fue iniciado por Tim Berners-Lee, el creador de la web.
• Infoplease es una Web de consulta con más de 57.000 artículos de la prestigiosa enciclopedia Columbia. Facilita la consulta de información con opciones de búsqueda por términos o por áreas de conocimiento. Es posible acceder a un buen número de enciclopedias, atlas, y biografías. Y también tiene algunas ramificaciones interesantes como Factmonster.com para los niños y Biosearch, un motor de búsqueda sólo para biografías, o información de todo lo acontecido históricamente en un determinado día.
• DeepWebTech ofrece cinco motores de búsqueda para temas específicos. Los motores de búsqueda abarcan la ciencia, medicina y negocios. El uso de estos motores de búsqueda específicos del tema, puede consultar las bases de datos subyacentes en la Web profunda.
• TechXtra centra su información, en ingeniería, matemáticas e informática. Es posible navegar a través de una extensa lista de revistas gratuitas especializadas de ingeniería, documentos técnicos, descargas y podcasts.