Tamaño de la web, y de los buscadores

La estadistica clasica es la netcraft survey

Realmente la cuenta de «active hosts» hay que considerarla limitada por el numero de direcciones posibles IPv4.

Consideremos una busqueda de una sola palabra, «jailbreak».

El buscador P2P yacy, que suma en toda la red unos 2 o 3 mil millones de paginas, ofrece «1-100 of 851 ; (771 local, 13,659 remote)». En una maquina cuyo «local» es de tan solo 1.6 millones… quizas muchos remote no llegan a responder, y hay que usar repetidamente «search again». Unas cuantas pulsaciones sube a

«1-100 of 1,078 ; (1,036 local, 53,909 remote), 163 from 26 remote YaCy peers». La «last hour» lista 210 peers, pero quizas el total de paginas este sumado desde el ultimo mes, 1,040 peers.

Vayamos a los buscadores grandes:

Baidu, a lo que entiendo, estima unos 2,770,000 millones de resultados.

Exalead, que dice tener 16 mil millones de paginas, calcula 4,015,673 results.

Bing calcula 14,400,000 results, Google 36.600.000 y yandex 67 million.

Consideremos ahora un par de dominios grandes, «facebook.com» y «blogspot.com», y algunos medianos, cambridge.ac.uk, heraldo.es, ucm.es. Con site: links: etc La profundidad y permisos de acceso para bots de cada uno de estos sitios es, a priori, bastante diferente.

Incidentalmente, para blogspot yacy acumula 1-100 of 99,552 ; (99,467 local, 393,287 remote), 173 from 30 remote YaCy peers.

Hay tambien un buscador de pago, moz, que calcula los pageranks.