Creacion Archivo Robots.txt

13 09 2012

Creacion Archivo Robots.txt

El Archivo robots.txt es un file de texto que dicta unas recomendaciones para que todos los crawlers y robots.

Un crawler es un robot de una entidad (generalmente buscadores) que acceden a las páginas web de un sitio para buscar información en ella, añadirla en los buscadores, etc. También son llamados spiders, arañas, bots o indexadores.

Un Archivo Robot.txt  indica a los robots que rastrean nuestro sitio que páginas o zonas deseamos que explore y cuáles no.

Por ejemplo, Googlebot es el nombre del crawler del buscador Google. También existen otros como:

  • Mediapartners-Google, que es el crawler que se encarga de revisar los anuncios de Google Adsense.
  • Googlebot-Image, robot indexador de imagenes del buscador de Google.
  • Slurp, crawler de indexación del buscador Yahoo!
  • noxtrumbot, del buscador Noxtrum.
  • Scooter, del buscador Altavista.

Lee el resto de esta entrada »








A %d blogueros les gusta esto: