¿Qué es el robots.txt?

robots.txt es un archivo de texto que puede ser utilizado para restringir el acceso a la web de los robots su sitio web sólo en la manera de que usted aprueba.

Este archivo robots.txt bloquea Imagebot de Google de todo el sitio web:

  User-agent: Googlebot-Image 
  Disallow: / 

Para obtener más información acerca de robots.txt, lea A Standard for Robot Exclusion.

Compruebe la sintaxis de robots.txt

Varias herramientas están disponibles, que recuperar el archivo robots.txt de su sitio web y para comprobar errores de sintaxis.

Mala Robots

Algunos robots web utilizar hasta un volumen considerable de ancho de banda y recursos del sistema, mientras que regresan poco o ningún beneficio práctico para el propietario del Web site.

Para su comodidad, disponemos de una lista de algunos de los robots malos robots.txt en el formato.



Comienzo de la página 5 Libre Herramientas de Red

Guardar ¿Qué es el robots.txt?

Latest Blog Posts


Inglés Inglés Alemán Alemán Español Español Francés Francés Italiano Italiano Portugués Portugués Ruso Ruso Neerlandés Neerlandés
Griego Griego Hindi Hindi Japonés Japonés Coreano Coreano Chino Chino Chino (simplificado) Chino (simplificado) Árabe Árabe

Derecho de Autor 2009 Tech-FAQ. Todos los derechos reservados. Política de Privacidad.