¿Qué es el robots.txt?
robots.txt es un archivo de texto que puede ser utilizado para restringir el acceso a la web de los robots su sitio web sólo en la manera de que usted aprueba.
Este archivo robots.txt bloquea Imagebot de Google de todo el sitio web:
User-agent: Googlebot-Image Disallow: /
Para obtener más información acerca de robots.txt, lea A Standard for Robot Exclusion.
Compruebe la sintaxis de robots.txt
Varias herramientas están disponibles, que recuperar el archivo robots.txt de su sitio web y para comprobar errores de sintaxis.
Mala Robots
Algunos robots web utilizar hasta un volumen considerable de ancho de banda y recursos del sistema, mientras que regresan poco o ningún beneficio práctico para el propietario del Web site.
Para su comodidad, disponemos de una lista de algunos de los robots malos robots.txt en el formato.
 |
Guardar ¿Qué es el robots.txt?
