Desestime mal en los programas de robots.txt no impide la descarga de todos los sitio web, porque muchos programas mal simplemente ignorar el contenido de robots.txt y hacer lo que quieren hacer.

Prevención de Uso de Sitio Web de descarga de agente de usuario de bloqueo en httpd.conf

Otro método consiste en excluir la descarga de programas de agente de usuario en httpd.conf.

Añadir todos los agentes que se desea excluir a httpd.conf:

User-Agent SetEnvIfNoCase ^ HTTrack keep_away
User-Agent SetEnvIfNoCase ^ Explorer sin conexión keep_away
User-Agent SetEnvIfNoCase ^ psbot keep_away
User-Agent SetEnvIfNoCase ^ Teleport keep_away
User-Agent SetEnvIfNoCase ^ WebCopier keep_away
User-Agent SetEnvIfNoCase ^ WebReaper keep_away
SetEnvIfNoCase User-Agent Webstripper keep_away ^

Orden allow, deny
De permitir que todos los
Deny from env = keep_away

Agente de usuario de bloqueo no impide que también todos los sitio web de descarga, porque el usuario puede eliminar de su agente de usuario o falso que parece ser Internet Explorer u otro navegador común.

Prevención de Uso de Sitio Web de descarga de agente de usuario de bloqueo en PHP