1- Para qué sirven los Archivos Robot.txt ?

Si su sitio web tiene páginas o directorios que no desea que sean indexados por los motores de busqueda, usted puede utilizar los ficheros robot txt para guiar a los robots sobre lo que pueden hacer y lo que no pueden hacer en un sitio web.

Al llegar el robot (o «spider») al sitio, busca los ficheros robot.txt y sigue sus instrucciones. Estos ficheros no son obligatorios, por esta razón muchos sitios web no los tienen. Los ficheros robots.txt siempre se deben denominar «robots.txt» y deben estar escritos en ascii.

2- Donde se colocan los Archivos Robot.txt ?

Deben ubicarse en el directorio principal (root directory) del sitio web porque es ahí donde las arañas estan instruídas a buscarlos.

Tome nota, si usted no tiene instalado un fichero robot.txt en el directorio principal de su sitio web es muy probable que en las estadísticas de tráfico de su sitio aparezcan muchos errores 404. Esto se origina al solicitar las arañas el fichero y no encontrarlo.

3- Como se crean los ficheros Robot.txt ?

Con la ayuda del bloc de notas o un editor de HTML, usted podrá: (a)- crear el archivo, (b)- salvarlo como: «robots.txt», y (c)- subir el fichero al directorio principal, utilizando un programa de FTP en la modalidad ACSII .

Ejemplos del código:
Para excluir todos los robots de algunas partes del sitio web o servidor:

User-agent: *
Disallow: /cgi-bin/
Disallow: /misc/sitestats/

Excluir un robot (o «spider») específico de algunas partes del sitio web o servidor:

User-agent:slurp.so/
Disallow: /cgi-bin/
Disallow: /secure/
Disallow: /products/
Disallow:/misc/sitestats/

Para indicar que nada esta restringido y que los robot puede seguir todos los links:

User-agent: *
Disallow:

Para permitir acceso completo a un robot específico y excluir a todos los demás:

User-agent: Googlebot/1.0
Disallow:
User-agent: *
Disallow: /

OJO, peligro: este código restringe el acceso a todos los robots a todos los directorios:

User-agent: *
Disallow: /

1 estrella2 estrellas3 estrellas4 estrellas5 estrellas (Por favor valore el contenido)
Cargando…

Hablemos

Si tiene cualquier pregunta somos todo oídos :-)

Enviando

¡Suscríbete!

¡Suscríbete!

Y recibirás por mail información de calidad sobre diseño :-)

Gracias por la suscripción!

Inicia Sesión con tu Usuario y Contraseña

¿Olvidó sus datos?