Robots.txt Generator

Posicionamiento en buscadores

Robots.txt Generator


Predeterminado: todos los robots son:  
    
Rastreo-retraso:
    
Mapa del sitio: (dejar en blanco si no tiene) 
     
Buscar robots: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Directorios restringidos: La ruta es relativa a la raíz y debe contener una barra inclinada final "/"
 
 
 
 
 
 
   



Ahora, cree el archivo 'robots.txt' en su directorio raíz. Copie el texto anterior y péguelo en el archivo de texto.


Acerca de Robots.txt Generator

Robots.txt es un archivo que contiene instrucciones sobre cómo rastrear un sitio web. También se conoce como protocolo de exclusión de robots, y los sitios utilizan este estándar para indicar a los bots qué parte de su sitio web necesita indexación. Además, puede especificar qué áreas no desea que estos rastreadores procesen; tales áreas contienen contenido duplicado o están en desarrollo. Los bots como los detectores de malware, los recolectores de correo electrónico no siguen este estándar y buscarán debilidades en sus valores, y hay una probabilidad considerable de que comiencen a examinar su sitio desde las áreas que no desea indexar.

Un archivo Robots.txt completo contiene "User-agent", y debajo de él, puede escribir otras directivas como "Allow", "Disallow", "Crawl-Delay", etc., si se escribe manualmente, puede llevar mucho tiempo, y puede ingresar varias líneas de comandos en un archivo. Si desea excluir una página, deberá escribir "No permitir: el enlace que no desea que visiten los bots", lo mismo aplica para el atributo de permiso. Si cree que eso es todo lo que hay en el archivo robots.txt, entonces no es fácil, una línea incorrecta puede excluir su página de la cola de indexación. Por lo tanto, es mejor dejar la tarea a los profesionales, deje que nuestro generador Robots.txt se encargue del archivo por usted. Mas sobre  Robots.txt...

El archivo txt de Robots es fácil de hacer, pero las personas que no saben cómo hacerlo, deben seguir las siguientes instrucciones para ahorrar tiempo.

  • Cuando haya llegado a la página del generador de nuevos robots txt , verá un par de opciones, no todas son obligatorias, pero debe elegir con cuidado. La primera fila contiene valores predeterminados para todos los robots y si desea mantener un retraso de rastreo. Déjelos como están si no desea cambiarlos como se muestra en la imagen a continuación:
  • La segunda fila es sobre el mapa del sitio, asegúrese de tener uno y no olvide mencionarlo en el archivo txt del robot.
  • Después de esto, puede elegir entre un par de opciones para los motores de búsqueda si desea que los robots de los motores de búsqueda rastreen o no, el segundo bloque es para imágenes si va a permitir su indexación, la tercera columna es para la versión móvil de sitio web.
  • La última opción es para no permitir, donde restringirá que los rastreadores indexen las áreas de la página. Asegúrese de agregar la barra diagonal antes de completar el campo con la dirección del directorio o página.

 



Mas herramientas en linea