Los robots de tipo spiders suelen ser motores de búsqueda que buscan dentro de tu web y enlazan a los contenidos de ella, pero claro, tienen su aspecto negativo, y es que pueden consumirte mucho del ancho de banda que tienes para dicha web. La razón de que exista un programa como Robots txt generator es controlar y restringir los spiders que pueden acceder a tu sitio web.
Ante todo, Robots txt generator es una utilidad web, totalmente gratis, muy pequeña y sencilla de utilizar (ni siquiera requiere instalación), que te permitirá limitar el número de consultas que puede hacer cada uno de los robots, por hora o por minuto, dentro de tu web. La base de datos del programa viene equipada por defecto con una lista de 300 bots, pero permite al usuario añadir otros nuevos, si lo desea, asà como especificar diferentes restricciones para cada uno de los bots.
Por ejemplo, en Robots txt generator puedes permitir el acceso a Google Bot pero no a Google Image Bot.
Nota: Programas-GRATIS.net no ofrecerá bajo ningún concepto claves, serials, cracks, keygens o similares de Robots txt generator como se recoge en la normativa de propiedad intelectual.
