El documento robots.txt es una herramienta fundamental para gestionar cómo los rastreadores web indexan tu portal. Permite a los arañas directrices sobre qué páginas de tu dominio pueden ser rastreadas y cuáles no deben ser ignoradas . Una implementación del robots.txt puede mejorar tu SEO en los rankings y evitar problemas de exploración no