El documento robots.txt es un recurso fundamental para la sitio web que pretende aparecer bien indexada por los buscadores como Chrome . Opera como una mapa para los crawlers , indicándoles qué secciones de tu plataforma pueden ser rastreadas y cuáles evitar. Una correcta configuración de este ar