Crawl budget (presupuesto de rastreo)

Número de páginas que un rastreador está dispuesto a visitar en un dominio durante un periodo determinado antes de pasar a otro. Con los bots de IA, un crawl budget limitado hace aún más importante tener un llms.txt y una estructura clara que lleve al rastreador a las páginas más importantes en lugar de gastar visitas en contenido secundario.