Crawl budget (budget d'exploration)

Le nombre de pages qu'un robot d'exploration accepte de visiter sur un domaine au cours d'une période donnée avant de passer à autre chose. Pour les bots IA, un crawl budget limité rend d'autant plus important un llms.txt et une structure claire qui orientent le robot vers les pages essentielles, plutôt que de gaspiller ses visites sur du contenu secondaire.