Crawl budget

Il numero di pagine che un crawler è disposto a visitare su un dominio in un dato periodo, prima di passare ad altro. Per i bot AI, un crawl budget limitato rende ancora più importante avere un llms.txt e una struttura chiara che indirizzi il crawler alle pagine più importanti senza sprecare visite su contenuto secondario.