Crawl-Budget

Die Anzahl der Seiten, die ein Crawler auf einer Domain innerhalb eines bestimmten Zeitraums zu besuchen bereit ist, bevor er weiterzieht. Bei KI-Bots macht ein begrenztes Crawl-Budget ein llms.txt und eine klare Struktur umso wichtiger: Sie lenken den Crawler zu den wichtigsten Seiten, statt Besuche an Nebeninhalte zu verschwenden.