Come usare la direttiva Crawl Delay in un file robots txt
- Alexander |
- seo |
- 2352 giorni | (https://www.evemilano.com)
Alcuni utili accorgimenti per utilizzare al meglio la direttiva Crawl Delay presente nel file robots.txt utilizzato per indicare quali parti del sito non sono accessibili ai motori di ricerca.
La direttiva Crawl Delay serve ad impostare i secondi che i crawler dei motori di ricerca devono attendere prima di effettuare la richiesta successiva al server. Visto che tale direttiva è ignorata da molti motori di ricerca, è bene specificarla in un modo specifico e senza abusarne.
La direttiva Crawl Delay serve ad impostare i secondi che i crawler dei motori di ricerca devono attendere prima di effettuare la richiesta successiva al server. Visto che tale direttiva è ignorata da molti motori di ricerca, è bene specificarla in un modo specifico e senza abusarne.
Commenti