Creare un file robots.txt per WordPress e non!
Il file robots.txt è utilizzato dai robot dei motori di ricerca, per indicargli quali pagine del tuo sito web dovrebbe essere sottoposte a scansione e di conseguenza indicizzate. Nella maggior parte dei siti web, sono i file e le cartelle che non sono pertinenti per i motori di ricerca (come immagini o file admin) pertanto la creazione di un file robots.txt può effettivamente migliorare l’ indicizzazione del tuo sito web.
Un file robots.txt è un semplice file di testo che può essere creato con il Blocco note. Prendiamo ad esempio la creazione di un file robots.txt per un blog WordPress:
User-agent: *
Disallow: / wp-
Disallow: / feed /
Disallow: / trackback /
“User-agent: *” significa che tutti i motori di ricerca (Google, Yahoo, MSN, e così via) dovrebbero utilizzare queste istruzioni per eseguire la scansione del tuo sito web. A meno che il sito è complesso, e sarà necessario impostare differenti istruzioni per i diversi spider.
“Disallow: / wp-“farà in modo che i motori di ricerca non eseguano la scansione dei file interni di WordPress. Questa linea di esclusione per tutti i file e le cartelle che iniziano con “wp-” farà in modo di evitare la duplicazione di contenuti e admin file.
Se non si utilizza WordPress, basta solo sostituire le linee di Disallow, con i file o le cartelle che si trovano sul tuo sito web, che non dovrebbero essere sottoposti a scansione, per esempio:
User-agent: *
Disallow: / images /
Disallow: / cgi-bin /
Disallow: / qualsiasi altra cartella da escludere /
Dopo aver creato il file robots.txt, basterà caricarlo nella directory root del tuo sito o web.
Molto semplice, ma molto efficace, questa tecnica infatti renderà molto più efficiente e veloce l’indicizzazione dei contenuti più importanti del vostro Sito o Blog.
Condividi questo post sui SocialBookmarks!
Articoli Correlati:
- Bing non rispetta i robots.txt dei nostri siti
- Rilasciato WordPress 2.8.5: aggiornamento di sicurezza
- Sicurezza in WordPress: Cambiare nome utente admin
- Androsa FileProtector: Proteggere con password file e cartelle gratis
- Ottimizzare le immagini SEO per i motori di ricerca
Pubblicato in Blogging Tips,SEO,Wordpress
25 luglio 2009 |
by admin |
Tag:creare file robots, robots.txt, Wordpress
