Supporto volontario e collaborativo per Joomla!® in italiano

Controlliamo che il file Robots.txt stia bloccando le giuste risorse

Valutazione attuale: 5 / 5

Stella attivaStella attivaStella attivaStella attivaStella attiva
 
Robots.txt
Google può indicizzare tutte le pagine del nostro sito, tutti gli indirizzi URL che le nostre pagine vanno a generare. Se vogliamo evitare che alcuni indirizzi vengano indicizzati possiamo utilizzare il file robots.txt già presente nell'installazione di Joomla.


Troviamo il file di testo robots.txt nella cartella principale dell'installazione di Joomla, quella che contiene anche il file configuration.php.
Scarichiamolo via FTP e modifichiamo il file robots.txt con un buon editor di testi (Notepad++), per indicare a Google di non indicizzare più una determinata URL è necessario aggiungere a questo file una regola del tipo:

Disallow: /URL da non scansionare/


Vediamo meglio ora come essere certi che queste regole non vadano a bloccare anche pagine che devono essere indicizzate e portare traffico al sito.

Controlliamo se questa URL è bloccata

Per effettuare questo controllo è necessario accedere a "Google Search Console" (ex strumenti per webmaster) e verificare che il nostro sito sia correttamente registrato in questa piattaforma di strumenti gratuiti:

Viene così visualizzato il contenuto del file robots.txt del sito selezionato.

Nel campo sottostante proviamo ad inserire un URL di esempio per vedere se viene correttamente bloccato:
Se una delle regole blocca questa URL allora viene evidenziata in rosso la relativa regola ed appare il termine "Bloccato" al posto del tasto "Testa".

Questo conferma che la regola blocca correttamente l'URL di test inserito.



Come bloccare un intero "campione" di URL

E' possibile impostare delle regole nel file robots.txt che vadano a bloccare un campione più ampio di URL. In questo esempio vediamo quale regola inserire per bloccare queste URL:
    www.nomesito.xx/en/component/content/
    www.nomesito.xx/en/component/weblinks/
    www.nomesito.xx/it/component/content/
    www.nomesito.xx/it/component/weblinks/

Questa la regola:
Disallow: /*/component/*


Attenzione però nell'utilizzare queste regole e gli asterischi, è importante avere il controllo di ciò che stiamo oscurando o rischiamo di perdere pagine importanti ben indicizzate sui motori di ricerca.


Consiglio di eliminare queste regole se le trovate ancora presenti nei vostri file robots.txt:
Disallow: /images/
Disallow: /media/
Disallow: /templates/

Eliminandole diamo accesso a Google anche alle immagini, ai css ed ai JS per poter così meglio stabilire se il nostro sito è responsive.

Tratto da: Is Robots.txt Blocking the Right Files on My Site?

 

CommentaCommenta questo articolo sul forum

Calendario articoli

Gennaio 2017
Lun Mar Mer Gio Ven Sab Dom
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

Ultima versione di Joomla!®

downloadVer. 3.6.5 Stabile Italiana
Data di rilascio:14 Dicembre 2016
(leggi la notizia Demo online

Le migliori estensioni gratuite

Un elenco aggiornato con i link a più di 100 estensioni fra componenti, moduli e plugin gratuiti per Joomla! 3

Manuale in italiano

Manuale in italianoPer conoscere meglio Joomla!, le sue caratteristiche ed il metodo di utilizzo leggi il manuale tradotto in italiano.

Molto utili anche le risposte alle domande più frequenti: FAQ

Sicurezza del proprio sito Joomla!Leggi anche: Nozioni sulla sicurezza del proprio sito

Autori di articoli recenti

Invia un articolo!Scrivi un articolo su Joomla.it e ricevi i ricavi dalle pubblicità di Google Adsense!
Segui queste istruzioni, condividi e collabora con la community. L'elenco degli autori attivi sul sito.

Libri consigliati

Torna su

Joomla.it sui Social Network

JoomlaDay Italia

JoomlaDay

Newsletter

Inserisci qui la tua e.mail: