Mi sono posto questa domanda che non è molto, quando ho verificato che, per questo blog, per determinate keyword alcuni archivi di tag risultavano molto prima, nelle SERP di Google, di pagine e post che trattavano gli specifici argomenti, ed ho cominciato a chiedermi se fosse un bene o un male.
Me lo sono chiesto perché, come vuole il detto, da bravo scarpolino vado giro con le scarpe rotte. Mi preoccupo dell’indicizzazione di altre installazioni, ma non mi sono mai preoccupato di questa più di tanto, ed ho voluto guardare pun po’ come stava messo questo blog.
Probabilmente in altre situazioni guarderei la cosa sotto altri punti di vista, ma nello specifico, in un blog di relativamente pochi contenuti e di cui solo una certa parte mi interessa sia indicizzata bene, ho preferito dire ai motori di ricerca di non indicizzare gli archivi paginati in generale, ma soprattutto tag e categorie, e se ti interessa più avanti vediamo anche come.
Gli esperti di SEO in rete qui si dividono.
In genere, c’è chi preferisce non indicizzare queste categorie di pagine punta ad una indicizzazione di maggior qualità. Altri preferiscono non indicizzare i tag, ma ritengono le categorie importanti.
C’è anche tutto un discorso di possibili penalizzazioni per contenuti duplicati, o di eccesso di tag, se il sito ha un numero rilevante di articoli, a loro volta marcati ciascuno con parecchie etichette diverse. Con gli anni, il numero dei tag potrebbe anche superare quello degli articoli.
Come ultima considerazione, io credo che tag e categorie, per un blog come questo, dovrebbero servire più al visitatore, per una migliore fruibilità dei contenuti, che ai motori di ricerca. Pensando troppo o solo ai motori di ricerca, in certi casi, si finisce con il penalizzare i visitatori.
Come non indicizzare tag, categorie e archivi paginati
Tornando a questo blog, da poco ho proceduto a configurare il plugin All in One SEO, il mio plugin SEO per WordPress preferito da sempre, per non indicizzare archivi, categorie e tag. Basta selezionare le opzioni evidenziate in questa immagine:
In pratica, in queste situazioni il plugin inserisce il seguente meta tag nell’header delle pagine in questione:
<meta name="robots" content="noindex,follow" />
Gli dice cioè di seguire i link contenuti, ma di non indicizzare la pagina.
A rinforzo ho inserito nel file robots.txt queste righe:
Disallow: /argomenti/ Disallow: /page/ Disallow: /tag/
Così facendo, dalle prossime visite dei vari agent dei motori di ricerca, ed in particolare quello di Google, non dovrebbero essere più indicizzati gli archivi paginati, gli archivi di tag e gli archivi delle categorie (argomenti è la base degli archivi categoria su questo blog).
Google sulle prime interpreta questo come un errore, e ti avvisa sui Webmaster Tools. Probabilmente perché questa modifica tocca pagine che per lui sono indicizzate bene, e per lui questo ha poco senso. Bisogna capire se e come questo influisce sull’indicizzazione generale.
Quanto fatto fino ad ora non toglie dalle SERP di Google quanto già indicizzato in precedenza in queste categorie di pagine. Per far sì che l’opera di pulizia sia completa, occorre andare sui WebMaster Tools di Google e richiederne la rimozione.
Se anche a te sono venuti dubbi sul fatto di indicizzare o meno tag e categorie, mi piacerebbe leggere la tua opinione.
21 risposte
ciao roberto, sto diventando matto con il file robots, non riesco a capire come farlo se va fatto o basta quello virtuale di all in seo, ho visto tante guide ma non so proprio come farlo non ci capisco nulla puoi darmi una mano? grazie.
io sono “vecchia maniera”, i files robots preferisco gestirmeli manualmente
ad ogni modo se sono virtuali come tali li devi gestire da dentro il plugin, al resto ci pensa lui
rob
Mio modesto avviso, ad oggi settembre 2015, i tag assegnati agli articoli WordPress piaccio molto a Google. Inserire dei tag (ovviamente sensati e non duplicati) aiuta a scalare la SERP e indirettamente migliora anche il posizionamento di tutte le pagine del sito. Prima di incappare in una situazione di overtagging ce ne vuole 🙂
Ciao Almeblus, grazie del feedback.
L’articolo è di quasi 3 anni fa, Google ha cambiato le carte in tavola non si sa quante volte riguardo la SEO (e non solo)
rob
buonasera, stamattina ho fatto gli aggiornamenti al mio windows 8. Ora cosa mi capita : quando vado a fare una ricerca delle mail ricevute , non me le carica immediatamente ma molto lentamente che poi lascio perdere, ma prima io inserivo il nome di cio’ che cercavo e mi saltavano subito … mi dice”gli elementi sono ancora in corso di indicizzazione”….. ma che roba e’ , per me e’ un SUPER DANNO IN TERMINI DI TEMPO E SONO MOLTO PREOCCUPATO, MI SAPETE DARE UNA MANO
Ciao Simone, mi dispiace deluderti ma qui si parla di altre indicizzazioni, relative a WordPress e non a Windows.
Anche volendo non saprei aiutarti, non uso Windows nei miei computer.
rob
vediamo se qualcuno mi risponde, sarebbe un miracolo, ciao ho due domande, la prima che ho notato in all in seo sulla sitemap che mi da un un successo per la sitemap mandata a google etc… e poi alla fine mi la dicitura con http://nomedito/sitempa.xml.gz mentre nel file robot,txt gz non compare, poi volevo sapere a cosa serve e se è utile sempre in all in seo “jetpack tags” oltre a ciò come posso rimuovere i titoli doppi che trovo a volte su google, non lo fa con tutti gli articoli ma solo su alcuni, grazie, spero in una risposta perchè ormai ho chiesto anche al signore!
Ciao naturalbioda
All in One SEO Pack (AIOSP) gestisce la sitemap e il robots.txt in modo dinamico, non scrive cioè dei veri file sul sito.
Ma se leggi la documentazione di AIOSP, c’è scritto che l’inserimento della sitemap nel robot.txt avviene solo nel caso che questo sia gestito dinamicamente. Se esiste una versione fisica del file robots.txt nel sito questo non avviene. Il riferimento alla sitemap se vuoi lo puoi aggiungere tu manualmente, inserendo nel robots.txt la stringa
Sitemap: http://nomedelsito/sitemap.xml.gz
La rimozione dei metatag di Jetpack relativi a Facebook è utile se vuoi farli gestire a AIOSP invece che a Jetpack, se installato, evitando così metatag doppi che possono generare confusione. Non credo che questo però abbia a che fare con eventuali titoli doppi nella SERP di Google, per questo bisognerebbe fare una verifica più accurata.
rob
Ciao una domanda ho notato che nelle ricerche di google per trovarmi devo inserire alla fine della ricerca sempre il nome del sito ovvero astrologia divina sa dirmi il perché? Dove sbaglio non riesco a Cariplo grazie sempre gentile.
Beh, diciamo che il fatto di utilizzare un plugin per la SEO, o di effettuare qualche attività in tal senso, non significa automaticamente garantisrsi un buon posizionamento.
Il tuo sito ha un centinaio o poco più di pagine indicizzate su google, forse hai iniziato da poco la sua attività e questo ha un peso, ma quello che conta sono le strategie utilizzate per posizionarle, per quali keyword, etc etc.
rob
Si infatti é on line solo da una settimana spero di vedere qualche risultati fortuna che ho altre carte da giocare non aspetto google sennò sto fresco grazie 6per la tua disponibilità.
Una settimana è troppo poco per i motori di ricerca, a meno di non essere in una nicchia particolare.
Ci vuole un pochino di pazienza.
Non sottovalutare troppo google, però, in futuro potrebbe essere fondamentale per il traffico al tuo sito.
rob
Ok, ci parto con i Webmaster tool
Invece penso che le modifiche vengano applicate.. per esempio se cambio il title o description. Magari c’è da solo vedere quando.
Grazie ancora,
Emanuele.
Si, le modifiche vengono recepite al successivo passaggio dello spider del motore.
rob
Grazie dell’articolo che offre spunti utili. Ti chiedo questo:
Se noi abbiamo già dei tag indicizzati e solo dopo la inibiamo ai motori con le tecniche che hai presentato, le indicizzazioni già presenti verranno cancellate o semplicemente ignorate?
Grazie 1000,
Emanuele.
Quello che è già indicizzato ci rimane, nulla viene cancellato.
L’unico modo per farlo è tramite i Webmaster Tools di Google.
rob
Ciao Roberto, complimenti per le tue guide mi sono davvero utili. Ho un dubbio che mi sta tormentando da diversi giorni, io non indicizzo i tag e gli archivi tramite il plugin Yoast WordPress SEO, a questo punto dovrei anche non includere le url dei tag nel sitemap giusto? Per logica non avrebbe senso inviare ai motori delle url noindex, però vedo diversi blog ben indicizzati che a loro volta consigliano di non indicizzare i tag ma le loro sitempap contengono le url dei relativi tags! Cosa mi consigli di fare? Grazie Gabriel.
Beh sì, secondo le regole dovresti togliere i tag anche dalla sitemap, anche se poi è anche vero che le regole sono fatte per essere infrante, e che valgono giusto per quello che si vuole che valgano.
Mi spiego meglio, è una questione soggettiva, io non amop che ci siano ma ci sono siti che sono indicizzatissimi anche grazie ai tag e agli archivi, e allora cosa conta di più?
La tecnica è come l’arte, bisogna impararla, e metterla da parte al momento opportuno, per far prevalere istinto e buon senso.
rob
Ciao Roberto, per prima cosa voglio ringraziarti per il tuo sito web che per me, fotografo e profano del mondo SEO/wordpress, è una risorsa fondamentale!
Ho letto con piacere il tuo articolo e devo direi che l’ho trovato molto interessante e in passato avevo eliminato dall’indicizzazione archivi, categorie e tag sia da plugin SEO (uso Yoast) sia da robots.txt. Con quest’ultimo ho avuto un po’ di problemi e sono quelli che accenni tu al fatto che GWT mi indicasse “gravi problemi di salute” per il mio sito web dovuti alla configurazione del file robots.txt appunto. Tu nell’articolo accenni alla richiesta di rimozione. Hai qualche risorsa da indicarmi per procedere alla configurazione del file + intervento su GWT affinchè ogni mattina non mi trovi con l’avviso sudetto?
Grazie, Mattia.
Ciao Mattia, ma sei sicuro di avere un numero di post così numerosi da meritare di deindicizzare tag e/o categorie? Per incappare nel rischio di contenuti duplicati bisogna averne davvero tanti…
Io in molti blog ho preferito mettere gli archivi in noindex/nofollow, ma non li ho tolti dal robots.txt proprio per evitare i fastidi di google, anche se si trattava di blog già avviati.
Rob
No infatti, il mio robots.txt porta dietro solo un Disallow: /wp-content/plugins/ e un Allow: /wp-content/cartella-foto/. Devo solo decidermi a fare il cambio di permalink da yar,month,date/postname a /postaname. Grazie della risposta!