Il processo di indicizzazione di Google è complicato, con molte fasi che si influenzano a vicenda.

Per fare in modo che il tuo sito venga indicizzato rapidamente, devi assicurarti che non ci siano ostacoli che impediscano a Google di indicizzarlo.

In secondo luogo, fai tutto il possibile per comunicare a Google che hai contenuti freschi e che vuoi che il tuo sito venga indicizzato. Tieni presente che la qualità dei tuoi contenuti e la mancanza di link interni possono essere un ostacolo nel processo di indicizzazione.

Infine, aumenta la popolarità del tuo sito web costruendo link esterni al tuo sito web e facendo parlare le persone dei tuoi contenuti sui social media.

Il processo di indicizzazione di Google è molto complesso, con molte interdipendenze tra le fasi incluse nel processo. Se una parte del flusso va storta, questo influenza anche le altre fasi.

Per esempio, il 10 agosto 2020, la comunità SEO ha notato una raffica di cambiamenti nella classifica dei risultati di ricerca. Molti hanno sostenuto che questo significava che Google stava lanciando un aggiornamento significativo. Ma il giorno dopo, Google ha annunciato che era in realtà causato da un bug nel loro sistema di indicizzazione che ha influenzato le classifiche:

Per far luce su come il processo di indicizzazione sia complicato e intrecciato, Garry Illyes ha spiegato il flusso di lavoro di Caffeine in un thread su Twitter:

Questo tweet suggerisce che un bug nella fase di indicizzazione può avere un grande effetto sul processo che lo segue – in questo caso incasinando il sistema di classificazione.

1. Accedi a Google Search Console.
2. Scegli una proprietà.
3. Clicca Coverage sotto Index nella navigazione sinistra.

Ecco un esempio di come appare un rapporto di copertura dell’indice per un grande sito web:

Il rapporto Index Coverage ti permette di controllare rapidamente lo stato generale di indicizzazione del tuo sito, e nel frattempo, è possibile utilizzare lo strumento di ispezione URL di Google Search Console per ingrandire le singole pagine.

1. Accedi a Google Search Console.
2. Scegli una proprietà.
3. Invia un URL dal sito web che vuoi controllare.

Poi vedrai qualcosa di simile a questo:

Se lo strumento di ispezione dell’URL ti mostra che l’URL non è ancora indicizzato, puoi usare lo stesso strumento per richiedere l’indicizzazione.

Controlla la cache dell’URL

Controlla se il tuo URL ha una versione nella cache di Google, sia digitando cache:https://example.com in Google o nella barra degli indirizzi, sia cliccando sulla piccola freccia che punta verso il basso sotto l’URL in una SERP.

Se vedi un risultato, Google ha indicizzato il tuo URL. Ecco un esempio per uno dei nostri articoli:

La data inclusa nello screenshot si riferisce all’ultima volta che il sito è stato indicizzato. Tieni presente che non dice nulla su quando è stato scansionato l’ultima volta. Il sito web potrebbe essere stato scansionato di nuovo più tardi senza che Google indicizzi i suoi aggiornamenti, come Garry Illyes ha sottolineato in questo tweet.

Al tempo stesso, controllare la cache di un URL non è infallibile – si può vedere una pagina in cache anche se – nel frattempo – la pagina è stata rimossa dall’indice di Google.

Se è in classifica, è indicizzata

Un altro modo per verificare se le tue pagine sono state indicizzate è controllare se sono in classifica utilizzando un rank tracker, o semplicemente controllando i dati di performance di Google Search Console per vedere se stai ricevendo click e impressioni:

1. Accedi a Google Search Console.
2. Scegli una proprietà.
3. Clicca Search results sotto Performance sul lato sinistro.
4. Lì, filtra sulla pagina che stai cercando cliccando sul filtro in alto. Di default si apre con l’impostazione URLs containing. Inserisci l’URL che stai cercando.

Poi vedrai qualcosa di simile a questo:

Cercando il titolo esatto della pagina o l’URL

In alternativa, per vedere se una pagina è indicizzata, puoi cercare il titolo esatto della pagina mettendolo tra virgolette (”Your page’s title”), usare l’operatore di ricerca intitle: con il titolo della pagina (intitle:"Your page's title") o semplicemente inserire l’URL in Google.

sito: query

Puoi anche controllare se la tua pagina è indicizzata usando la site: query per la pagina. Ecco un esempio: inserendo site:https://www.contentkingapp.com/academy/control-crawl-indexing/ si può vedere se quella pagina è indicizzata.

Tuttavia, questo approccio non è sempre affidabile!

Abbiamo visto casi in cui le pagine sono in classifica, ma non appaiono nelle site: query. Quindi non fare mai affidamento solo su questo controllo.

Come far sì che Google indicizzi velocemente il tuo sito

Per far sì che il tuo sito venga indicizzato da Google, devi sbarazzarti di tutti i blocchi stradali che impedirebbero a Google di indicizzarlo in primo luogo.

In secondo luogo, dovresti rendere più facile per Google scoprire i tuoi contenuti con una spinta. Ricordate che Google mira sempre a fornire ai suoi utenti contenuti di alta qualità per rispondere adeguatamente alle loro query. Assicuratevi che il vostro contenuto sia adatto a questo scopo.

Infine, aumentate la popolarità del vostro contenuto vincendo backlink e facendo parlare del vostro contenuto sui social media.

1. Evitare che le direttive del robot abbiano un impatto sull’indicizzazione

Una ragione comune per cui Google non indicizza i tuoi contenuti è la direttiva robots noindex. Mentre questa direttiva ti aiuta a prevenire problemi di contenuti duplicati, invia a Google un forte segnale di non indicizzare alcune pagine del tuo sito web. Le direttive meta robots possono essere implementate attraverso il sorgente HTML e l’intestazione HTTP.

Nel vostro sorgente HTML, il tag meta robots può essere simile a questo:

<meta name="robots" content="noindex,follow" />.

Inseriscile solo sulle pagine che non vuoi assolutamente che siano indicizzate, e nel caso in cui una pagina che vuoi che sia indicizzata abbia problemi di indicizzazione, controlla due volte che la direttiva noindex non sia implementata.

2. Imposta correttamente i tag canonici

Anche se i tag canonici non sono un segnale forte come la direttiva meta robots, il loro uso scorretto può portare a problemi di indicizzazione. Assicurati che le pagine che vuoi far indicizzare non siano canoniche.

Una cosa che ho visto è che i siti che sono così presi dall’assicurarsi che le loro pagine siano canoniche, finiscono per canonicalizzarsi a pagine che sono anche marcate con noindex.

Google ha bisogno di segnali chiari e coerenti, quindi canonicalizzare il vostro contenuto a una pagina contrassegnata noindex potrebbe fermare le prestazioni delle pagine interessate.

LinkedIn (si apre in una nuova scheda)Chloe Smith, SEO Executive, Blue Array (si apre in una nuova scheda)

3. Non impedire il contenuto che vuoi che venga indicizzato

Il file robots.txt è uno strumento importante che invia segnali a tutti i motori di ricerca sulla crawlabilità dei tuoi URL. Può essere impostato per far sapere a Google che dovrebbe ignorare certe parti del tuo sito web.

Assicurati che gli URL che vuoi che siano indicizzati non siano disabilitati nel robots.txt. Incasinare il vostro robots.txt può portare al fatto che i nuovi contenuti e gli aggiornamenti dei contenuti non vengano indicizzati. Siate consapevoli del fatto che chiunque può commettere errori nel file robots.txt – anche grandi aziende come Ryanair.

Per verificare quali pagine sono bloccate da robots.txt, controllate il rapporto “Indicizzato, ma bloccato da robots.txt” in Google Search Console.

Pro tip

Disconoscere un URL in robots.txt non significa necessariamente che il sito scomparirà dalla ricerca di Google. Il sito potrebbe apparire nelle SERP, ma con un cattivo snippet.

Il file robots.txt può essere semplice da usare, ma è anche abbastanza potente in termini di causare un gran casino. Ho visto molti casi in cui i siti web erano “pronti a partire” e sono stati spinti live con un Disallow: /.

Il risultato è che tutte le pagine sono bloccate per i motori di ricerca, e nessuno è in grado di trovare il sito attraverso Google Search. Nel frattempo, il cliente comincia a chiedersi perché Google non indicizza nulla. Una riga di codice può passare inosservata e bloccare Google dal trovare tutti i contenuti del tuo sito!

LinkedIn (opens in a new tab)Gus Pelogia, SEO Client Lead, Wolfgang Digital (opens in a new tab)

4. Prevenire le trappole per crawler e ottimizzare il budget di crawl

Per essere sicuri di ottenere il massimo dalla scansione del tuo sito da parte di Google, evita di creare trappole per crawler. Le trappole per crawler sono problemi strutturali all’interno di un sito web che portano i crawler a trovare un numero virtualmente infinito di URL irrilevanti, in cui i crawler possono perdersi.

Dovresti assicurarti che la base tecnica del tuo sito web sia alla pari, e che tu stia usando strumenti adeguati in grado di rilevare rapidamente le trappole per crawler su cui Google potrebbe sprecare il tuo prezioso budget per la crawl.

La più grande causa di trappole per crawler sui siti web oggi deriva dalla navigazione sfaccettata e dai filtri per i prezzi o le dimensioni (soprattutto se è possibile selezionarne più di uno). Se non nascondi questi URL a Google, puoi facilmente creare milioni di URL extra da poche pagine. Ricorda che Google può seguire sia i link regolari che i link JavaScript e che gli URL sono sensibili al maiuscolo/minuscolo.

Il mio consiglio: assicurati che tutte le variazioni di URL che devono essere bloccate, lo siano veramente!

LinkedIn (opens in a new tab)Gerry White, SEO Director, Rise at Seven (opens in a new tab)

5. Fornire a Google contenuti indicizzabili attraverso una sitemap XML

Una volta che sei sicuro che non ci siano blocchi dalla tua parte, dovresti rendere facile per Google scoprire i tuoi URL e capire l’infrastruttura del tuo sito web in generale. Le sitemap XML sono un ottimo modo per farlo.

Tutti i nuovi contenuti pubblicati o i contenuti aggiornati che devono essere indicizzati dovrebbero essere aggiunti automaticamente alla tua sitemap XML. Per rendere i tuoi contenuti facili da trovare per Google, invia la tua sitemap XML a Google Search Console.

1. Accedi a Google Search Console.
2. Seleziona la proprietà per la quale vuoi inviare una sitemap.
3. Clicca Sitemaps sotto Index sul lato sinistro.
4. Invia l’URL della Sitemap XML.

Google controllerà regolarmente la sitemap XML inviata alla ricerca di nuovi contenuti da scoprire, scansionare e -si spera- indicizzare.

Pro tip

Se hai un sito web di grandi dimensioni, tieni presente che le sitemap XML dovrebbero essere limitate a massimo 50.000 URL. È meglio generare più sitemaps XML con meno URL ciascuna che superare questo limite.

Oliver Mason ha descritto una strategia di sitemap XML (apre in una nuova scheda) in cui ha limitato la quantità di URL a 10.000 e li ha organizzati cronologicamente – con sitemap1.xml contenente le pagine più vecchie, e sitemap14.xml contenente le pagine più recenti. Sembra che convenga dare in pasto a Google quantità minori di URL e raggruppare i nuovi contenuti.

Il mio metodo per ottenere rapidamente l’indicizzazione è sempre quello di verificare il sito in Search Console e poi inviare la sitemap XML.

Assicuratevi sempre che la vostra sitemap XML contenga tutte le pagine che volete far indicizzare, e che sia organizzata in modo che Google possa leggerle – con indici sitemap se necessario.

Per me questo è stato il modo migliore per bussare alla porta di Google per fargli sapere che possono visitare il sito web al più presto e scansionare/indicizzare tutto ciò che vi si trova e si può sempre controllare indietro per vedere quando è stato presentato e letto l’ultima volta da Google.

Jess Joyce, Jess Joyce (opens in a new tab)

6. Invia manualmente i tuoi URL a Google Search Console

Mentre Google scoprirà, scansionerà e potenzialmente indicizzerà le tue pagine nuove o aggiornate da solo, vale comunque la pena dargli una spinta inviando gli URL a Google Search Console. In questo modo, puoi anche accelerare il processo di ranking.

Puoi inviare i tuoi URL nell’ispettore URL di GSC:

1. Accedi a Google Search Console
2. Seleziona un sito web per il quale vuoi inviare un URL
3. Invia l’URL nella parte superiore di Google Search Console
4. Controlla se l’URL è indicizzabile cliccando sul pulsante TEST LIVE URL
   
5. Clicca il pulsante REQUEST INDEXING.
6. Fai lo stesso per le pagine che si collegano alla pagina che vuoi che Google indicizzi.

Pro tip

Si prega di notare che le pagine possono essere indicizzate e ancora non in classifica. Per esempio, se richiedi l’indicizzazione in Google Search Console (GSC), le tue pagine saranno rapidamente indicizzate, ma non saranno subito in classifica. Tuttavia, questo generalmente accelererà l’intero processo.

7. Invia un post attraverso Google My Business

Inviare un post attraverso Google My Business dà a Google una spinta in più per scansionare e indicizzare gli URL che hai incluso lì. Non consigliamo di farlo solo per qualsiasi post, e tieni presente che questo post sarà mostrato nel pannello di conoscenza di Google My Business sul lato destro per le ricerche con marchio.

1. Accedi a Google My Business (si apre in una nuova scheda)
2. Scegli la località per cui vuoi inviare un post.
3. Clicca Create post e scegli il tipo What's New.
4. Aggiungi una foto, scrivi un breve post, seleziona l’opzione Learn more per Add a button (optional), inserisci il tuo URL nel campo Link for your button e premi Publish.
5. Fate lo stesso per le pagine che si collegano alla pagina che volete che Google indicizzi.

8. Indicizzazione automatica tramite l’API di indicizzazione di Google

I siti web che hanno molte pagine di breve durata, come gli annunci di lavoro, gli annunci di eventi o i video livestream, possono utilizzare l’API di indicizzazione di Google (si apre in una nuova scheda) per richiedere automaticamente di scansionare e indicizzare i nuovi contenuti e le modifiche dei contenuti. Poiché consente di spingere i singoli URL, è un modo efficiente per Google di mantenere il loro indice fresco.

Con l’API di indicizzazione, è possibile

• Aggiornare un URL: notificare a Google un URL nuovo o aggiornato da scansionare
• Rimuovere un URL: notificare a Google che avete rimosso una pagina obsoleta dal vostro sito web
• Ricevere lo stato di una richiesta: vedere quando Google ha scansionato l’URL l’ultima volta

Anche se Google non consiglia di fornire loro altri tipi di contenuto oltre a lavori ed eventi, sono riuscito a indicizzare pagine normali utilizzando l’API. Una cosa che ho notato è che l’API sembra funzionare meglio per le nuove pagine piuttosto che per la reindicizzazione. Google potrebbe imporre questo a un certo punto, ma per ora funziona bene. RankMath ha un plugin (si apre in una nuova scheda) che può rendere il lavoro molto più facile, ma richiede un po’ di configurazione.

Suganthan Mohanadasan, Co-fondatore & Tecnico SEO, Snippet Digital (si apre in una nuova scheda)

9. Fornire a Google solo contenuti di alta qualità

L’obiettivo di Google è quello di restituire contenuti di alta qualità ai suoi utenti, il più rapidamente possibile. Pertanto, concentrati sempre sul fornire a Google i migliori contenuti che puoi produrre per aumentare le tue possibilità di essere indicizzato rapidamente.

Con la rigorosa valutazione dei contenuti di Google e la concorrenza senza fine, creare e ottimizzare ottimi contenuti è un processo che non finirà mai.

Oltre a generare nuovi contenuti, concentrati sul miglioramento di quelli già esistenti. Aggiornate i contenuti poco performanti in modo che restituiscano risposte migliori ai potenziali visitatori. Se hai contenuti di bassa qualità o obsoleti sul tuo sito web, considera la possibilità di rimuoverli completamente o di scoraggiare Google a spendere il suo prezioso budget per la scansione su di essi.

Pro tip

Il processo di tagliare i contenuti obsoleti, irrilevanti o semplicemente di bassa qualità è chiamato potatura dei contenuti. Sbarazzandosi del peso morto, si crea spazio per altri contenuti – che hanno potenziale – per prosperare, fornendo a Google solo i migliori contenuti che il tuo sito ha da offrire.

10. Prevenire i contenuti duplicati

Un altro modo per trasformare il budget di crawl di Google in un enorme spreco è avere contenuti duplicati. Questo termine si riferisce a contenuti molto simili, o identici, che appaiono su più pagine all’interno del tuo sito web, o su altri siti web.

In generale, i contenuti duplicati possono confondere veramente Google. In linea di principio, Google indicizza solo un URL per ogni set unico di contenuti. Ma è difficile per il motore di ricerca determinare quale versione indicizzare, e questo si riflette successivamente nei risultati di ricerca. E poiché le versioni identiche continuano a competere l’una contro l’altra, la performance di tutte diminuisce.

I contenuti duplicati possono trasformarsi in un duro problema, soprattutto per i proprietari di siti eCommerce, che devono trovare un modo per segnalare a Google quali parti del loro sito web indicizzare e quali tenere nascoste.

A questo scopo, è possibile utilizzare robots.txt disallow per filtri e parametri, oppure è possibile implementare URL canonicizzati. Ma come menzionato nella prima parte di questo articolo, fate molta attenzione a ciò che state implementando, poiché anche un piccolo cambiamento può avere un impatto negativo.

11. Sfrutta i link interni ed evita di usare il nofollow

I link interni giocano un ruolo enorme nel far capire a Google gli argomenti del tuo sito e la sua gerarchia interna. Implementando i link interni posizionati strategicamente, renderete più facile per Google capire di cosa tratta il vostro contenuto e come aiuta gli utenti.

Assicuratevi di evitare di usare il rel=”nofollow” attribute sui vostri link interni, poiché il valore dell’attributo nofollow segnala a Google che non dovrebbe seguire il link all’URL di destinazione. Questo si traduce in nessun valore del link che viene passato.

Se hai bisogno di nuove pagine indicizzate velocemente, sii strategico su come le colleghi internamente.

L’aggiunta di link interni sulla tua home page e nelle aree del sito come l’header e il footer accelererà significativamente il processo di crawling e di indicizzazione.

Considera la possibilità di creare aree dinamiche sulla tua home page che mostrino i tuoi ultimi contenuti, sia che si tratti di un post del blog, di un articolo di notizie o di un prodotto.

Puoi anche usare link all’interno di un mega menu che elenchi gli ultimi URL all’interno delle diverse tassonomie del tuo sito.

LinkedIn (opens in a new tab)Sam Underwood, Ecommerce SEO Consultant, samunderwood.co.uk (opens in a new tab)

12. Costruisci backlink pertinenti al tuo contenuto

Non è un’esagerazione dire che il link building è una delle discipline più importanti in questo campo. Il consenso generale è che i link contribuiscono per più del 50% al vostro successo SEO.

Via i link in entrata, spesso chiamati backlink, Google può scoprire il vostro sito web. E poiché i link trasferiscono anche una parte della loro autorità, verrai indicizzato più velocemente se un backlink proviene da un sito web ad alta autorità, e questo influenzerà significativamente il tuo ranking.

Per aiutarti ad aumentare le tue opzioni di indicizzazione e di ranking, ecco un intero elenco di strategie di link building altamente efficaci.

13. Crea buzz intorno al tuo contenuto sui social media

Prima in questo articolo, abbiamo menzionato che Google è diventato molto più severo quando si tratta di quali contenuti indicizza. Quando crei del buzz intorno al tuo contenuto sui social media, segnala a Google che il contenuto è popolare, il che accelera il processo di indicizzazione. Per esempio, pubblicare il tuo contenuto su Twitter insieme ad alcuni hashtag popolari può davvero aiutare a velocizzare il processo di indicizzazione.

Oltre a questo, creare buzz intorno al tuo contenuto porterà anche a inclusioni nella newsletter e backlink!

A causa dell’accesso di Google al “flusso di dati firehose” di Twitter (si apre in una nuova scheda), scoprirete che tutti i tipi di contenuto – ma soprattutto i contenuti di notizie – saranno scoperti rapidamente se vengono condivisi su Twitter.

Arnout Hellemans, OnlineMarkethink (si apre in una nuova scheda)

Conclusione

Indicizzare correttamente il tuo sito su Google può rivelarsi un lavoro infernale. Dovete affrontare molte sfide tecniche, ma anche orientate al contenuto e basate sulle PR. E con il recente aggiornamento del nucleo di Google nel maggio 2020, l’indicizzazione delle nuove pagine è diventata ancora più difficile.

Ma con una strategia adeguata e una lista di controllo in atto, è possibile ottenere che Google indicizzi le parti più importanti del tuo sito web e aumentare le tue prestazioni SEO con alte classifiche.