Ciao Ale,

Capisco il tuo dilemma. Ecco alcune considerazioni che farei:

Tag Noindex e Nofollow: utilizzare il tag noindex insieme a nofollow sulle tue pagine di tipo "goto" è una buona pratica. Questo impedisce che le pagine siano indicizzate e che trasmettano "link juice" ai siti affiliati [4].

Robots.txt vs Noindex: bloccando le pagine tramite robots.txt, i motori di ricerca non le vedranno affatto, il che va bene. Tuttavia, se utilizzi il tag noindex, i motori di ricerca potranno ancora vedere le pagine ma sapranno di non indicizzarle. Questo può essere utile se vuoi monitorare il traffico su queste pagine tramite Google Analytics.

Effetti sulla scansione: rimuovere la direttiva disallow nel robots.txt e aggiungere il tag noindex può portare ad un aumento temporaneo del carico di scansione mentre Google aggiorna il suo indice. Tuttavia, questo effetto dovrebbe essere temporaneo e gestibile, a meno che non ci siano migliaia di pagine coinvolte.

Pratica Consigliata: una soluzione potrebbe essere implementare gradualmente i tag noindex e nofollow mentre monitori l'impatto sul traffico e la scansione. Inoltre, assicurati di avere una buona gestione delle risorse del server per affrontare eventuali aumenti di scansione.

In sintesi, entrambi gli approcci sono validi, ma l'uso del tag noindex offre un controllo più granulare e una migliore monitorabilità rispetto alla direttiva disallow nel robots.txt.

Spero che queste informazioni ti siano utili!