Comments on: GoogleBot, DreamHost e WordPress

By: studenti macerata

studenti macerata — Mon, 12 Jan 2009 13:41:44 +0000

Premetto l’ignoranza in materia, ma non esiste un metodo per dire a uno specifico spider che non � necessario passare su una determinata pagina xk� nulla � cambiato? In pratica, aprire le porte a googlebot solo dove necessario in base ai soli cambiamenti del sito?

By: Davide Salerno

Davide Salerno — Fri, 28 Dec 2007 08:53:59 +0000

Si poi ovviamente dopo aver messo a posto il file robots.txt si pu� togliere la regola dal file .htaccess che impedisce al GoogleBot di visitare il sito bloccandone l’indirizzo IP.

Comunque strana la cosa. Devono aver cambiato qualcosa nell’algoritmo di funzionamento del GoogleBot perch� in diversi anni non era mai successa una cosa del genere.

By: Tassoman

Tassoman — Thu, 27 Dec 2007 21:00:15 +0000

Nel pannello di DH c’� un tool per “autogenerare” (?) il robots.txt e limitare l’accesso dei robots.

Diversi sono quelli delli spammer, me ne accorsi durante l’uso di phpStats, che loggava gli UserAgent sconosciuti per poi decidere se metterli in blacklist. In effetti quella era una pratica comoda…

By: Luca Moretto

Luca Moretto — Fri, 21 Dec 2007 17:58:29 +0000

Aiuto, chi mi aiuta ho un problema grosso. In quadreria.com le visite sono calate notevolmente… come posso fare per modificare?

By: fullo

fullo — Fri, 21 Dec 2007 09:04:54 +0000

@axell: praticamente dico che pu� leggere i post (che hanno struttura Y/m/d/nome-post) ma non gli archivi di mesi e giorni (ie se vai in 2007/11/ vedi tutti i post di novembre)

By: axell

axell — Thu, 20 Dec 2007 22:30:12 +0000

Stesso problema, altro provider (americano) che mi ha anche minacciato.
Uso il tuo robot… ma non capisco cosa �

Allow: /*/200*/*/*/*/
Disallow: /*/200

mi illumini?
Ci possono essere dei problemi con il PR di Google?
ciao

By: Fox

Fox — Thu, 20 Dec 2007 20:18:04 +0000

Come non detto. Ovvio che conosci il webmaster tools: non avevo fatto caso al diagramma inserito nel tuo post.

La stanchezza gioca brutti scherzi :)

By: Fox

Fox — Thu, 20 Dec 2007 20:14:11 +0000

Hai provato con il Google Webmaster tools per far diminuire i passaggi di Googlebot sul sito? Non l’ho provato per un sito in wordpress, ma per un ecommerce con circa 18.000 pagine.
Ogni volta che Google scansionava metteva a terra il server. Con il webmaster tools gli ho fatto diminuire le scansioni e adesso va molto meglio.

Successivamente abbiamo anche scoperto che c’era un altro spider sconosciuto che faceva delle scansioni di massa molto pi� frequentemente di Google (3.5GB di traffico in 10 giorni) e se avvenivano contemporaneamente a Googlebot era un delirio: abbiamo dovuto bloccarlo :)

By: Daniele

Daniele — Thu, 20 Dec 2007 15:40:54 +0000

Beh io sono stato mene fortunato di te anche se il mio problema era leggermente differente ;-) E non � la prima volta. Qualche mese fa era wp-cache che invece di alleggerire il carico lo appesantiva!

By: Folletto Malefico

Folletto Malefico — Thu, 20 Dec 2007 12:17:56 +0000

Il problema l’ha avuto anche uno dei nostri di Bzaar.net qualche mese fa, ha risolto semplicemente eliminando la visualizzazione delle categorie, che pare fosse estremamente pesante. :)

By: Luca Moretto

Luca Moretto — Thu, 20 Dec 2007 12:12:11 +0000

anch’io ho ricevuto la stessa email,
copio ed incollo il tuo codice nel file di testo robots.txt in wordpress?
E’ sufficiente fare solo questa operazione?
thx!

By: Neko

Neko — Thu, 20 Dec 2007 10:29:02 +0000

Per NZ uso jpcache, e la copia in cache viene aggiornata ogni x secondi. Da quando l’ho attivata non ho pi� problemi di sovraccarico sulla CPU.

By: Alberto

Alberto — Thu, 20 Dec 2007 10:17:34 +0000

Ma se quel singolo post � in posizione 458 nei risultati della ricerca e invece la categoria php, in quanto pi� ampia e pi� tematica, � in terza posizione come la mettiamo?
Era questo il mio dubbio.

By: fullo

fullo — Thu, 20 Dec 2007 10:14:27 +0000

dipende.. se mi cerchi un post correlato a wordpress e finisci su questo blog preferirei finire su un post, e non nella categoria “php” dove magari il primo post � in 4a pagina ;)

By: Alberto

Alberto — Thu, 20 Dec 2007 10:09:09 +0000

Permettere di indicizzare pezzi di blog montati insieme con criteri diversi (categoria, tag, archivi mensili ecc ecc) non � un vantaggio?
Chi cerca con i motori di ricerca un insieme di parole � pi� probabile che trovi in alto nella lista dei risultati il blog che � indicizzato in quel modo no?