feed
twitter

Bing non rispetta i robots.txt dei nostri siti

robots txt bing

Per chiunque di voi si recasse nel forum per Webmaster di Bing, si renderà subito conto che sta succedendo il putiferio.

Non si capisce perchè ma Bing non rispetta le regole d’ esclusione delle pagine, scritte nei file Robots.txt, e capirete da voi che questo è un grave danno per molti webmaster, che quindi di conseguenza stanno intasando di lamentele il Forum d’assistenza di Bing senza ricevere però nessuna risposta.

Riporto alcune proteste (in inglese) che in questi giorni stanno riempiendo i forum di Bing-Msn:

envision_frodo dice:

Robots.txt example:

User-agent: *
Disallow: /forbidden/

Log example:

65.55.106.209 – - [31/Aug/2009:16:53:15 -0600] “GET /robots.txt HTTP/1.1″ 200 294 “-” “msnbot/2.0b (+http://search.msn.com/msnbot.htm)”
65.55.106.209 – - [31/Aug/2009:16:54:03 -0600] “GET /legitpage1.php HTTP/1.0″ 200 14161 “-” “msnbot/2.0b (+http://search.msn.com/msnbot.htm)”
65.55.106.162 – - [31/Aug/2009:18:20:12 -0600] “GET /robots.txt HTTP/1.1″ 200 294 “-” “msnbot/2.0b (+http://search.msn.com/msnbot.htm)”
65.55.106.162 – - [31/Aug/2009:18:21:03 -0600] “GET /forbidden/ HTTP/1.0″ 403 3893 “-” “msnbot/2.0b (+http://search.msn.com/msnbot.htm)”
65.55.106.187 – - [31/Aug/2009:18:46:27 -0600] “GET /legitdir1/ HTTP/1.0″ 200 9835 “-” “msnbot/2.0b (+http://search.msn.com/msnbot.htm)”

65.55.51.70 – - [02/Sep/2009:18:18:00 -0600] “GET /robots.txt HTTP/1.1″ 200 179 “-” “msnbot/2.0b (+http://search.msn.com/msnbot.htm)”
65.55.207.95 – - [02/Sep/2009:19:06:32 -0600] “GET /robots.txt HTTP/1.1″ 200 294 “-” “msnbot/2.0b (+http://search.msn.com/msnbot.htm)”
65.55.207.95 – - [02/Sep/2009:19:07:34 -0600] “GET /legitpage2.php HTTP/1.0″ 200 6494 “-” “msnbot/2.0b (+http://search.msn.com/msnbot.htm)”
65.55.51.70 – - [02/Sep/2009:19:27:45 -0600] “GET /robots.txt HTTP/1.1″ 200 179 “-” “msnbot/2.0b (+http://search.msn.com/msnbot.htm)”
65.55.106.138 – - [02/Sep/2009:20:24:36 -0600] “GET /forbidden/ HTTP/1.0″ 403 3893 “-” “msnbot/2.0b (+http://search.msn.com/msnbot.htm)”
65.55.207.120 – - [02/Sep/2009:20:33:05 -0600] “GET /legitpage3.phpforbidden/ HTTP/1.0″ 404 5514 “-” “msnbot/2.0b (+http://search.msn.com/msnbot.htm)”

For clarity, logs have been modded as follows:

forbidden = Location or Honeypot (Should NOT be Spidered)
legitpage# = Legitimate Web Page (Should be Spidered)
legitdir# = Legitimate Directory/Folder (Should be Spidered)

nico7382 dice:

Sorry, I’m french

my “robots.txt”

User-agent: *

….

Disallow: /VoirSite.php

and on VoirSite.php, I added  a script to trace visitor(log in file), and who I see?

DATE:2009-09-01 14:56:56, IP:65.55.105.141, AGENT:msnbot/1.1 (+http://search.msn.com/msnbot.htm), PAGE:/VoirSite

Why?

E questi sono solo alcune delle domande di chiarimento arrivate nel forum, ma ancora senza risposta.

Seguiremo la vicenda per voi e se ci saranno aggiornamenti e si risolvesse la questione, ve lo comunicheremo immediatamente.

NOTA: Per chi ha un file robots.txt senza esclusioni non ci sono problemi, del tipo:

User-agent: *

Disallow: /

Continuateci a seguire, per tutti gli aggiornamenti del caso.


Condividi questo post sui SocialBookmarks!


Articoli Correlati:

Pubblicato in Bing,Motori di Ricerca
14 settembre 2009 | by admin | Tag:, ,

  • Un webmaster
    Ritengo che bing è un ottimo motore di ricerca: personalmento ho salvato file robot.txt come lo dice bing nei webmaster tools e mi esclude corettamente tutte le pagine! Addiritura la descrizione corrisponde alla descrizione meta... Perciò addiritura meglio di google che come descrizione mi ci mette copyright :-(.
blog comments powered by Disqus
dippiù?