Bots com buscas estranhas
Postado em 24 de junho de 2008 as 23:12:00, por Renan Rangel
Estava dando uma olhada nos logs de acesso do blog, quando começei a achar umas URLs estranhas, de coisas que não existem.
As requisições eram feitas por alguns bots, identificados como googlebot, msnbot, etc:
/item/74/?replyto=934
/archives.php?year=2006&month=10&day=30
/item/102/?replyto=186
/archives.php?year=2006&month=08
Hã? Eu nem tenho php configurado nesse servidor. Achei que não poderia mais de 1 bot estar fazendo as coisas trocadas...
Daí, me lembrei do blog antigo (blog.br-net.org), que acho que usava um esquema de URLs assim, só que não tenho certeza. Mesmo assim, porque os bots ainda estão tentando indexar essas URLs? Aquele blog está desabilitado desde o ano passado, tinha ficado só um redirecionamento para o domínio atual, que agora nem existe mais.
Talvez o motivo pelo qual isso esteja acontecendo, seja que essas requisições retornam um código HTTP 302 (redirecionamento temporário). Talvez se eu alterar para o código 301 (movido permanentemente), ou finalmente começar a utilizar o erro 404 e a infame "Página não encontrada", esse problema se resolva.
Ta aí mais uma coisa pra fazer quando tiver um tempo, já que a escrita e pesquisa do TCC me toma um bom tempo.
As requisições eram feitas por alguns bots, identificados como googlebot, msnbot, etc:
/item/74/?replyto=934
/archives.php?year=2006&month=10&day=30
/item/102/?replyto=186
/archives.php?year=2006&month=08
Hã? Eu nem tenho php configurado nesse servidor. Achei que não poderia mais de 1 bot estar fazendo as coisas trocadas...
Daí, me lembrei do blog antigo (blog.br-net.org), que acho que usava um esquema de URLs assim, só que não tenho certeza. Mesmo assim, porque os bots ainda estão tentando indexar essas URLs? Aquele blog está desabilitado desde o ano passado, tinha ficado só um redirecionamento para o domínio atual, que agora nem existe mais.
Talvez o motivo pelo qual isso esteja acontecendo, seja que essas requisições retornam um código HTTP 302 (redirecionamento temporário). Talvez se eu alterar para o código 301 (movido permanentemente), ou finalmente começar a utilizar o erro 404 e a infame "Página não encontrada", esse problema se resolva.
Ta aí mais uma coisa pra fazer quando tiver um tempo, já que a escrita e pesquisa do TCC me toma um bom tempo.
Comentários:









Enviar para um amigo(a)


Stumble It!

Deixe um comentário: