アクセス解析を見たら先月くらいから「tkl.iis.u-tokyo.ac.jp」のドメインから大量のアクセスがあるのを発見した。
http://www.tkl.iis.u-tokyo.ac.jp/~crawler/index.html.ja
http://www.tkl.iis.u-tokyo.ac.jp/new/research?lang=ja#research-item-2
どうやらここのクローラーっぽい。
ツイッターの投稿を分析するノリで葉っぱの投稿を収集してるみたいだ。
そのうち葉っぱのレスを元に論文とか発表されるのかもな〜w
bingはセーフサーチに引っかかっててこのサイトが検索結果に出てこない。
そのせいでbingから検索して来る人はほとんどいないのにクローラーのアクセス頻度はグーグルより多くて邪魔なのでbingのクローラーをブロックしたった！
そのうち完全にbingから消えるだろう。
ついでに他のbotや>>261のも制限した。数万単位のbotのアクセスはサーバーの負荷になるかも知れないし。