tetraの外部記憶箱

_ [log] モバイル版Yahoo!のクローラーをアク禁に

Apacheのアクセスログを眺めていたところ、下記のような、一見、携帯からのアクセスのようなUser-Agentの記録が多いことに気づいた。

Vodafone/1.0/V705SH (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html) 
DoCoMo/2.0 SH902i (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html) 
KDDI-CA33 UP.Browser/6.2.0.10.4 (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html) 

実はこれ、モバイル版Yahoo!のクローラーであった。

そこで昨日1日分のログから「Y!J-SRD」でgrepし、1時間ごとのアクセス件数をグラフ化してみた。

1日の全アクセス数は3149回。最も頻度の高い時間帯（4:00〜5:00）には、ほぼ20秒/回の頻度で訪れており、日ごとのアクセス数も増加傾向にある。

ん〜、まぁサーバーが潰れるほどじゃないけど、基本的にケータイ向けのコンテンツは無いし、転送量が増えるのも嫌なので、robots.txtでアクセス禁止に。（動的にトップ画像をランダム切り替えしている関係上、高頻度なアクセスは困るのよ）

Googlebot-Mobileも頻度が高いみたいなので観察中。

User-agent: Y!J-SRD/1.0
Disallow: /