tetraの外部記憶箱

«前の日記(2007-01-16) 最新 次の日記(2007-01-19)» 編集
Category;

2007-01-18

_ [linux][log] Baiduspiderを出入り禁止に

自宅鯖のapacheログを見ていたら、"Baiduspider+(+http://www.baidu.com/search/spider_jp.html)"とゆー、なにやら見慣れないUser-Agentが、ものすごい勢いでアクセスしてきている。試しに直近のログ(1/14〜1/18)を集計してみたのだが、"Googlebot"が3093件なのに対し、"Baiduspider"は11715件と、Googlebotの4倍近いアクセス頻度なのだ。

何じゃこれ?と思ってググってみたところ、どうやら中国の検索サイト「百度(バイドゥ)」のロボットらしい。

中国のグーグル「百度(バイドゥ)」の実力【前編】 インターネット-中国IT最前線(肖 宇生):IT-PLUS

中国のグーグル「百度(バイドゥ)」の実力【後編】 インターネット-中国IT最前線(肖 宇生):IT-PLUS

それほど負荷はかかっていないはずなのに、時々、Webサーバが重くなったり、突然、応答しなくなったりする事態が多発していたのだけど、もしかしたらコイツのせいかもしれない。

早速、下記サイトを参考に、robots.txtおよびhttpd.confの設定を行い、Baiduspiderを出入り禁止にしてみた。

ふと思う--ちょっと考える (いたずら編): Baiduspiderを出入り禁止にする

Courantの日記 - Baiduspiderがやってきた

これで、ちょっと様子を見てみよう。

_ [linux][munin] Muninを入れてみた

Muninとは、マシンの負荷やトラフィックを簡単にグラフ化できるツール。似たものとして「MRTG」があるけど、インストール&設定は、はるかに楽だ。

http://munin.projects.linpro.no/

Fedora Coreならば、yumからインストール可能。

$ su
# yum -y munin munin-node    # ツールのインストール
# chkconfig munin-node on    # マシン起動時にonになるように設定
# /etc/init.d/munin-node start  # デーモンのスタート
Starting Munin Node:                                       [  OK  ]

起動後、“http://localhost/munin”にアクセス。しばらく待つと、グラフが描き出されてきます。

表示例→http://tetralog.in/munin/

[参考] MRTGよりお手軽に負荷やトラフィックをグラフ化できる「Munin」 - GIGAZINE