クローラーのログを
http://www.accessup.org/kensaku/
で採っているが、MSNだけが、HTTPステータス304の結果を得ていない。
HTTPステータス304とは、Not modified(以前収集した時に比べて変わっていないよ)ということ。
これに対応していれば、サーバー側はコンテンツをクローラーに渡すNetwork IOを避けることができ、クライアントとなるクローラーも、ネットワークIO/HDD IOを避けることができる。
逆にこれに対応していないと、収集のペースが遅くなるというデメリットがクローラー側に生じるし、提供するサーバー側も負荷が高くなるという問題が生じる。
msnに対し、早急に対応が望まれる機能の一つである。