Web Café Weblog - Archive
re:検索ロボットの CSS ファイルのクロールについてと、それを拒否する手段
Last Modified : Sat, January 06 22:01:44 2018 
2005-09-11 / re:検索ロボットの CSS ファイルのクロールについてと、それを拒否する手段
検索ロボットの CSS ファイルのクロールについてと、それを拒否する手段にある通りに、hxxk.jp のスタイルシートは、ブラウザのリファラの送信が無効になっている状況だと、スタイルシートが全く適用されない。僕は、自分のサーバやらのメンテナンスもしたりする関係上、リファラをあまり送信したくないので、無効にしている。気になったので、CSS ファイルの HTTP レスポンスヘッダのステータスコードを見ると、302 ( 一時的な移動 )を返して 403 のページへ飛ばしているようだ。
この状況だと、MIME タイプが もともと読み込みたい text/css ではなく 飛ばされた 403 ドキュメントの application/xhtml+xml ( hxxk.jp は application/xhtml+xml だが、通常のサイトは、text/html が多いと思われる )となっているため、Firefox の コンソールではエラー吐きまくり。そして、私のようなリファラを無効にしている人( 当然私は、検索エンジンなどではなく人間だ )は、スタイルシートが無効になった状態で閲覧せざるを得ない。「実験中」ということで彼も断っているので、ネタにマジレスになってしまうかもしれないけれど、個人的には、こういう検索エンジンに、スパム扱いされるかされないかだけの実験に、検索エンジンではなく人間が不便するのはちょっと不甲斐ないなあと感じる。という報告。
Trackback Data
- この記事に対する Trackback
- https://web-cafe.biz/~prelude/diary/mt-tb.cgi/1455
- この記事のリンク先
- "re:検索ロボットの CSS ファイルのクロールについてと、それを拒否する手段" @Web Café Weblog
真琴 : 2005-09-12 19:47
MIME タイプが異なるのでコンソールがエラーを吐きまくるというのは予想外でした。
極端な話、 CSS が無効になる方はリファラをオンにするか、またはユーザースタイルを当てれば解決できるので良かろう ( もちろん、閲覧者に手間をかけさせるという点では悪いのですが ) と思っていましたが、ブラウザにエラーとみなされるのは嫌なので解除することにします ( 優先順位が間違ってるます ) 。
まあ、検索エンジンのロボットについての実験については robots.txt の方で一応の効果が表れたので、リファラの制限はなくしましたので、よしなに。 ( のりさんも ( 謎 ) )
ジュン : 2005-09-13 09:47
＞極端な話、 CSS が無効になる方はリファラをオンにするか、またはユーザースタイルを当てれば解決できるので良かろう
んー、これがちょっと理解できないです。サイトの訪問者全てがリファラの存在や、ユーザスタイルの使用方法を知っているとは思えないからです。例えばデフォルトの設定のノートン先生を使用している( リファラ送信が無効になっている )何もしらないユーザが、hxxk.jp を訪問した場合に、折角みきてぃーが一所懸命書いたスタイルシートが無効になった hxxk.jp を見るのは、残念だと思うのですよ。人間より、サーチエンジンを優先させる考え方が残念だなと思ったわけです。
ともあれ対応してくれてありがとうね。
るりるり : 2005-09-13 12:03
ロボット避けではなく、CSS の方を修正するという選択肢もあるますよ＾ヮ＾ノ ←そもそも検索エンジンの結果を気にしていない人