【クローラー施策】WebSub/PubSubHubbub（ウェブサブ/パブサブハブバブ）

wowで制作したWebサイトに実装しているプラグインのマニュアルです。

検索エンジンのインデックスプッシュ機能として、WebSub/PubSubHubbub（ウェブサブ/パブサブハブバブ）というプラグインを導入しています。

他の対クローラー施策

Contents

【予備知識】検索エンジンの仕組み

GoogleやYahoo!などの検索エンジンで検索をして、結果に表示される仕組みを簡単に説明します。

検索結果に表示されるために、検索エンジンにインデックスされる必要があります。

検索エンジンには、クローラーと呼ばれるプログラムが常にWebサイトを巡回しています。
bot、ロボット、スパイダーなどと呼ばれることもあります。

クローラーによる巡回をクロールといい、リンクを辿りながら、無数のWebサイトをクロールしては、情報収集～インデックスし、検索結果に表示しています。

新しいWebサイトや公開したてのページでは、リンク導線が少なかったり、クロールの優先順位が低いため、放置しているとなかなかクロールされず、いつまで経ってもインデックスされないということになります。

なので、こちらから「新しいページがあるよ！」「ページを更新したよ！」と伝える必要があります。

WebSub/PubSubHubbub（ウェブサブ/パブサブハブバブ）は、上記の検索エンジンのインデックスを補助（プッシュ）してくれるプラグインです。

■確認箇所
メニュー一覧（管理画面左側） » 設定 » WebSub

WebSub/PubSubHubbubを導入するメリットとして

があります。

即座にインデックスさせることで、検索流入の機会損失を減らすことが出来ます。

もう一つのメリットとして、不正コピー対策となります。

自サイトがインデックスされる前にページ内容を丸ごとコピぺされることを、ウェブスクレイピングといいます。

万が一、コピーサイトが先にインデックスされると、自サイトの検索エンジンの評価が大きく下がるので、これを防止します。

設定画面は、通知先のHubを設定する項目のみがあります。

Hubs (one per line)

https://pubsubhubbub.appspot.com
https://pubsubhubbub.superfeedr.com

特に変更や追加する必要は無いので、そのままにしておきます。

同様の機能を持つプラグインとして「PuSHPress」があります。

機能的な差は特にないですが、こちらはプラグインの更新が止まっているので、wowではWebSubを導入しています。

wowで制作したWebサイトに実装しているプラグイン WebSub/PubSubHubbub（ウェブサブ/パブサブハブバブ）の概要をまとめると以下となります。

WebSub/PubSubHubbub
（ウェブサブ/パブサブハブバブ）