PHPでモバイル向けクローラを判定する関数

2008/11/11 火曜日 Posted in PHP | 4 Comments »

PHPからモバイル向けクローラを判定する関数を作ってみました。 ケータイサイトを作る際に、対応機種を「FOMA以降」としたいような場合があります。 そのような場合、例えばPEAR::Net_UserAgent_Mobileの「isFOMA」メソッドなどを使って機種を判定し、非対応機種であればその旨を書いたページを表示するのですが、クローラはFOMAのユーザエージェントを持っているとは限りません。 例えばGoogleは、未だにドコモのN505iのユーザエージェントを騙ってきます。 それでは非対応用画面がクローラにキャッシュされてしまいます。   ということで、その対策のためモバイル向けのクローラーを判定する関数を作ってみました。 とは言ってもリストをなめるだけのごくごく単純な関数です。 この関数を対応機種判定より先に判定してやれば、クローラが非対応機種と判断されることはありません。 /** * クローラ判定 * @return bool true:クローラ、false:非クローラ */ function isCrawler() { $crawler_arr = array( 'Googlebot-Mobile', 'moba-crawler', 'mobile goo', 'LD_mobile_bot', 'froute.jp', 'Y!J-SRD', 'Y!J-MRD' ); foreach ($crawler_arr as $val) { if (false !== strpos($_SERVER['HTTP_USER_AGENT'], $val)) { return true; } } return false; }   クローラのユーザエージェント文字列の情報元としたページはこちらです。 Google mobile [googlejapan.blogspot.com] moba-crawler [crawler.dena.jp] mobile ... Read more..

携帯以外のIPを制限する.htaccessを自動生成してくれるサービス「Mobile IP htaccess Maker」

2008/11/5 水曜日 Posted in SoftBank, ニュース | 1 Comment »

ケータイサイトを作成する場合、セキュリティなどの面から「携帯端末からのみアクセスを許可したい」というケースが出てきます。 本日ご紹介する「Mobile IP htaccess Maker」を使えば、この面倒なIP制限を行うための.htaccessファイルを自動で生成してくれます。 これは便利ですね。 → HTMLタグボード Mobile IP htaccess Maker [dspt.net] → IDEA*IDEA 携帯端末以外のIPを制限する.htaccessを簡単生成!『Mobile IP htaccess Maker』 [ideaxidea.com]   まずキャリアを選択します。 検索エンジン(Google, モバイルgoo, モバクローラ、livedoorモバイル、froute)も選択できます。   このように.htaccess形式で、IPアドレスでのアクセス制限用のリストが生成されます。   これはすばらしいサービスですね。 サービス自体は少し前からあったようなのですが知りませんでした。 ke-tai.orgでもクローラIPアドレスをまとめる作業は行っていましたが、これがあればもう必要ないかもしれません。 → ke-tai.org ケータイキャリア・クローラIPアドレス   ただ、検索エンジンにYahooが無いのが気になります。 IPアドレス帯域も7月中旬の時点で公表されてますので、追加を期待したいところです。 Read more..

Yahoo!モバイル版クローラーのIPアドレスが公開されました

2008/7/16 水曜日 Posted in ニュース, 記事紹介・リンク | 1 Comment »

今まで非公開だった、ヤフーモバイル版の検索エンジンクローラーのIPアドレスが、とうとう公開されたようです。 → Yahoo!検索 ヘルプ モバイル版Yahoo!検索の検索エンジン用ロボットについて [yahoo.co.jp] → Yahoo!検索 スタッフブログ モバイル版Yahoo!検索のクローラー情報公開 [yahoo.co.jp] → CNET Japan ヤフー、モバイル版Yahoo!検索のクローラー情報を公開 [cnet.com]   IPアドレス範囲は 124.83.159.146 ~ 124.83.159.185 124.83.159.224 ~ 124.83.159.247 ユーザエージェントは Y!J-SRD/1.0 Y!J-MBS/1.0 となるようです。 今後、情報の変更通知は、上記の「Yahoo!検索 スタッフブログ」内で行われるとのことですので、定期的にチェックしようと思います。 またヤフー以外の検索エンジンの情報についてはこちらの記事が詳しいです。 → CNET Japan モバイルSEOのポイント実践編--端末識別、IPアドレスに最適化する [cnet.com]   ケータイキャリア・クローラIPアドレスのページも合わせて修正しておきました。   関連: 2008年7月8日付けでEZwebのIPアドレスが追加になったようです 2008年9月下旬にドコモのIPアドレスが追加になるようです ケータイキャリアやクローラのIPアドレス情報を共有するためのWikiを作ってみました Read more..

ケータイキャリアやクローラのIPアドレス情報を共有するためのWikiを作ってみました

2008/6/12 木曜日 Posted in お知らせ, サーバ | No Comments »

ケータイサイトを運営すると、必要になってくるのが、「PCからのアクセスをブロックし、ケータイからのみアクセスさせる」という仕掛けです。 通常これを実現させるためには、IPアドレスによる制限をかけることになると思うのですが、IPアドレスは稀に変更になるため、情報を追いかけるのが大変です。 それに加え、キャリアのIPアドレスは、各公式ホームページ上で公開されているのですが、検索エンジンのクローラの情報は公開すらされていないこともあります。 というわけで、「この手の情報は多人数で保守したほうが便利ではないか」との考えから、情報を共有するためのWikiページを作成してみました。 → ke-tai.org Wiki ケータイキャリア・クローラIPアドレス   ひとまず本日時点での情報を集め、ベースとなるものを作成してみました。 他にも追加したほうがよいIPアドレスや、間違い等がありましたら、修正のご協力をお願いします。 好評なようでしたら、イタズラ修正を防ぐための仕掛けや、RSSでの通知機能、.htaccess形式でのダウンロード機能などを追加していきたいと思います。   関連: Google、モバイル向けクローラーの情報公開へ .Macメールがドコモで利用可能になる件の対策について 2008年1月10日付けで、auのIPアドレスが1つ追加されたようです Read more..