ケータイサイトを作る際に、対応機種を「FOMA以降」としたいような場合があります。

そのような場合、例えばPEAR：：Net_UserAgent_Mobileの「isFOMA」メソッドなどを使って機種を判定し、非対応機種であればその旨を書いたページを表示するのですが、クローラはFOMAのユーザエージェントを持っているとは限りません。

例えばGoogleは、未だにドコモのN505iのユーザエージェントを騙ってきます。
それでは非対応用画面がクローラにキャッシュされてしまいます。

ということで、その対策のためモバイル向けのクローラーを判定する関数を作ってみました。
とは言ってもリストをなめるだけのごくごく単純な関数です。

この関数を対応機種判定より先に判定してやれば、クローラが非対応機種と判断されることはありません。

/**
 * クローラ判定
 * @return	bool	true:クローラ、false:非クローラ
 */
function isCrawler()
{
	$crawler_arr = array(
		'Googlebot-Mobile',
		'moba-crawler',
		'mobile goo',
		'LD_mobile_bot',
		'froute.jp',
		'Y!J-SRD',
		'Y!J-MRD'
	);

	foreach ($crawler_arr as $val) {
		if (false !== strpos($_SERVER['HTTP_USER_AGENT'], $val)) {
			return true;
		}
	}

	return false;
}

クローラのユーザエージェント文字列の情報元としたページはこちらです。

• Google mobile [googlejapan.blogspot.com]
• moba-crawler [crawler.dena.jp]
• mobile goo [help.goo.ne.jp]
• livedoor mobile [helpguide.livedoor.com]
• froute [search.froute.jp]
• Yahoo! [help.yahoo.co.jp]

なお、ユーザエージェントを変更し検索エンジンを騙ることは簡単ですので、ケータイ実機とクローラ以外に見られたくないページを用意する場合は、IPアドレスによるアクセス制限を併用してください。

他にもIPアドレスからキャリアやクローラの種類を判定する方法もあるのですが、それはまた別のエントリーで書きたいと思います。

関連：

• 携帯以外のIPを制限する.htaccessを自動生成してくれるサービス「Mobile IP htaccess Maker」
• IPアドレスからケータイやクローラの判別などを行えるApacheモジュール「mod_cidr_lookup」
• ケータイキャリアやクローラのIPアドレス情報を共有するためのWikiを作ってみました

本日ご紹介する「Mobile IP htaccess Maker」を使えば、この面倒なIP制限を行うための.htaccessファイルを自動で生成してくれます。
これは便利ですね。

→　HTMLタグボード　Mobile IP htaccess Maker [dspt.net]

→　IDEA*IDEA　携帯端末以外のIPを制限する.htaccessを簡単生成！『Mobile IP htaccess Maker』 [ideaxidea.com]

まずキャリアを選択します。
検索エンジン（Google, モバイルgoo, モバクローラ、livedoorモバイル、froute）も選択できます。

このように.htaccess形式で、IPアドレスでのアクセス制限用のリストが生成されます。

これはすばらしいサービスですね。
サービス自体は少し前からあったようなのですが知りませんでした。

ke-tai.orgでもクローラIPアドレスをまとめる作業は行っていましたが、これがあればもう必要ないかもしれません。

→　ke-tai.org　ケータイキャリア・クローラIPアドレス

ただ、検索エンジンにYahooが無いのが気になります。
IPアドレス帯域も7月中旬の時点で公表されてますので、追加を期待したいところです。

→　Yahoo!検索　ヘルプ　モバイル版Yahoo!検索の検索エンジン用ロボットについて [yahoo.co.jp]

→　Yahoo!検索 スタッフブログ　モバイル版Yahoo!検索のクローラー情報公開 [yahoo.co.jp]

→　CNET Japan　ヤフー、モバイル版Yahoo!検索のクローラー情報を公開 [cnet.com]

IPアドレス範囲は

124.83.159.146 ～ 124.83.159.185
124.83.159.224 ～ 124.83.159.247

ユーザエージェントは

Y!J-SRD/1.0
Y!J-MBS/1.0

となるようです。

今後、情報の変更通知は、上記の「Yahoo!検索 スタッフブログ」内で行われるとのことですので、定期的にチェックしようと思います。

またヤフー以外の検索エンジンの情報についてはこちらの記事が詳しいです。

→　CNET Japan　モバイルSEOのポイント実践編–端末識別、IPアドレスに最適化する [cnet.com]

ケータイキャリア・クローラIPアドレスのページも合わせて修正しておきました。

関連：

• 2008年7月8日付けでEZwebのIPアドレスが追加になったようです
• 2008年9月下旬にドコモのIPアドレスが追加になるようです
• ケータイキャリアやクローラのIPアドレス情報を共有するためのWikiを作ってみました

通常これを実現させるためには、IPアドレスによる制限をかけることになると思うのですが、IPアドレスは稀に変更になるため、情報を追いかけるのが大変です。

それに加え、キャリアのIPアドレスは、各公式ホームページ上で公開されているのですが、検索エンジンのクローラの情報は公開すらされていないこともあります。

というわけで、「この手の情報は多人数で保守したほうが便利ではないか」との考えから、情報を共有するためのWikiページを作成してみました。

→　ke-tai.org Wiki　ケータイキャリア・クローラIPアドレス

ひとまず本日時点での情報を集め、ベースとなるものを作成してみました。

他にも追加したほうがよいIPアドレスや、間違い等がありましたら、修正のご協力をお願いします。

好評なようでしたら、イタズラ修正を防ぐための仕掛けや、RSSでの通知機能、.htaccess形式でのダウンロード機能などを追加していきたいと思います。

関連：

• Google、モバイル向けクローラーの情報公開へ
• .Macメールがドコモで利用可能になる件の対策について
• 2008年1月10日付けで、auのIPアドレスが1つ追加されたようです