→　Googleウェブマスター向け公式ブログ　スマートフォン版 Googlebot-Mobile の導入について [googlewebmastercentral-ja.blogspot.com]

以前から、Googlebot-Mobileとしてガラケー向けのクローラーは用意されていましたが、今回それに加えてスマートフォン版のものが加わったという形のようです。

正しくクローリングしてもらうには、新しく追加されるロボットをスマートフォンからのアクセスとしてきちんと認識するようにしなくてはなりません。

ユーザエージェントは次の通りです。iPhoneのフリをするUAですね。

スマートフォン版 Googlebot-Mobile

Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117 Safari/6531.22.7 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

またGoogleでは、2011年12月16日～22日の間の限定で、スマートフォン版Googlebot-Mobileに関する質問専用のスレッドを開設しているとのことです。

→　Googleウェブマスターセントラル　公式ヘルプフォーラム　スマートフォン版 Googlebot-Mobile の導入について [www.google.com]

こちらもためになる内容が載っていますのでチェックしたり、質問を投げてみたりしてみてはいかがでしょうか。

関連：

• GoogleがGoogle Maps API有料化の方針を発表したようです
• Google I/O 2011で行われたセッション「HTML5 vs ネイティブ。モバイルアプリはどちらで開発するべき？」
• @ITに掲載されているGoogleのApp Inoventorに関する連載「App Inventorでアプリ開発はどこまでできるのか」

→　goo ヘルプ　携帯検索クローラの「IPアドレス」と「ユーザーエージェント」変更のお知らせ [help.goo.ne.j]

IPアドレス帯域「218.213.24.0/21」が追加になっています。

上記サイトに、変更前と変更後の帯域が書いてありますので、そちらをご参照ください。

また併せて、ユーザエージェントが変更になったようです。

こちらは6個あったユーザエージェントが削除され3個になっています。

【削除になったユーザエージェント】

DoCoMo/2.0 P900i(c100;TB;W24H11)(compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
KDDI-CA31 UP.Browser/6.2.0 (GUI) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
Vodafone/1.0/V802SH/SHJ002 Browser/UP.Browser/7.0.2.1 (compatible; ichiro/mobile goo;+http://help.goo.ne.jp/door/crawler.html)

更にモバイル検索サービス研究開発のクローラに3つのユーザーエージェントが追加になっています。

これらはAndroidとiPhoneの物のようですね。

【追加されたユーザエージェント】

Mozilla/5.0 (Linux; U; Android 1.6; ja-jp; SonyEricssonSO-01B Build/R1EA018) AppleWebKit/528.5+ (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1 (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
Mozilla/5.0 (Linux; U; Android 1.6; ja-jp; IS01 Build/S7070) AppleWebKit/528.5+ (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1 (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
Mozilla/5.0 (iPhone; U; CPU iPhone OS 3_0 like Mac OS X; ja-jp) AppleWebKit/528.18 (KHTML, like Gecko) Version/4.0 Mobile/7A341 Safari/528.16 (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)

対応がまだという方は、忘れずにどうぞ。

関連：

• auのIPアドレス帯域が追加され、EZブラウザとPCサイトビューアーとが共通の帯域となるようです
• 2011年4月28日付けでWILLCOMのIPアドレス帯域に帯域削除があったようです
• ソフトバンクのIPアドレス帯域が2011年2月10日付けで削除されています

→　Google Japan Blog: Google　Google モバイル検索から PC サイトページの全体が見られるようになりました [googlejapan.blogspot.com]

PCサイトの全体像を画像として表示することができ、その主要な箇所には番号が振られています。

そして、その番号を押すことで、その箇所のHTMLが表示されるという仕掛けとなっています。

実際に使ってみた感じでは、画像の表示に時間がかかるものの（混んでいるだけ？）、なかなか便利な感じです。

関連：

• モバイル版Yahoo!検索のアルゴリズムに変更があったようです
• ケータイ向けGoogle Analyticsで設置する「ga.php」にtypoがあり、利用時には修正が必要なようです
• Google Analyticsが国内ケータイに正式対応したようです

私もフォーラムやtwitterで情報をお持ちの方を探していたのですが、japan.internet.com内の記事に変更点についての考察が書かれた記事を見つけたのでご紹介します。

→　japan internet.com　Webビジネス　i-menu 検索結果画面の変更と、今後のモバイル SEO の展望 [japan.internet.com]

この記事によると、検索エンジン表示ルールとアルゴリズムが変更されたのは2009年10月01日で、検索エンジンの表示は次のように変わったとのことです。

（旧）
■サイト名（登録サイト名）
■説明文（タイトルタグ or 本文中を引用 or 登録説明文）

（新）
■タイトル（タイトルタグ or 登録サイト名）
■説明文（meta description 属性 or 本文中 or 登録説明文）
■サイト名（登録サイト名）

meta descriptionが積極的に利用されるようになったようなので、あらためて設定文言を見直してみるとよいかもしれません。

合わせて行われたアルゴリズムの変更では、利用者数や売上高といった評価軸から、テキストマッチなど一般の検索エンジンに近い形の評価軸に変わったとのことです。

モバイルSEOに関する情報は少ないため、このような記事はありがたいですね。
参考になりました。

関連：

• モバイル向け検索エンジンの現状がまとめられた「検索エンジン相関図」
• モバイルSEOのチェックリストがまとめられた記事「ディレクターなら押さえておきたいモバイルSEO34項目」
• ブックレビュー： モバイルSEO&SEM Web担当者が身につけておくべき新・100の法則。

→　検索エンジン相関図 2009年9月版｜αSEO(アルファSEO) [alphaseo.jp]

2009年9月時点での各検索エンジン・モバイル検索連動型広告の関係図がわかりやすくまとめられています。

もちろんモバイル版についてもPCと同様に詳しくまとめられていますので、検索エンジン業界の現状を知りたい場合はこれを見ればバッチリですね。

しかしいつの間にか、こんなに大量のエンジンが増えていたのですね。。。

先日も絵文字で検索ができるという次のような検索サービスがニュースに上がっていました。
モバイル向け検索サービスは、今後もまだまだ増えていくのかもしれません。

→　CNET Japan　バイドゥ、絵文字も検索可能な「Baidu モバイル」をベータ公開 [japan.cnet.com]

モバイルの検索エンジンに引っかかるためには、クローラのIPアドレスに対して制限を外してやらなければならず、ある程度定期的に情報を追いかける必要があります。
（IPアドレス帯域が公開されていないサービスも多いですが）

この相関図は、2～3ヶ月に1度くらいのペースで更新されているようなので、定期的にチェックするとよさそうですね。

関連：

• モバイルSEOのチェックリストがまとめられた記事「ディレクターなら押さえておきたいモバイルSEO34項目」
• ブックレビュー： モバイルSEO&SEM Web担当者が身につけておくべき新・100の法則。
• ライブドアで行われているSEO対策がまとめられたブログ記事「モバイルSEO への取り組み」

主要なモバイル向け検索サイトのリファラから、検索キーワードを抽出するための正規表現をまとめた記事です。

→　F.Ko-Jiの「一秒後は未来」　モバイル検索サイトのリファラーから検索キーワードを抽出する正規表現 [blog.fkoji.com]

Apacheなどのアクセスログ内に記録されているリファラから、どういう検索キーワードで検索されたかを調べるための正規表現が多数まとめられています。

各キャリアの検索、Googleモバイル、ヤフーモバイル、モバゲーなど、メジャーどころの検索サイト用は、ほぼ全て網羅されています。

モバイルサイトをお持ちで、キーワードを見直したい方などにとっては、とても有用なまとめ情報ではないでしょうか。

関連：

• ライブドアで行われているSEO対策がまとめられたブログ記事「モバイルSEO への取り組み」
• iモードの絵文字を検出する正規表現
• ソフトバンクの絵文字を検出する正規表現

ケータイサイトを作る際に、対応機種を「FOMA以降」としたいような場合があります。

そのような場合、例えばPEAR：：Net_UserAgent_Mobileの「isFOMA」メソッドなどを使って機種を判定し、非対応機種であればその旨を書いたページを表示するのですが、クローラはFOMAのユーザエージェントを持っているとは限りません。

例えばGoogleは、未だにドコモのN505iのユーザエージェントを騙ってきます。
それでは非対応用画面がクローラにキャッシュされてしまいます。

ということで、その対策のためモバイル向けのクローラーを判定する関数を作ってみました。
とは言ってもリストをなめるだけのごくごく単純な関数です。

この関数を対応機種判定より先に判定してやれば、クローラが非対応機種と判断されることはありません。

/**
 * クローラ判定
 * @return	bool	true:クローラ、false:非クローラ
 */
function isCrawler()
{
	$crawler_arr = array(
		'Googlebot-Mobile',
		'moba-crawler',
		'mobile goo',
		'LD_mobile_bot',
		'froute.jp',
		'Y!J-SRD',
		'Y!J-MRD'
	);

	foreach ($crawler_arr as $val) {
		if (false !== strpos($_SERVER['HTTP_USER_AGENT'], $val)) {
			return true;
		}
	}

	return false;
}

クローラのユーザエージェント文字列の情報元としたページはこちらです。

• Google mobile [googlejapan.blogspot.com]
• moba-crawler [crawler.dena.jp]
• mobile goo [help.goo.ne.jp]
• livedoor mobile [helpguide.livedoor.com]
• froute [search.froute.jp]
• Yahoo! [help.yahoo.co.jp]

なお、ユーザエージェントを変更し検索エンジンを騙ることは簡単ですので、ケータイ実機とクローラ以外に見られたくないページを用意する場合は、IPアドレスによるアクセス制限を併用してください。

他にもIPアドレスからキャリアやクローラの種類を判定する方法もあるのですが、それはまた別のエントリーで書きたいと思います。

関連：

• 携帯以外のIPを制限する.htaccessを自動生成してくれるサービス「Mobile IP htaccess Maker」
• IPアドレスからケータイやクローラの判別などを行えるApacheモジュール「mod_cidr_lookup」
• ケータイキャリアやクローラのIPアドレス情報を共有するためのWikiを作ってみました

japan.inter.net.com内で、「モバイルSEO@フラクタリスト」という、モバイルSEOに関するコラムが連載されています。

→　第1回　モバイル検索エンジンの夜明けと今 [japan.internet.com]

→　第2回　各キャリア公式検索エンジンの特徴 [japan.internet.com]

→　第３回　Google の特徴とモバイル SEO の初期対策 [japan.internet.com]

連載は全11回を予定しているようです。

第1回ではモバイル検索エンジンの概要とその普及について、第2回では3キャリアの検索エンジンの特徴について、第3回では対GoogleSEOの対策について触れられています。

モバイルSEOは近年重要度が増していますので、要チェックですね。

関連：

• Googleモバイルでの被リンクの必要性を検証したブログ記事
• ドコモのiMenuがリニューアルしGoogle検索が可能に
• 携帯サイトの検索エンジン対策についてまとめられた「0円でできるモバイルSEO」

→　モバイルログ.net　Googleモバイルにインデックスさせるのに被リンクは必要なのでしょうか？実験してみた。 [mobilog.net]

結論としては、「被リンクは関係ない（であろう）」ということになったようです。

テスト用のサイトをオープンし、1ヶ月近くに渡り実験を行っています。
サイトマップさえ作成すれば、被リンクなしでも問題なくインデックスされるようです。

モバイルSEOは、その仕様に不明な点が多く、まだまだ謎だらけです。
今後の課題もまとめられているようですので、他の検証内容も含め、ぜひ実験を続けて欲しいですね。

関連：

• 携帯サイトのアクセス分析ソフトをまとめた「モバイルアクセス解析ツール10選」
• ケータイ向けECサイト運営についてのキモがまとめられた「モバイルECを成功させる7つのポイント」
• 携帯サイトの検索エンジン対策についてまとめられた「0円でできるモバイルSEO」

→　Google Japan Blog　Google モバイル検索についてのウェブマスター向け情報 [blogspot.com]

→　CNET Japan　グーグル、モバイルサイトの巡回プログラムに関する情報を公開–検索精度向上へ [cnet.com]

公開されたのは、2008年6月中旬以降のIPアドレス帯域で、現時点のものではありませんのでご注意ください。

以下のIPアドレス帯域が利用されるとのことです。
今のうちから、許可IPに加えておくと良いかもしれません。

• 72.14.199.0/25
• 209.85.238.0/25

また、ユーザエージェントは、「Googlebot-Mobile」という文字が含まれるかどうかを、判断の基準とすればよいとのことです。

携帯向けサイトでは、ケータイ以外からのIPアドレスは弾く設定にすることが多いので、クローラーのIPアドレス情報を追いかけるのは、とても重要かつ大変な作業でした。

今回このような情報が公開されるのは、Google側にとっても、サイト運用側にとってもメリットがあり、とても良いことだと思います。

なお、Googleのモバイル向け検索のライバルであるYahoo!は、基本的な情報は公開しているのですが、IPアドレスに関する情報はまだ公開していないようです。

→　Yahoo! JAPAN　サイト管理者向けヘルプ　モバイル版Yahoo!検索の検索エンジン用ロボットについて

ぜひ他の検索エンジンも追随して、情報を公開するようにして欲しいですね。

関連：

• 携帯向けGoogle AdSenseがバナー広告に対応
• ドコモのiMenuがリニューアルしGoogle検索が可能に
• 「Google Static Maps API」を使って携帯でGoogleマップを表示する