このテストを行った理由は主に 2 つあります。
- 単純に一番いい検索エンジンを使いたいから。
毎日ネット上で長い時間を過ごしているので、情報を最速かつ簡単に手に入れたいと常に思っているため。 - マーケターとして、今後の動向を把握しておきたいから。
AI 検索エンジンは従来の検索エンジンに取って代わるのか、AI チャットボットは本当に Google の座を奪うほど優れているのか、また LLM の最適化にもっと力を入れるべきなのかを探るため。
AI 検索エンジンを名乗る製品は山ほどありますが、今回はその中でも最も注目されている 4 つの検索エンジンに絞ってテストを行いました。
具体的には、既存の大手である Google AI Overview と Bing AI、そして話題の AI サービスである ChatGPT Search と Perplexity の AI 機能を試してみました。
結論としては、最も優れた AI 検索エンジンは、チャットボットの使用感が抜群に良い ChatGPT Search と、総合的に優れている Google の AI Overview です。
それでは、スクリーンショットや動画を交えながら、それぞれの長所と短所について詳しく見ていきましょう。
| AI 検索エンジン | 強み | 料金 |
|---|---|---|
| ChatGPT Search | 快適な AI チャットボット検索体験 | 無料、Pro 版は月額 $20 |
| Google AI Overview | 従来の検索機能と AI 機能の組み合わせ | 無料 |
| Perplexity | リサーチやニュースに有用 | 無料、Pro 版は月額 $20 |
| Bing AI | シンプルな検索に最適 | 無料 |
各検索エンジンのテスト結果を適切に評価するために、今回は筆者が世界的なプロである分野、デジタルマーケティング…ではなく、ロールプレイングゲーム『スカイリム（Skyrim）』を材料にしました。
SEO 専門家として、できるだけ多くの検索クエリをテストしたいと考え、スカイリムに関連する検索ワードをさまざまなカテゴリに分けてリストアップしました。
- ショートテールクエリ（例：スカイリム）
- ロングテールクエリ（例：Mzulft oculory パズルの解き方）
- トランザクショナルクエリ（例：スカイリムのおすすめ有料 MOD）
- インフォメーショナルクエリ（例：スカイリムではやく鍛冶をレベルアップする方法）
- ナビゲーショナルクエリ（例: UESP スカイリムマップ）
- ローカルクエリ（例: 近くのスカイリム取扱店）
- 画像クエリ（例: スカイリムの風景）
- トレンドクエリ（例: スカイリム Nolvus）
今回、キーワードのアイデアを出すのにキーワードエクスプローラーの検索意図フィルターが大活躍しました。
まず「スカイリム」と検索し、フレーズ一致レポートに移動して、検索意図別にフィルタリングしてアイデアを探しました。
その後、4 つすべての AI 検索エンジンでこれらを検索し、体験の詳細を記録しました。特に注目したのは次のポイントです。
- 関連性：検索結果はクエリに対して適切だったか。
- 正確性：検索エンジンは有効かつ最新の情報を返したか。
- 有用性：検索意図を満たしたか。得られた結果に満足できたか。
- 速度：どのくらい早く回答を得られたか。
- 使いやすさ：どのくらい手間がかかったか。
科学的とは到底言えませんが、AI 検索エンジンに関する非常に興味深い分析結果が得られました。それではそれぞれの結果を見ていきましょう。
個人的な評価：ニュース関連の内容や情報の要約に優れたリサーチアシスタントという印象で、検索エンジンという感じはあまりしなかった。
料金：無料、Pro 版は月額 $20
URL：https://www.perplexity.ai/
長所
- 大量の情報を要約するのに優れている。
- ニュース関連のトピックに強い。
- 「関連トピック」機能が便利。
短所
- 不正確な回答やハルシネーションが多い。
- 画像検索、商業的な意図の検索、ローカル検索に弱い。
- 検索エンジンという感じがあまりしない。
Perplexity は、検索エンジンというよりは Wikipedia やナレッジベースに近い感じがします。応答の多くは簡潔な箇条書きのリストで、技術的な質問（DA09Dawnbreaker など）やニュース関連のトピック（ベセスダ・ソフトワークスが開発中の RPG ゲーム「The Elder Scrolls VI」の ニュースなど）を要約するのには非常に便利です。
また、検索結果に多くのエラーやハルシネーションがあることも気になりました。たとえば、「スカイリムで吸血鬼になるべきか、それとも狼男になるべきか？」という質問に対して、「狼男は銀の武器の影響を受けない」と回答してきましたが、実際には狼男は銀の武器からボーナスダメージを受けます。（Perplexity さん、しっかりして…）
そして、古い情報が提供されることもよくありました。たとえば、Perplexity はスカイリム SE が Steam※ で $7.99 でセール中だと言っていましたが、実際にはセールは行われていませんでした。さらに、セールは 2024 年 5 月 30 日まで延長されたとのことでしたが、これも過去の情報でした。Perplexity のインデックスは、他の AI 検索エンジンに比べてかなり古いようです。
※米国 Valve 社が提供する、PC ゲームの購入や管理、プレイなどができるゲームプラットフォーム
さらに、Perplexity は私の検索意図をうまく汲み取れないことも多く、まともに意味を成さない文章が返ってくることもありました。たとえば、「Steam スカイリム」と検索したところ表示されたのは、Steam とは関連性がまったくない、長くてまとまりのない回答でした。「スカイリム クリエーション」の検索に対しては、実際の作品は 1 つも表示されず、クリエーションの概念について Wikipedia 風な概要が提供されただけでした。
Perplexity は画像検索にうまく対応できないようで、購買意欲を持つコマーシャルクエリに関しても満足のいく結果が得られませんでした。ローカル検索においては、明らかにローカルではない、遠く離れた場所のウェブサイトやショップを推奨する回答が返ってきました。
個人的な評価：AI を限定的ながら有効的に活用した、総合的にバランスの取れた検索エンジン。
料金：無料
長所
- AI Overview が表示されれば役に立つことが多い。
- 画像や動画など、さまざまなメディアフォーマットをうまく整理して表示する。
- コマーシャル（購買型）クエリやトランザクショナル（取引型）クエリに強い。
短所
- 検索結果が非常に雑然としており、AI Overview と強調スニペットが重複していることが多い。
- AI Overview と対話を続けられないため発展性がない。
- 検索結果の大半に Reddit が表示されるのには少し違和感を感じた。
今回、新鮮な目で Google 検索を評価するのは楽しかったです。予想通り、Google はコマーシャルクエリやローカルクエリに非常に強みを発揮していました。インタラクティブな商品カルーセルにより、関連する商品を簡単に見つけることができ、ローカルパックは地元のショップを見つけるのに非常に役立ちました。
また、Google と YouTube の統合がいかに強力であるかも改めて思い知らされました。動画コンテンツで解決するのが最適なクエリには、ほぼ必ず YouTube 動画が検索結果に含まれ、しかもその多くがタイムスタンプ付きで表示されました。
AI と機械学習は Google 検索全体の基盤として使われていますが、特定の AI 機能の発動頻度は高くありません。たとえば AI Overview は、今回筆者が検索したクエリのうち 約 15 ％でしか表示されませんでした。AI Overview をトリガーしたのはすべてインフォメーショナル（情報収集型）クエリで、その大半がかなり具体的でニッチなロングテールクエリでした。
AI Overview は精度が高く関連性も十分でしたが、AI と対話し続ける機能が欠けている点は残念でした。
概して、AI Overview は、ロングテールクエリに直接的で確実な回答を提供する強化版の強調スニペットのような感じでした（実際、AI Overview の多くは、そのすぐ下に表示される強調スニペットと内容が重複し、競合しているように見えました）。
また、かなり多くの結果に Reddit が含まれているのには少し違和感を感じました。クエリの中には、明確な最適解がなく、ユーザー生成コンテンツが最も適しているものもあるのですが、Reddit はそうしたケースに限らず、どんな検索結果にも半ば強引に食い込んでいるようでした。
個人的な意見：テキスト中心の具体的な検索に最適な AI チャットボット。 ただし、従来の検索エンジンにある機能が一部欠けている。
料金：無料、Pro 版は月額 $20
URL： https://chatgpt.com/
長所
- ニッチで具体的なロングテールクエリに最適。
- 追加の質問ができる点が便利。
- 「メモリ」機能が便利。
短所
- 時々、まったく役に立たない回答を返すことがある。
- 画像検索やコマーシャルクエリには向いていない。
- 簡単な質問に対してもやたら長い回答を返す傾向がある。
ChatGPT Search は、非常に具体的なロングテールクエリに優れています。たとえば、「スカイリムで吸血鬼になるべきか、それとも狼男になるべきか？」という問いに対する回答は、まるでその質問に特化して書かれたブログ記事を読んでいるかのようでした。実際、複数の情報源を整理してまとめてくれる仕組みになっています。
これに、フォローアップの質問ができる機能と、以前の会話の情報を記憶する「メモリ」機能が組み合わさって、長くて複雑な質問を投げるのが非常に楽しくなります。
しかし、この強みは同時に欠点でもあります。ChatGPT はテキストを中心としたクエリには優れていますが、その他のクエリにはあまり向いていません。Google に比べて、ショートテールのクエリには限界を感じましたし、ナビゲーショナルクエリでも満足のいく回答を得られませんでした。たとえば「スカイリム Creation Kit ダウンロード」というナビゲーショナルクエリを検索したところ、ChatGPT は Creation Kit（スカイリムの MOD 作成ツール）のダウンロード方法を詳しく説明してくれただけで、実際にダウンロードを行う手助けまではしてくれませんでした。
また、コマーシャルクエリにもあまり力を発揮せず、画像検索に関しては非常に不満が残る結果となりました。デフォルトの回答ではたった 4 枚の画像しか表示されず、高解像度のスカイリムの風景画像が見たかった筆者には全く物足りませんでした。ただし 1つ 驚いたのは、ChatGPT Search の回答内に YouTube 動画が埋め込まれており、そのまま再生できる点です。
また、ChatGPT Search はいくつかのクエリでまったく機能せず、ごく基本的なクエリでも結果を得られるまで何度もページをリフレッシュする必要がありました。総じて、長くて詳細なテキストの回答が合っているクエリに強みを発揮するものの、それ以外のクエリではほぼすべての面で他の検索エンジンよりも劣っている印象でした。
個人的な意見：実験的な AI 機能が備わっているものの、期待通りには機能しない部分もある。とはいえ、第二の選択肢としては頼りになる検索エンジン。
料金：無料
長所
- ナビゲーショナルクエリやコマーシャルクエリに最適。
- ショートテールクエリ向けのおもしろい検索機能がある。
短所
- AI 機能はしばしば動作不良で、役に立たないことが多い。
- ローカル検索とニュース検索は少し期待外れだった。
Bing には、明確な AI 機能が 2 つあります。1 つは Google の強調スニペットや AI Overview に非常に似たテキストスニペットです。これは機能はしますが、Google の AI Overview には到底及びませんでした。
AI の回答が筆者の検索の意図をうまく理解できていないことがあり、「スカイリムで吸血鬼になるべきか、それとも狼男になるべきか?」という質問に対しては、吸血鬼または狼男になるための手順が説明されただけで、回答にはなっていませんでした。
もう 1 つの AI 機能は、動的に生成される「目次」モジュールです。見た目は良いものの、さまざまなモジュールがごちゃ混ぜの順序で表示されたり手順が欠けていたりして、役に立たない、または完全には機能していないという状態でした。
Google 検索と同様に、Bing はナビゲーショナルクエリですばらしいパフォーマンスを発揮し、コマーシャル検索では多くの製品やインスピレーションとなる情報を大量に提供してくれました。また、最新のトレンドトピックに対しても良い結果が返されましたが、驚くべきことに、これはすべての検索エンジンで同じ結果でした。
Bing で特に気に入ったのは、ショートテールの検索結果で表示されるビジュアルサイドバーで、ここではスカイリムに関する膨大な情報や豆知識が紹介されていました。検索意図が漠然としている場合、このような検索結果をインスピレーションとして利用したり、深掘りすべき興味のある領域を見つけるために非常に役立ちそうです。
ただ、予想外にがっかりしたのはローカル検索でした。また、ニュース検索（「The Elder Scrolls VI」のニュース）もかなりひどいもので残念な印象が否めませんでした。
まとめ
従来の検索エンジンは、検索者とその多様な検索ニーズを満たすべく何十年もの年月を費やして進化してきました。これは、コマーシャル、ローカル、画像検索において、Google や Bing が新しい AI 検索エンジンに対して圧倒的に優れていることから明らかです。
しかし、AI 主導の検索エンジンは、新しい検索行動を可能にします。たとえば、ChatGPTに「スカイリム ボズマー ステルスアーチャー バックストーリー」といった具体的なクエリを投げかけたところ、Google 検索では得られないような非常に詳細な答えが返ってきました。これにより、ゲームのキャラクター設定や背景ストーリーをより深く考えたり、アイデアを広げたりすることができました。また、Perplexity は、ニュースや複雑な情報を簡潔にまとめるのが得意です。
AI 検索エンジンには強力な利点がありますが、弱点も多いのが現状です。果たして、これらの強みがその弱点全てを補えるほど十分なのでしょうか？そしてユーザーは、現在の検索エンジン市場の 88.5 ％を占める従来の検索エンジンから、まだ新しく実績の少ないツールに乗り換えていくのでしょうか？
筆者の予想では、既存の検索エンジンが AI 企業と連携したり、AI 機能を統合したりすることで、その強みを既存の検索体験に取り入れていく流れになると思います（Bing と OpenAI の提携のように）。
それまでの間は、今ある選択肢の中で一番すぐれたチャットボット体験を提供する ChatGPT Search と、総合的に万能な Google AI Overview をおすすめ AI 検索エンジンとして推したいと思います。
