この記事は Dries Buytaert の公式ブログ「dri.es」の翻訳記事です。Driesブログの記事一覧よりすべての翻訳記事をご覧いただけます。
ウェブサイトをAIエージェントやクローラーが読みやすくしたところ、わずか1時間で数百件のリクエストが殺到しました。
今朝、Claude Codeを使ってサイトに新機能を構築しました。ブログ上のどのURLでも、HTMLの代わりにMarkdownを返せるようになったのです。
Markdown版が存在することを示す小さなヒントをHTMLに追加しました。主に何が起こるか見てみたかったのです。数週間そのまま動かしておいて、何か興味深いことがあれば後で記事にしようと思っていました。
ところが1時間も経たないうちに、ClaudeBot、GPTBot、OpenAIのSearchBotなど、AIクローラーから数百件のリクエストが来ました。数週間待つ計画は台無しです。
20年間、私たちは2つの読者に向けてサイトを構築してきました。人間と検索エンジンです。AIエージェントが今や第三の読者になりつつありますが、ほとんどのウェブサイトはまだそれに最適化されていません。
私たちは、GoogleでサイトをランクインさせるためにSEOゲームのやり方を学びました。今では、生成エンジン最適化(GEO)や回答エンジン最適化(AEO)といったものに投資し始めています。
それが実際にどういう意味なのかを理解したかったので、自分のサイトを小さな実験台にして、すべてのページをMarkdownとして利用できるようにしました。
私のブログをフォローしている方はご存じでしょうが、DrupalはブログポストをMarkdownで保存しています。しかし、AIクローラーが訪れたときは、他の誰もと同じようにHTMLを取得していました。ナビゲーションメニューやラッパーdivをかき分けて、実際のコンテンツを見つけなければなりませんでした。私のコンテンツはすでにAIにとってより使いやすい形式で存在していました。ただ、それを提供していなかっただけです。
必要だったのはいくつかの変更だけで、Drupalがそれを簡単にしてくれました。
まず、サイトにコンテンツネゴシエーションを追加しました。リクエストのHTTPヘッダーに`Accept: text/markdown`が含まれている場合、サイトはレンダリングされたHTMLではなくMarkdownを返します。
次に、どのURLにも`.md`を付けられるようにしました。例えば、`https://dri.es/principles-for-life.md`にアクセスすると、タイトル、日付、タグなどのメタデータを含むクリーンなMarkdownが得られます。この記事のURLに`.md`を付けて試すこともできます。
しかし、クローラーはどうやってそんなに早くMarkdown版を見つけたのでしょうか? 私はRSSのパターンを借用しました。RSS自動検出です。多くのサイトは、RSSフィードを指す`rel="alternate"`のリンクタグを含んでいます。私は同じ考え方をMarkdownに適用しました。すべてのHTMLページに、`.md` URLで代替Markdown版が存在することを示すリンクタグを含めたのです。
この「Markdown自動検出」が鍵でした。クローラーはHTMLを解析し、代替Markdownリンクを見つけると、すぐに切り替えます。これが最初の1時間で数百件のリクエストを見た理由です。
この採用スピードの速さは、AIエージェントがよりクリーンなコンテンツ形式を求めており、見つけた瞬間にそれを使うということを教えてくれます。私がまだわからないのは、これが実際に私の利益になるかどうかです。AIの回答での可視性が高まるかもしれませんし、単にAI企業が私のコンテンツをトラフィックを送り返さずに使いやすくするだけかもしれません。
この実験を誰もが好むわけではないことは承知しています。私を含む人間は、機械にサイトをより良く読む方法を教えており、一方で機械は人間に私たちを訪れるのをやめるよう教えています。クリエイターとAI企業の間の価値交換は決着には程遠く、AIがコンテンツを消費しやすくすることがウェブの空洞化を加速させる可能性は十分にあります。
これに対する良い答えはまだ持っていませんが、目を背けるよりは実験したいと思います。これを動かし続けて、また報告します。
By Dries Buytaert
追伸:LinkedInでのディスカッションにもご参加ください。
この記事は「The Third Audience」(投稿日:2026-01-14)の翻訳記事です。
カテゴリ