Instagramのプロフィールに自社サイトのURLを載せている。Facebookページで新着記事を告知している。WhatsApp Businessで問い合わせを受けている。どれか一つでも当てはまるなら、10月30日に施行されるMetaの新しい商用利用規約はあなたのサイトにも関係します。
更新後の規約には、Metaがクローラーやテスト用の認証情報を使って、利用者の商品やサービスに関連付けられたドメインからコンテンツを集め、製品の開発やトレーニングに使うことを認める一文が入りました。条文に拒否の手段はありません。事業目的で使い続ければ、同意したとみなされます。
では、何もしなければ自社の記事はMetaのAIの学習に回るのか。私の答えは「止めたいなら、今のところ実効性がある手段はrobots.txtで、追記は2行で済む」です。ただし止める相手を間違えると、リンクのプレビューが崩れたり、Meta AIに参照されなくなったりします。10月17日の未明に国内外22サイトのrobots.txtを取得して比べたところ、新聞社とIT媒体で対応がはっきり分かれていました。
規約に入ったのは「関連サイトを巡回し、トレーニングに使う」許諾
Metaは、商用利用規約、商品カタログ規約、セルフサービス広告規約、広告クリエイティブ生成AI規約の4つの更新をビジネスヘルプセンターで告知しています。報道によると発表は10月8日です。商用利用規約は広告に限らず、ページやグループの管理、商品販売、ビジネスツールの利用など、事業目的でMetaの製品を使う場面に広く適用されます。
問題になっているのは「Metaに対するライセンスおよび権利」の節です。更新後の条文では、Metaや代行業者が次のことを行うのを、利用者が認める形になっています。
- ウェブスクレーパー、ボット、スパイダー、クローラー、ユーザーエージェントなどの自動ソフトウェアを使う
- テスト認証情報を作成する
- 利用者の商品やサービスに関連付けられたドメイン、ウェブページ、URLにアクセスし、インデックス化、キャッシュ、分析、クロールし、定期的に更新を取りに行く
- 集めたコンテンツを、Metaの製品やサービスの提供、開発、改善、調査、トレーニングに使う
同意の仕組みも単純です。更新の通知後も事業目的で使い続ければ、規約に拘束されることに同意したものとされます。署名もチェックボックスもありません。
この条項を掘り起こしたのは米Nieman Labで、日本語ではGIGAZINEが10月16日に紹介しました。Hacker Newsでは427ポイント、153件のコメントを集め、海外の開発者や事業者のあいだでも大きな話題になっています。
Metaは「既存規定をまとめただけ」。それでも残る3つの穴
GIGAZINEが伝えたMeta広報の説明では、クロールに関する規定はこれまで複数の規約に散らばっていて、今回それを1か所にまとめただけだといいます。TechRoundの記事によれば、パブリッシャーへのクロールの仕方は変わらず、robots.txtでアクセスを管理できるとも述べました。
この説明自体は筋が通っています。MetaはAI学習用のクローラーを名前付きで公開し、robots.txtでの拒否方法も案内しています。ただ、条文と説明のあいだには、読むほど気になる隙間が3つあります。
robots.txtで止められるとは、条文のどこにも書いていない
更新後の規約にはrobots.txtへの言及がありません。robots.txtを尊重するというのは、あくまで広報の説明です。契約で与えた許諾と、robots.txtによる拒否のどちらが優先するのかは、開発者向けの解説記事でも法的に決着していない論点として扱われています。
「テスト認証情報」で何をするのか分からない
条文には、Metaがテスト用の認証情報を作成できるとあります。会員登録が必要なページに入るためのものなのか、有料記事まで含むのか、条文からは読み取れません。Hacker Newsでは、偽アカウントで有料記事の壁を越えるためだろう、という受け止めも出ていました。会員限定の資料や有料マガジンを置いているサイトほど、ここは重い論点です。
対象が自社サイトだけとは限らない
条文の対象には、利用者の商品やサービスに関連付けられたドメインに加え、利用者やほかの利用者がMetaの製品を使うことで提供されるドメインも含まれています。どこまでが「関連付けられた」サイトなのか、Metaの判断基準は示されていません。
Hacker Newsでは、サイトに第三者から許諾を受けた写真や文章が載っている場合、その権利までMetaに渡せるのかという疑問も挙がっていました。外部ライターの原稿や、素材サイトの写真を使っている企業にも関係する話です。
新聞社はすでに止めている。IT媒体とEC大手は何も書いていない
実際のサイトはどう構えているのか。10月17日午前1時22分（日本時間）に、国内外22サイトの公開robots.txtを取得し、Meta系と主要なAIクローラーの指定を数えました。
結果ははっきり分かれました。NHK、朝日新聞、読売新聞、毎日新聞、日本経済新聞、産経新聞、Yahoo!ニュース、47NEWS、クックパッドの9サイトは、AI学習用のmeta-externalagentを原則として拒否していました。9サイトともOpenAIのGPTBotやAnthropicのClaudeBotもまとめて止めています。
一方、ITmedia、GIGAZINE、Impress Watch、東洋経済オンライン、note、Qiita、Zenn、楽天、メルカリの9サイトは、Meta系のクローラーを1つも指定していません。海外ではNew York Times、BBC、Guardianの3サイトが、いずれも学習用を拒否していました。
目を引いたのは読売新聞です。学習用だけでなく、Facebookで共有されたページの情報を取りに来るfacebookexternalhitまで、一部のパスを除いて拒否していました。リンクの見え方より、記事を渡さないことを優先した設定に見えます。NHKは学習用を止めつつ、facebookexternalhitには何も書いていません。
正直に書くと、このブログのrobots.txtも、WordPressの初期状態のまま管理画面を除外しているだけでした。今回分かるのは取得した時点の設定だけで、各社がいつから止めているかは確認していません。新聞社が改定の前から拒否していたのなら、今回の規約で影響を受けるのは、むしろ何も書いていない側です。
報道機関がAI事業者にどう向き合ってきたかは、日本新聞協会がPerplexityに正式抗議した件を読むと背景がつかめます。
Metaのクローラーは5種類。学習を断るなら止めるのは1つ
Metaは開発者向けのクローラー一覧で5種類を公開しています。robots.txtに書く名前と役割、止めたときに起こりうることを並べました。
| 名前 | 公式の役割 | 止めた場合 |
|---|---|---|
| meta-externalagent | AIモデルの学習、製品改善のためのインデックス | 学習用の収集を断れる |
| facebookexternalhit | 共有されたURLのタイトル、説明、サムネイルの取得 | 共有時のプレビューが出なくなるおそれ |
| meta-webindexer | Meta AIの検索結果の質の向上 | Meta AIの回答で参照されにくくなるおそれ |
| meta-externalads | 広告などビジネス向け製品の改善 | 影響の説明なし |
| meta-externalfetcher | 利用者の依頼で個別のリンクを取得 | robots.txtを回避する場合があると明記 |
「止めた場合」の列のうち、プレビューとMeta AIへの影響は、公式の役割の説明から私が推した見立てです。Metaがそう明言しているわけではありません。
学習への利用を断りたいなら、止めるのはmeta-externalagentです。facebookexternalhitまで止めると、FacebookやMessengerで自社の記事が共有されたとき、タイトルや画像のない味気ないリンクになりかねません。集客のためにMetaを使っている事業者には、逆効果になります。
meta-externalfetcherは、robots.txtを回避する場合があるとMeta自身が書いています。利用者に頼まれてMeta AIがページを読みに来る用途なので、書いても効かない場面があると割り切るのが現実的です。
WordPressなら追記は2行。効いたかはログで分かる
robots.txtは、ドメインの一番上に置くテキストファイルです。学習用だけをサイト全体で止めるなら、既存の記述の後ろに次の2行を足します。
User-agent: meta-externalagent
Disallow: /Metaのページに載っている例は、Allow: /とDisallow: /private/の組み合わせです。これは一部のディレクトリだけを止める書き方なので、そのまま写してもサイト全体は止まりません。ここは間違えやすいところです。
WordPressは、実ファイルがない場合にrobots.txtを自動で生成しています。SEOプラグインにrobots.txtの編集機能があればそこで追記し、なければサーバーの公開ディレクトリにrobots.txtを置きます。実ファイルを置くと自動生成の内容は使われなくなるので、既存のDisallow: /wp-admin/やSitemapの行も書き写しておきます。
書いたあとは、次の順で確かめます。
- ブラウザで「https://自社のドメイン/robots.txt」を開き、追記した2行が表示されるかを見る
- Metaはrobots.txtを最大24時間キャッシュするので、施行日の前に効かせたいなら10月29日までに済ませる
- 数日たったら、サーバーのアクセスログでmeta-externalagentからのアクセスが減ったかを数える
grep -c "meta-externalagent" access.logログの置き場所はレンタルサーバーごとに違います。管理画面から生ログをダウンロードできる場合は、それを手元で数えるのが手軽です。
文章が商品のサイトは止める。見つけてほしいサイトは止めなくていい
全員が止める必要はありません。私の判断基準は、そのサイトの価値が文章そのものにあるかどうかです。
止めたほうがいいのは、文章そのものが商品のサイトです。独自の調査記事やノウハウ記事、会員限定の資料、専門家の解説を載せているメディア、コンサルティング会社、士業の事務所などが当てはまります。AIが要約して答えてしまえば、読者がサイトを訪れる理由が減ります。新聞社がそろって止めているのも、根っこは同じだと私は見ています。
止めなくていいのは、見つけてもらうこと自体が目的のサイトです。会社案内、店舗の営業時間やメニュー、ECの商品ページなどは、Meta AIに正しく読まれていたほうが得をする場面があります。Hacker Newsには、AIが利用者の代わりに買い物をする時代に、ボットを止めている店は機会を逃すのではないか、という書き込みもありました。
迷うのは、商品ページとブログを同じドメインで運営している場合です。そのときは全面拒否にせず、ブログのディレクトリだけを止める書き方が使えます。
User-agent: meta-externalagent
Disallow: /blog/規約が気に入らないからといって、Facebookページや広告アカウントを今すぐ閉じるのはおすすめしません。拒否の手段がない以上、抗議としては分かりやすい選択です。ただ、集客経路を失う損は確実で、得るものは不確かです。条文の効力が争われ、Metaの実際の運用が見えてくるまでは、robots.txtで意思を示したうえで様子を見る。私はそれが釣り合いの取れた対応だと考えています。
今日、自社サイトで確かめておくこと
まず自社のrobots.txtを開いて、meta-externalagentの行があるかを見てください。なければ、上の基準でサイトの性格を決め、必要なら2行を足します。WordPressなら作業は数分で終わります。
外部ライターの原稿や素材サイトの写真を使っているなら、その契約がAI学習への提供まで想定しているかも見直しておくと安心です。データの集め方そのものが争点になるのは、SonyとWarnerがClaudeをめぐって提訴した件と同じ構図です。規約の文言をめぐる議論はこれから本格化しますが、自分のサイトで何を許すかを今すぐ書いておける場所は、robots.txtしかありません。
コメント