今年のWWDCで、AppleはOpenAIとの提携を発表しました。ChatGPTは次期iOSの多くの部分に埋め込まれ、文章作成支援、カスタムmemojiの作成、Siriのスマート化などを実現します。

しかも費用はかかりません！

しかし、Apple には何もコストがかからないのでしょうか?

報道によると、 Appleはこの統合に対してOpenAIに一銭も支払っていないとのことです。では、なぜOpenAIはこのようなことをするのでしょうか？結局のところ、膨大な処理能力、管理時間、開発作業などが必要となるからです。Appleの動機は容易に理解できます。最先端のAIを自社のプラットフォームに統合したいからです。

しかし、OpenAI は何を得るのでしょうか?

データウォール

画期的なエッセイシリーズ「状況認識」では、「データの壁」について次のように説明されています。

これらすべてに潜在的に重要な変動要因があります。それは、インターネットデータが枯渇しつつあることです。これは、より多くのスクレイピングデータを用いて大規模な言語モデルを事前学習するという単純なアプローチが、近い将来、深刻なボトルネックに直面する可能性があることを意味します。

Frontierモデルは既にインターネットの大部分で学習済みです。例えば、Llama 3は15Tトークン以上で学習されました。LLM の学習に使用されたインターネットの大部分をダンプしたCommon Crawlは、生のトークン数が100Tトークンを超えますが、その多くはスパムと重複です（例えば、比較的単純な重複除去で30Tトークンに達するため、Llama 3は既にほぼすべてのデータを使用していると考えられます）。さらに、コードなどのより具体的なドメインでは、トークン数はさらに少なく、例えばGitHubの公開リポジトリは数兆トークン程度と推定されています。

LLMの学習には膨大な量のデータが必要です。実際、データが不足しています。公開されている大規模なデータセットは既に学習が行き届いており、Redditの投稿やツイートを全て取り込むといった巧妙な手法は既に実行されています。電子書籍やYouTubeなどもありますが、根本的な問題は、データ量が限られていることです。

現在、Apple は OpenAI に膨大な新しいデータ ストアを提供している。それは、数億人の顧客が iPhone、iPad、Apple Watch、Mac で行うすべてのことの記録だ。

覚えておいて、サム・アルトマンは嘘つきだ

もちろん、Appleのユーザーデータを使ってトレーニングするわけではありません。もちろんです。

サム・アルトマンは、あらゆる場面で安全、ルール、そして限界を無視してきたことを忘れてはなりません。だからこそ、彼は解雇されたのです。

Apple が収集したデータが ChatGPT のモデルの改善に使用されないということを心から信じているなら、ニューヨークにある橋を売りたい。

公式発表によれば、Apple は OpenAI のブランド アンバサダーとして活動しているとのこと…ウインク、ウインク。