合成データ

ChainCatcher のメッセージによると、公式ブログで、Tether Data の AI 研究部門 QVAC が QVAC Genesis プロジェクトを発表し、合成データセット Genesis I をリリースしました。このデータセットには 410 億のテキストマークが含まれており、世界中でよりスマートで正確な STEM 言語モデルを構築するのに役立ちます。訓練されたモデルは単語と関連する論理を理解することができます。これは教育と科学の基準に厳格に検証されており、数学や物理などの分野で卓越した推論能力と問題解決能力を示しています。教育コンテンツのために特別に構築され、厳格に検証された初の公開合成データセットであり、重要な STEM 分野の公開訓練データセットの不足を補います。QVAC Genesis I は、オープンで高品質なデータを通じて、人工知能の訓練の権限を一般に返還することを目指しています。さらに、Tether Data は初の消費者向けアプリ QVAC Workbench を発表しました。これは人工知能愛好者などを対象にしており、さまざまな大型言語モデルをサポートしています。このアプリはスマートフォン（現在は Android のみ、iOS は近日中にリリース予定）とデスクトッププラットフォームに対応しており、包括的なローカルデバイスサポートを提供します。ユーザーがこのアプリを使用する際、チャットやインタラクションデータは 100% プライベートであり、「委託推論」機能はモバイル版とデスクトップ版を接続し、ワークステーションのリソースを最大限に活用します。

ChainCatcher のメッセージによると、TechCrunch の報道で、イーロン・マスクは Stagwell の会長マーク・ペンとのライブ対話の中で、現在の AI モデルのトレーニングは実世界のデータをほぼ使い果たしており、「私たちは人類の知識の蓄積の総和を使い尽くしました。これは昨年に起こりました。」と述べました。マスクは、前 Open AI のチーフサイエンティストであるイリヤ・サツケバーと同じ見解を持っており、彼は NeurIPS 機械学習会議で AI 業界が「データのピーク」に達しており、今後はモデル開発の方法を変える必要があると提案しました。マスクは、合成データが実データを補完する手段になると考えており、AI は生成と自己評価データを通じて自己学習を実現すると述べています。この傾向は、マイクロソフト、Meta、Open AI、Anthropic などのテクノロジー大手によって採用されており、マイクロソフトの Phi-4 モデルやグーグルの Gemma モデルは、実データと合成データを組み合わせてトレーニングされています。ガートナーは、2024年の AI および分析プロジェクトの約 60% のデータが合成生成されると予測しています。合成データの利点にはコスト削減が含まれます。例えば、AI スタートアップの Writer は、ほぼ完全に合成データに基づく Palmyra X 004 モデルを開発するのに約 70 万ドルを費やしましたが、同規模の Open AI モデルの開発コストは約 460 万ドルです。しかし、合成データにはリスクもあり、モデルの創造性の低下、出力の偏りの悪化、そして潜在的なモデルの崩壊が含まれます。特に、トレーニングデータ自体に偏りがある場合、生成結果にも影響を与える可能性があります。

ChainCatcher のメッセージによると、Cointelegraph が報じたところによれば、OpenAI の共同創設者 Ilya Sutskever は、バンクーバーで開催された NeurIPS 2024 大会で、AI の事前学習時代が終わりを迎え、AI 超知能時代が到来しようとしていると述べました。彼はデータを化石燃料に例え、インターネットデータの成長がピークに達し、計算能力の成長速度が利用可能なトレーニングデータの総量を超えていることを指摘しました。Sutskever は、AI の発展の次の段階は三つの主要な方向性によって主導されると予測しています：自律型 AI エージェント、合成データ、推論時の計算。