0001それでも動く名無し
2023/05/09(火) 11:52:18.21ID:6RZ8SXQ902023年3月、前月にMetaが発表したばかりの大規模言語モデル「LLaMA」のデータが突如としてインターネット上に流出し、誰でもダウンロード可能な状態になりました。この出来事についてGoogleは「コミュニティは自分たちが与えられたものの重要性をすぐに理解しました。この後、革新的な技術が次々と生み出され、1ヶ月が経過した頃にはさまざまなアイデアが積み重なっていました」と述べ、重要なモデルが人々の手に渡ったことにより開発速度が爆発的に上昇したことを指摘しています。
さらに、LLaMA-65Bの登場からほどなくして、LLaMAをしのぐほどの性能を誇るオープンソースの大規模言語モデル「Vicuna-13B」が公開されました。このモデルはChatGPTでのやり取りやプロンプトをシェアできる拡張機能「ShareGPT」のデータに基づき、LLaMAのベースモデルを微調整することにより高品質なパフォーマンスを実現したもの。各種対話型AIの応答品質評価では、ChatGPTを100％とした場合、LLaMAが68％、Alpaca 7Bが76％だった一方でVicuna-13Bの品質は92％に迫っていることが分かっています。
こうしたオープンソースの大規模言語モデルが登場したことについて、Googleは「私たちのモデルは品質という点ではまだ若干の優位性を持っていますが、その差は驚くほど早く縮まっています。オープンソースのモデルは、より速く、よりカスタマイズ可能で、よりプライベートで、1ポンド当たりの性能は優れています。私たちが1000万ドルと5400億のパラメーターでなんとかやっていけているところを、Vicuna-13Bは100ドルと130億のパラメーターでやってのけているのです。しかも、数カ月ではなく、数週間でやってのけました。このことは、私たちにとっても大きな意味を持ちます」と指摘。
さらに「低コストで一般の人々の参加を可能にしたことで、大手企業の追随を許さない勢いを伴い、世界中の個人や組織からアイデア出しと反復が活発に行われるようになりました。オープンソースの最近の成功を後押ししたイノベーションは、私たちが今も苦労している問題を直接解決します。彼らの仕事にもっと注意を払うことで、車輪の再発明を避けることができます」と続けました。
