【朗報】AIの記憶力「トークン」を200万に拡張する技術が登場（GPT-4は3万）、人類終焉へ

[1 それでも動く名無し 2023/04/26(水) 20:36:29.80 ID:LeCNu7t70]

Scaling Transformer to 1M tokens and beyond with RMT
https://arxiv.org/abs/2304.11062

[2 それでも動く名無し 2023/04/26(水) 20:37:18.15 ID:LNJ/xesx0]

ただしGPUに32GB必要ってオチだろ

[3 それでも動く名無し 2023/04/26(水) 20:37:24.44 ID:LeCNu7t70]

本技術報告は、自然言語処理において最も効果的なTransformerベースのモデルの一つであるBERTの文脈長を拡張するための
リカレントメモリの応用を紹介する。リカレントメモリTransformerアーキテクチャを活用することで、
高い記憶検索精度を維持しながら、モデルの有効文脈長を前例のない200万トークンに増やすことに成功した。

本手法では、ローカル情報とグローバル情報の両方を保存・処理することができ、再帰性を利用することで入力シーケンスの
セグメント間の情報フローを実現しています。この手法は、自然言語理解・生成タスクにおける長期的な依存関係の処理を強化し、
メモリ集約型のアプリケーションにおける大規模なコンテキスト処理を可能にする大きな可能性を秘めていることが、実験によって証明された。

[4 それでも動く名無し 2023/04/26(水) 20:38:18.44 ID:LeCNu7t70]

>>2
モデル学習の話やから個人レベルのコンピューティング環境とは異次元の話やで