バルク RRAM は AI のメモリ ウォール ソリューションになる可能性がある

AIを克服できるものはないか模索が続く 永遠の記憶の壁– 高速化されたモデルであっても、プロセッサとメモリの間でデータを移動するのに必要な時間とエネルギーによって妨げられます。 抵抗膜式RAM (RRAM) は、メモリ自体で計算を実行できるようにすることで壁を回避できます。残念ながら、この不揮発性メモリのほとんどのタイプは揮発性が高すぎて、その目的には扱いにくいです。

幸いなことに、解決策はすぐに見つかるかもしれません。 12 月の IEEE 国際電子デバイス会議 (IEDM) で、カリフォルニア大学サンディエゴ校の研究者らは、まったく新しいタイプの RRAM で学習アルゴリズムを実行できることを示しました。

「私たちは実際に RRAM を再設計し、その切り替え方法を完全に再考しました」と、この作業を主導した UCSD の電気技師 Duygu Kuzum 氏は述べています。

RRAM は、電流の流れに対する抵抗のレベルとしてデータを保存します。ニューラル ネットワークの中核となるデジタル演算 (数値配列の乗算とその結果の加算) は、一連の RRAM セルに電流を流し、その出力を加算し、結果の電流を測定するだけでアナログで実行できます。

従来、RRAM は、誘電体の高抵抗環境で低抵抗のフィラメントを作成することによってデータを保存します。これらのフィラメントの製造には、標準的な CMOS には高すぎる電圧が必要になることが多く、プロセッサー内への統合が妨げられます。さらに悪いことに、フィラメントの作成はノイズが多くランダムなプロセスであり、データの保存には理想的ではありません。 (ニューラル ネットワークの重みがランダムに流れることを想像してください。同じ質問に対する答えは日によって変わります。)

さらに、ほとんどのフィラメントベースの RRAM セルはノイズが多いという性質があるため、通常はセレクター トランジスタを使用して周囲の回路から分離する必要があり、そのため 3D スタッキングが困難になります。

このような制限は、従来の RRAM がコンピューティングには適さないことを意味します。特に、今日のニューラル ネットワークにとって重要な並列行列演算にフィラメント状 RRAM を使用するのは難しい、とクザム氏は言います。

そこで、UCSD の研究者らはフィラメントを完全に放棄することを決定しました。代わりに、層全体を高抵抗から低抵抗に切り替え、またその逆に切り替えるデバイスを開発しました。バルク RRAM と呼ばれるこのフォーマットは、煩わしい高電圧フィラメント形成ステップと形状が制限されたセレクター トランジスタの両方を排除することができます。

UCSD グループはバルク RRAM デバイスを製造した最初の企業ではありませんでしたが、バルク RRAM デバイスの小型化とそれを使用した 3D 回路の構築には成功しました。 Kuzum と彼の同僚は、RRAM をナノスケールに縮小しました。彼らのデバイスの幅はわずか 40 ナノメートルでした。また、バルク RRAM を 8 層に保つことにも成功しました。

単一の電圧パルスで、 あらゆる細胞の中で 8 層スタックでは 64 の抵抗値を選択できますが、これは従来のフィラメント状 RRAM では達成が非常に困難な数値です。また、ほとんどのフィラメントベースのセルの抵抗はキロオームに制限されていますが、UCSD スタックはメガオームの範囲にあり、これが並列動作に適しているとクズム氏は述べています。

「実際には、希望どおりに調整できますが、統合とシステムレベルのシミュレーションの観点からは、メガオームが望ましい制限であると考えています」と Kuzum 氏は言います。

これら 2 つの利点 (より多くの抵抗レベルとより高い抵抗) により、このバルク RRAM スタックは従来の RRAM が管理できるよりも複雑な動作を実行できるようになります。

Kuzum らは、複数の 8 層スタックを、セレクターを必要としない 1 キロバイトのアレイに組み立てました。次に、継続学習アルゴリズムを使用してアレイをテストしました。ウェアラブル センサーからのデータを分類しながら、常に新しいデータをチップに追加します。たとえば、腰に装着したスマートフォンから読み取ったデータを使用して、装着者が座っているのか、歩いているのか、階段を上っているのか、またはその他の作業を行っているのかを判断できます。テストでは 90% の精度が示され、研究者らによれば、これはデジタル実装されたニューラル ネットワークのパフォーマンスに匹敵するとのことです。

このテストは、Kuzam 氏がバルク RRAM から特にメリットを得ることができると考えている例を示しています。つまり、クラウドにアクセスせずに環境から学習する必要があるエッジ デバイス上のニューラル ネットワーク モデルです。

「私たちは、AI アプリケーション向けに特別に設計されたデバイスを設計するために、多くの特性評価と材料の最適化を行っています」と Kuzam 氏は言います。

この方法で RRAM をアレイに統合できることは、大きな進歩であると、カリフォルニア州リバモアにあるサンディア国立研究所の材料科学者であり、UCSD グループの研究には関与していないバルク RRAM 研究者であるアレック・タリン氏は述べています。 「統合に関するあらゆる動きは非常に有益だと思います」と彼は言います。

しかしタリン氏は、データを長期間保持できるという潜在的なハードルの 1 つを強調しています。 UCSDグループは、RRAMが室温で数年間データを保持できることを示した（フラッシュメモリと同等）が、コンピュータが実際に動作する高温でのデータ保持はそれほど確実ではないとタリン氏は言う。 「これは、このテクノロジーの大きな課題の 1 つです。特に最先端のアプリケーションに関してはそうです。」と彼は言います。

エンジニアがテクノロジーを完成させることができれば、あらゆるタイプのモデルが恩恵を受ける可能性があります。従来のメモリではもはや大型モデルの増大する需要に対応できなくなったため、このメモリの壁はこの 10 年間でさらに高くなっています。モデルがメモリ上で動作できるようにするものはすべて、歓迎されるショートカットになる可能性があります。