AI エンジニア、ラズロ・ハンホールド氏の新しい数値形式に関するビジョン

AI により、新しい数値形式が爆発的に増加し、数値をデジタルで表現する方法が変化しました。エンジニアは、データの表現に使用されるビット数を削減するなど、計算時間とエネルギーを節約するためにあらゆる方法を検討しています。しかし、AI で機能するものが、計算物理学、生物学、流体力学、エンジニアリング シミュレーションなど、科学コンピューティングでも機能するとは限りません。 IEEEスペクトル 最近バルセロナを拠点とする OpenChip に AI エンジニアとして入社した Laszlo Hanhold 氏に、科学技術コンピューティング用の特殊な数値形式を開発する取り組みについて話を聞きました。

数値形式の何が興味深いのでしょうか?

ラズロ・ハンホールド: 興味を持つ人がほとんどいない分野でありながら、これほど大きな影響力を持つ分野の例を私は他に知りません。数値フォーマットを作成する場合は 10% 増加します [energy] 効率的で、すべてのアプリケーションの効率が最大 10% 向上し、エネルギーを大幅に節約できます。

新しい数値形式がこれほど多く存在するのはなぜですか?

ハンホールド: 何十年もの間、コンピュータ ユーザーはそれを非常に簡単に利用していました。数年ごとに新しいシステムを購入するだけで、パフォーマンス上の利点を無料で得ることができます。しかし、過去 10 年間、このようなことは起こっていません。コンピューターでは、数値を表すために特定のビット数が使用されますが、長年にわたってデフォルトは 64 ビットでした。そして、AI の場合、企業はすべての数値に 64 ビットは必要ないと考えました。したがって、彼らには 16、8、または 2 ビットに下げるという強い動機がありました。 [to save energy]。問題は、64 ビットで数値を表現するための主要な標準が低ビット計算向けに適切に設計されていないことです。そこでAI分野では、AIに合わせた新しいフォーマットを考案しました。

なぜ AI には科学計算とは異なる数値形式が必要なのでしょうか?

ハンホールド: 科学計算には高いダイナミック レンジが必要です。非常に大きな数値または非常に小さな数値が必要ですが、どちらの場合も非常に高い精度が必要です。 64 ビット標準のダイナミック レンジは非常に高く、ほとんどの場合、必要なビット数よりもはるかに多くなります。 AIの場合は違います。通常、数値は特定の分布に従い、それほど高い精度は必要ありません。

数値形式が「優れている」理由は何でしょうか?

ハンホールド: 数は無限ですが、ビット表現の数は有限です。したがって、番号を割り当てる方法を決定する必要があります。最も重要な部分は、実際に使用する数値を表すことです。使用しない数値を表すと、その表現が無駄になるからです。最も簡単に確認できるのはダイナミック レンジです。次は分配です。ビットを特定の値に割り当てるにはどうすればよいでしょうか?一律配布か何かありますか？無限の可能性があります。

タクム番号形式を導入しようと思ったきっかけは何ですか?

ハンホールド: タクムは投稿に基づいています。位置では、より頻繁に使用される数値をより高密度で表現できます。しかし、この仮定は科学技術計算には当てはまらず、これは大きな問題です。彼らは高密度を持っています [numbers close to one]これは AI には最適ですが、値が大きくなったり小さくなったりすると、密度が急速に低下します。何年にもわたって人々は数十の数値形式を提案してきましたが、真に科学技術計算用に設計された数値形式は、Takums だけです。すべてのフィールドを見ると、科学計算で使用する値のダイナミック レンジがわかります。Tacam は、ビットを取り出すときにそのダイナミック レンジが減らないように設計されています。

この記事は、2026 年 3 月の印刷号に「László Hanhold」として掲載されます。