GPTQ-2D: 立方時間の二方向適応丸め手法

GPTQ-2D: Cubic-Time Two-Sided Adaptive Rounding

行列を効率的に整数に丸める手法

2026-07-29 中級 arXiv
推論高速化量子化
  • 行列の整数丸めは計算の重要な課題です。
  • GPTQ-2Dは、二方向からの丸めを立方時間で実現します。
  • 同じ対角線上の要素を並行処理する新しいアプローチが特徴です。
量子化推論高速化アルゴリズム

行列を整数に丸める手法は多くの応用がありますが、従来の方法は計算時間がかかります。本論文では、二方向からの適応丸めを行うGPTQ-2Dを提案し、従来の手法よりも効率的に処理を行います。特に、対角線ごとに独立して要素を並行処理することで、計算時間を大幅に短縮しています。行列の処理速度を向上させたい研究者や実務者にとって興味深い内容です。

行列計算や最適化に興味がある研究者やエンジニアに向いています。

GPTQ-2D: Cubic-Time Two-Sided Adaptive Rounding
Jiale Chen, Torsten Hoefler, Dan Alistarh