剖析 FPGA 加速大模型推理的潜力
Published:
- TLDR: 用 FPGA 加速 LLM 推理在特定场景下能够达到比 NVIDIA A100 GPU 更高的性能和更低的能耗，但并非所有场景都适合用 FPGA。
- 论文链接：https://arxiv.org/abs/2312.15159
这一年生成式大语言模型（large language models，LLMs）的爆火直接促进了 NVIDIA 卖卡的进程，股价直接翻了几番，现在高价求卡都还一卡难求。NVIDIA 的 GPU 虽好，它高额的成本和产生的电费让很多人望而却步。为了实现更加高效的 LLM 部署，最近几个月来互联网厂商一方面继续买 N 卡，另外一方面也在寻求替代品。所有人都知道需要寻找一种更加高效且低功耗的加速器，但究竟什么硬件才能实现这个目的。一些厂商直接开始了造芯进程（Google 的 TPU，Amazon 的 Inferentia，和 Microsoft 刚出的 Maia 等等），但是造芯的周期太长，一旦流片也很难跟上瞬息万变的模型发展（Maia 尴尬的内存带宽就是个例子）。而在通用处理器 CPU/GPU 和专用加速器 ASIC 中间其实还有一种硬件，既能做到一定的可编程性，又能达到比通用处理器更高的性能，这就是可编程门阵列 FPGA（Field-Programmable Gate Array）。目前最大的 FPGA 厂商是 Xilinx（已经被 AMD 收购），其芯片也陆续被集成进现在高端的 SoC 里面。我们最近的工作正是要探讨利用可重构硬件 FPGA 到底能不能在 LLM 这波浪潮下占据有利地位，以及 FPGA 在大语言模型推理上究竟能够释放多大的潜力。