助力GDDR6在边缘端AI推理应用

AI推理向边缘端转移，GDDR6高速商用化进行中通常提到人工智能的应用场景可以分为训练和推理两大类。AI模型训练需要录入大量的多模态数据，是一个对于算力消耗非常大，同时又非常耗时的过程。完成了对于AI训练之后，就可以将神经网络打造成完整模型，部署到边缘和应用场景中。推理相比训练对于算力的需求大幅下降，当前训练通常在算力密集的数据中心、云服务器上进行，而推理已经逐步转移到了边缘端。在边缘端部署AI推理，通常受限于边缘端的场景，对于带宽需求有所下降，但对于成本和功耗更为敏感。像NLP（自然语言处理）、数据库管理等AI推理模型，都已经开始在边缘大量应用。

“随着AI推理的应用不断向边缘端迁移，我们会把已经训练过的系统实现更快的处理方式，处理速度的提高是非常大的迁移到边缘端的优势。正是在这个变化的趋势过程中，GDDR6也开始发挥它本身的作用。作为更加理想的方案，GDDR6有着高带宽以及低时延的特性，能够帮助边缘端更好地处理数据。”Frank Ferro分享到。

AI训练所需的带宽通常是TB级的，而观察当前AI推理具体应用，带宽需求通常落在200～500Gb/s的范围之间。从带宽需求上来看，HBM更适合需要高带宽低延迟的AI训练场景，而GDDR则更适合大容量高带宽的AI推理场景。每一个GDDR6设备的带宽都可以达到96Gb/s，因此将4、5个GDDR6设备组合在一起，就可以轻松满足500Gb/s及以下的AI推理带宽需求。