快科技11月6日音信，在AI算力需求爆发的配景下，高性能内存HBM的价钱正握续飙升，SK海力士阐发，来岁向NVIDIA供应的HBM4单价约为560好意思元。

这一价钱不仅高于此前业内预期的约500好意思元，况且比现在供应HBM3E的约370好意思元价钱进步50%以上。

濒临高端HBM价钱的暴涨，以及中国企业碰到的出口管束，华为刚开源的工夫省略不错减弱对这种产物的依赖。

日前华为文告了一项针对AI推理加快的关节工夫UCM推理缅念念数据治理，并肃穆将其开源。

UCM的关节鼎新在于，它不错把柄数据的“缅念念热度”，在不同的存储介质中进行分级缓存，比如HBM存储“及时缅念念数据”，DRAM中存储“短期缅念念数据”，而SSD则存储“恒久缅念念数据与外部学问”。

其中枢上风在于分级治理推理流程中产生的KV Cache缅念念数据，充分专揽不同存储介质的特质，从而提高HBM的专揽率并均衡举座资本。

而开源的关节兴味，在于能让更多建筑者和企业通过缅念念数据分级治理，裁汰对高端HBM的依赖。

华为涌现，基于UCM，可完结首Token时延最高裁汰90%，系统蒙眬最大进步22倍，并达到10倍级高下文窗口扩张。

虽然，UCM不是为了取代，也无法取代HBM，而更像是一种“系统补短板”，把HBM的上风深切在更允洽的场地，完结降本增效。

【本文适度】如需转载请务必注明出处：快科技

拖累裁剪：吵嘴

著述本体举报

]article_adlist--> 　　声明：新浪网独家稿件，未经授权拒接转载。 -->