IT之家6 月27 日报道，加州大学圣克鲁斯分校的研究人员开发出一种新方法，只需13W 的功率（相当于现代LED 灯泡的功率）即可运行具有10 亿个参数的大型语言。据报道确实如此。 ）。 模型。相比之下，用于大型语言模型任务的数据中心级GPU 大约需要700W。
人工智能浪潮下，很多企业和机构的主要研究方向是应用和推理，而效率等指标却很少考虑。为了缓解这种情况，研究人员消除了矩阵乘法的密集技术，并提出了一种只有三个值的“三元”解决方案：减一、零和加一。
该团队还使用称为现场可编程门阵列(FPGA) 的高度定制电路创建定制硬件，使他们能够充分利用神经网络的所有节能功能。
当在定制硬件上运行时，它可以实现与Meta 的Llama 等顶级模型相同的性能，但神经网络的功能比传统配置低50 倍。
这种神经网络设计也可用于在人工智能行业常用的标准GPU 上运行，测试结果表明，与基于矩阵乘法的神经网络相比，它仅使用一小部分内存。 10.
IT主页附参考地址
版权声明：本文由今日头条转载，如有侵犯您的版权，请联系本站编辑删除。
IT之家 6 月 27 日消息，美国加州大学圣克鲁兹分校的研究团队研究出新的方法，只需要 13W 的
《三侠五义》可以说是中国武侠小说的开山鼻祖。作者叫石玉昆，是个清朝人。和其他名著一样，很多人都热衷于
近期，联想发布了多款专为政企客户打造的 2024 款新品，比如联想昭阳 X7 AI 高能本，Thin
IT之家 6 月 27 日消息，程序员查理・伯克斯（Charlie Birks）借助 Pimoron
IT之家 6 月 27 日消息，9.1 高分漏洞肆虐网络，导致互联网大片区域笼罩在黑客阴影下，而且有
IT之家 6 月 27 日消息，消息源 @jaykihn0 披露英特尔“Lunar Lake”酷睿
IT之家 6 月 27 日消息，Rabbit R1 再次陷入舆论漩涡，继 App 被批评套壳安卓，主
IT之家 6 月 27 日消息，YouTube 频道 Luke Miani 昨日（6 月 26 日）
IT之家 6 月 27 日消息，市场调查机构 Counterpoint Research 今天发布报
IT之家 6 月 27 日消息，人工智能就像一把达摩克利斯之剑，正威胁着越来越多的创意工作岗位。Op