新型 AI 算法亮相：功率降至常规配置 1/50，显存占用降至 1/10
创始人
2024-06-27 15:01:45
0次
IT之家 6 月 27 日消息，美国加州大学圣克鲁兹分校的研究团队研究出新的方法，只需要 13W 的功率（相当于一个现代 LED 灯泡的功率），就能运行 10 亿参数规模的大语言模型。而作为对比，用于大语言模型任务的数据中心级 GPU 需要约 700W。
AI 浪潮下很多公司、机构的研究主方向是应用、推理方面，很少考虑效率等指标。该研究人员为缓解这种状况，淘汰了矩阵乘法的密集型技术，提出了“三元数”方案，只有负一、零或正一三个数值。
团队还使用一种名为现场可编程门阵列（FPGA）的高度定制电路创建了定制硬件，让他们能够最大限度地利用神经网络中的所有节能功能。
在定制硬件上运行时，可以达到与 Meta 的 Llama 等顶级模型相同的性能，但神经网络功率是常规配置的五十分之一。
该神经网络设计还可以用于在人工智能行业常用的标准 GPU 上运行，测试结果显示，与基于矩阵乘法的神经网络相比，显存占用仅为十分之一。
IT之家附上参考地址
相关内容
热门资讯
字节Seedance2.0小范...
日前，字节跳动最新视频生成模型Seedance 2.0在即梦、豆包、小云雀等产品开启内测。凭借多模态...
中金：预计未来银行扩表速度放缓...
中金研报称，本次央行货币政策报告表述的延续性很强，符合中央经济工作会议“提质增效”的取向，而非简单的...
MSCI中国指数最新调整！一文...
财联社2月11日讯（编辑 马兰）北京时间2月11日，国际指数编制公司MSCI宣布其指数季度调整结果，...
执金融之笔 为宿迁青绿上色
谁在描绘宿迁高质量发展的生态底色？一组跃动的数字给出了铿锵答案：截至2025年末，交通银行宿迁分行绿...
AI算力需求爆发蔓延，A股玻纤...
2月11日，A股玻纤概念板块集体大涨，板块平均涨跌幅达10.31%，主力资金净流入平均为6.48亿元...
IPO排队进入前六，广发证券投...
近日，深圳市拓普泰克技术股份有限公司(简称“拓普泰克”)提交注册，该公司专注于智能控制器与工业物联网...
386辆小米婚车队刷屏！雷军直...
快科技2月11日消息 2月10日晚间，小米创办人，董事长兼CEO雷军 直播小米汽车科技展厅和定制服务...
美股科技巨头利润“霸权”告终？...
随着美股第四季度财报季接近尾声，长期由少数科技巨头主导利润的局面正在发生根本性转变。 自去年12月中...
日本半导体公司Rapidus拟...
截至2月11日14点40分，上证指数涨0.14%，深证成指跌0.33%，创业板指跌1.05%。ETF...
盘整观望！2026年2月11日...
继昨日普遍回落后，今日国内金价整体进入盘整阶段，绝大多数品牌价格保持不变。市场主流价格区间稳定在15...
原创 3...
特朗普的赢学叙事再次增添了浓重的一笔。美国国务院近日宣布，在华盛顿举行的首届关键矿产部长级会议上，美...
突然爆了，飙涨137.6%！芯...
近期，全球芯片领域利好消息频出！ 今日（2月11日），韩国海关公布的数据显示，2月前10天，韩国半导...
可见性与独异性：主流媒体系统性...
【摘要】数字媒体生态重构了公众注意力的组织方式。社交媒体、人工智能代理等互联网接口凭借精密的算法程序...
马斯克遭遇人才离职潮：特斯拉1...
“感谢特斯拉过去给我的机会”。 “我今天从xAI离职了”。 “今天是我在xAI的最后一天”。 短短几...
新年大吉，“红”运当头！节前轮...
春节前最后一个交易周，市场整体分化波动，有色闪耀、光伏起伏、半导体与AI应用交织奔涌，算力与化工等方...
参考封面 | 欧洲应走向何方？
参考消息网2月10日报道西班牙《对外政策》双月刊1-2月号报道，2026年正值西班牙加入欧洲共同体4...
无锡桃农之子借8万创业，干出全...
「IPO全观察」栏目聚焦首次公开募股公司，报道企业家创业经历与成功故事，剖析公司商业模式和经营业绩，...
聚焦支持优质科创企业上市 地方...
新华社北京2月10日电 《中国证券报》10日刊发文章《聚焦支持优质科创企业上市 地方资本市场着力打造...
工银瑞信基金徐博文：“固收+”...
在利率下行、居民存款“搬家”背景下，“固收+”基金再度成为配置资金关注焦点。Wind数据显示，截至目...