微软 & 清华最新研究,打破 GPT 系列开创的 Decoder-Only 架构 —— 提出 Decoder-Decoder 新型架构,名为 YOCO(You Only Cache Once)。YOCO 仅缓存一次键值对,可大幅降低 GPU 内存需求,且保留全局注意力能力。一张图来看 YOCO 和标准 Transformer 的比较。在处理 512K 上下文长度时,标准 Transformer 内存使用是 YOCO 的 6.4 倍,预填充延迟是 YOCO 的 30.3 倍,而 YOCO 的吞吐量提升到标准 Transformer 的 9.6 倍。去年一张“大语言模型进化树”动图在学术圈疯转,模型架构还只有三大类:Decoder-Only、Encoder-Only、Encoder-Decoder。那么这个新出的 Decoder-Decoder 架构到底长啥样?嗯,如网友所言,要读的论文又增加了。话不多说,一起来看。打破 D
微软打破 Decoder-Only 架构:大幅降低 GPU 内存需求
2024-05-11 23:28:49来源: IT之家
赞
你的鼓励是对作者的最大支持
- 美国联邦贸易委员会已介入调查微软、OpenAI 投资关系2024-07-11 08:40:57
- 微软 Teams 开放自定义表情:每人最多使用 5000 个,聊天时可开启“斗图”模…2024-07-11 10:08:15
- 微软“破财免灾”,为避免遭调查和欧洲云计算公司达成 2000 万欧元协议2024-07-11 10:20:20
- 微软邀请 iPhone / iPad 用户测试 iOS 新版 Word:PDF 能转…2024-07-11 10:33:57
- 微软更新 Win10 / Win11 支持文档,详述操作修复今年 1 月出现的 0x…2024-07-11 10:51:24
- 微软已修复,Win10 / Win11 被曝 MSHTML 零日漏洞:滥用 IE 浏…2024-07-11 11:05:04
- 消息称《原神》《绝区零》等米哈游游戏有望登陆微软 Xbox 主机2024-06-23 14:25:30
- 第一人称步入座舱、同步参与现实比赛,《微软模拟飞行 2024》更多游戏细节披露2024-06-23 15:31:32
- GPU 发布已超 2 年,华擎推出新款 8GB 显存 RX 6500 XT 显卡2024-06-13 19:42:12
- Win10 21H2 系统已停止支持,微软将为用户自动更新至 22H2 版本2024-06-13 22:27:21
免费发布分类信息
- 1阿尔特曼、老黄齐预测:AGI 五年内降临,代替 95% 工作!但马斯克断言 AGI …
- 2商汤推出粤语版商量语言 / 多模态大模型,可深入理解粤语俚语、粤文化
- 3618大战观察:热门机型成价格力标杆,拼多多险胜京东淘宝?
- 4苹果 iOS 18 AI 功能更多细节曝光:Siri 更智能、可解答数学题
- 5暗度陈仓,资本对决,中国老赖大战美国华尔街秃鹫?
- 615000 尼特超高亮度,日本半导体能源研究所展示微型双层串联 OLEDoS 显示屏
- 7德国、法国、荷兰等执法部门开展大规模打击网络犯罪行动,没收超百台服务器
- 8600 万像素双向通话:乐橙监控摄像头 89 元新低
- 9小米 Redmi Note 13R 手机开售:骁龙 4 Gen2 领先版、澎湃 Hy…
- 10卷人效的Manner,踩了哪些ESG的雷?