计算机行业华为系列深度之十八暨GenAI系列深度之四十九:算力新变局,训练范式、架构创新、工程优化-申万宏源-20250207.pdf

计算机行业华为系列深度之十八暨GenAI系列深度之四十九:算力新变局,训练范式、架构创新、工程优化-申万宏源-20250207.pdf
本报告主要关注算力新变局下的训练范式、架构创新和工程优化,并对AI大模型的发展趋势进行深入分析。 **核心观点:** * **算力需求持续增长:** 随着AI大模型训练范式转向多阶段(预训练、后训练和推理),强化学习及推理阶段的算力投入将持续提升。模型架构创新和工程优化可以降低训推成本。开源和蒸馏等普惠趋势下,算力总量需求仍将乐观。 * **训练范式转变:** AI发展遵循三大Scaling Law(规模定律):预训练、后训练和推理,其中后训练和推理阶段的重要性逐渐提升,这推动了对算力需求的增长,尤其是后训练阶段的强化学习及推理阶段。 * **模型架构创新:** MoE 混合专家模型、线性/稀疏注意力机制等技术可以降低训练成本,优化推理效率。Deepseek V3 和 R1 模型的成功,也佐证了后训练和推理阶段的重要性。 * **工程优化:** Deepseek V3 在训练和推理方面进行了深度优化,有效降低了算力成本和时间。 * **开源与蒸馏:** 开源和蒸馏技术正在推动AI模型的普及,降低了使用门槛,同时也可能加速杰文斯悖论的发生,从而促进对算力的需求。 * **市场动态:** 海内外大厂都在加大资本开支,如微软、Meta、谷歌等,国内厂商也在积极跟进。同时,国产算力在性能和生态方面取得了突破,如海光信息、华为昇腾等,有望形成与英伟达竞争的“第二极”。 * **投资建议:** 报告建议关注浪潮信息、神州数码、紫光股份、海光信息、泰嘉股份、澜起科技、中芯国际、盛科通信-U、烽火通信、中兴通讯等公司。 **风险提示:** 技术路线不确定性、研发进展不及预期、供应链稳定风险、竞争加剧风险。
在线阅读 下载完整报告 | 7.75 MB | 24页
阅读和下载会消耗积分;登录、注册、邀请好友、上传报告可获取积分。
成为VIP会员可免费阅读和下载报告