登录注册

大小模型端云协同赋能人机交互-浙江大学-202504.pdf

大小模型端云协同赋能人机交互-浙江大学-202504.pdf

这份文档主要探讨了大小模型端云协同赋能人机交互的主题，分析了当前AI发展趋势、端侧计算能力提升、大小模型协同的必要性，以及端云协同面临的挑战。

核心内容：

  1. AI发展趋势： 从ChatGPT等大模型的出现，预示着AI领域正在经历巨大变革，正从“人工智能的iPhone时刻”迈向“以AI为主的硅基生命形态”。

  2. 端侧计算能力增强： 移动端智能设备（手机、平板、智能手表）的功能越来越强大，端侧计算能力不断提升，为大小模型协同提供了硬件基础。

  3. 大小模型端云协同： 将边缘设备（如智能手机、IoT设备）模型和云侧服务器模型协同进化。云侧大模型负责通用认知计算，端侧小模型负责实时感知和响应。端云协同可以发挥各自优势，降低服务器压力，并能更好支持用户原始数据作本地处理，但同时需要解决实时性、个性化、负载成本、隐私安全等问题。文档还列举了自动驾驶、3D渲染、推荐系统等方面的应用案例。

  4. 端云协同的关键技术： 文档重点介绍了用于实现大小模型协同的基础算法研究，包括：

    • 基于调度的协同、基于反馈的协同、基于生成的协同、基于融合的进化。
    • One to All的模型生成方法 (ModelGPT)。
    • 跨越异构模型、任务、模态的统一模型知识迁移框架 (MergeNet)。
    • 面向未知端侧分布的压缩-适应联合（AuG-KD）。
    • 利用端侧反事实表征学习实现端向云去偏汇聚 (FedCFA)。
    • 基于端云协同的高效端模型参数定制 (DIET)。

  5. 端智能体（Agent）： 未来人机交互的方向是让机器像人一样行动，端智能体是重要载体。文档提到了基于多模态大模型的操作系统智能体综述 (OS Agent)，以及如何评估端智能体的安全问题。

  6. 实际应用案例：

    • 手机淘宝的端云协同推荐系统，通过AdaRequest机制实现实时推荐。
    • 云上大语言模型和端上小推荐模型的端云协同推荐，大幅补偿LLM无法获取实时数据下的推荐性能。

总结：

文档强调了大小模型端云协同是未来人机交互的重要发展方向，通过端云协同可以充分发挥各自优势，提升用户体验和效率。文档也指出了该领域面临的挑战和相应的技术解决方案，包括模型压缩、迁移学习、安全问题等，并介绍了最新的研究成果。最终目标是实现“理解使用者”的智能推荐，让机器像人一样行动。

下载完整报告 | 13.71 MB | 55页
阅读和下载会消耗积分；登录、注册、邀请好友、上传报告可获取积分。
成为VIP会员可免费阅读和下载报告