【国金证券】文心一言、GPT3.5及GPT-4的应用测评对比(1).pdf

本文是国金证券的计算机行业研究报告,主要对文心一言、GPT-3.5和GPT-4这三大模型在不同应用场景下的表现进行了测评对比。
核心观点:
- 三大模型在常识问答、文字生成等领域表现出色,但在逻辑推理、数学计算和代码生成方面仍有提升空间。
- 文心一言在图像创作和归纳总结方面表现较好,但文心在逻辑推理方面略逊于GPT-3.5和GPT-4。
- GPT-4在文本创作方面细节更丰富,但图像生成功能暂未开放。
- 随着百度文心及OpenAI生态的增长,各模型性能有望进一步优化。
- 建议关注在AI领域持续布局且有成熟应用场景的公司。
测评内容及结果:
报告从多个维度对三大模型进行测评,主要包括:
- 常识和创作: 在常识问答方面,三大模型表现均正确。在文字创作方面,文心一言分词有待提高,但总体体现正面价值观。GPT-4的创作细节更丰富。文心一言图像生成能力较好。
- 归纳和推理: 文心在演绎推理、逻辑推理方面略逊于GPT系列,但在归纳总结方面表现较好。GPT-4的逻辑推理能力相对较强。
- 数学和代码: GPT-3.5 在数学计算方面表现更好,但代码生成方面,模型均有改进空间。
- 现实应用场景测试:
- AI生活助手:三大模型均能提供正确建议。
- 售后客服:三大模型均能完成任务,GPT-3.5表现更优。
- 办公场景助手:GPT-4表述更丰富,GPT-3.5文言文表达惊艳。
- 产品推荐:文心表现较好。
- 诗词理解:文心表现最好。
投资建议:
报告建议关注在人工智能领域持续布局且拥有成熟应用场景的公司,如万兴科技、汉得信息、凌志软件、同花顺、金山办公。
风险提示:
报告提示了海外基础软硬件使用受限、应用落地不及预期、行业竞争加剧、以及测评问题有限可能导致的偏差等风险。
相关报告
-
4.85 MB 119页 20231106-混沌学园-贝叶斯定理及其应用:在不确定的世界里提高成功概率.pdf
-
4.09 MB 33页 人工智能行业:GPT4及ChatGPT相关应用梳理
-
3.98 MB 23页 从1.0到2.0:特朗普施政路径及影响的不变与变-开源证券-20250108.pdf
-
629.61 KB 23页 宏观深度研究:新一轮税制改革,历史经验及国际对比的启示-华泰证券-20240708.pdf
-
4.58 MB 34页 2024成分主义背后的大数据成分党和热门成分的洞察及应用报告-美丽修行-202406.pdf
-
1.45 MB 51页 数字时代治理现代化研究报告(2023年)——大模型在政务领域应用的实践及前景-中国信通院.pdf
-
8.96 MB 21页 英敏特:2023年关于Z世代消费者的4个事实及其为品牌带来的机遇分析报告英文版-21页.pdf
-
2.65 MB 16页 消费之“源”:美国消费韧性的4个解释-国金证券-20231111.pdf
-
7.94 MB 39页 击壤科技-Q1~Q3酒类行业及重点品牌投放分析-.pdf
-
6.07 MB 100页 【腾讯云开发者译中版】人工通用智能的星星之火-GPT-4的早期实验.pdf
-
1.7 MB 16页 可选消费行业专题研究:1-2月冰洗总销量同比下降8.8%/+3.5%
-
4.51 MB 20页 用户说-2023美妆市场展望:5大品类·4大趋势·3大发展机会.pdf
-
17.33 MB 132页 2023年AIGC—GPT-4赋能通信行业应用白皮书-清华大学VS亚信科技-202303.pdf
-
2.22 MB 14页 传媒行业月度点评:OpenAI发布GPT4,关注AI赋能内容场景应用
-
2.22 MB 28页 A股投资策略周报:GPT4及降准对A股影响如何?
-
1.48 MB 10页 AI趋势下的配置方向:GPT-4时代的认知颠覆与投资机会
-
2.73 MB 20页 计算机行业专题研究:GPT4,模型能力提升推动应用升级