DeepSeek模型本地部署与应用构建-清华大学-202502.pdf
这份文档主要介绍了DeepSeek大模型的本地部署与应用构建，以及智灵动力的一些产品。
**一、DeepSeek本地部署**
1. **DeepSeek简介与使用：**
DeepSeek R1 模型具备强大的推理能力，支持多轮对话，提供多种量化蒸馏模型，并支持开源生态。它适用于科研数据分析、自动化工作流、外挂大脑等场景。
可以使用官方APP、硅基流动、秘塔、cursor、Grok等途径。
2. **本地部署的必要性：**
* 数据隐私保护：避免敏感数据上传云端，确保数据安全。
* 离线使用：在无网络环境下仍能进行智能分析。
* 自定义模型：灵活选择不同量化精度的模型。
* 性能优化：充分利用本地硬件资源，提升推理性能。
3. **软件要求：**
* 操作系统：支持Windows、Linux、macOS。
* 安装包：包含必要的依赖项和配置文件。
* 防火墙设置：需设置防火墙规则以确保DeepSeek在断网环境下运行。
4. **模型选择与硬件要求：**
* 支持多种量化模型（8B、32B、70B等），根据实际需求和硬件配置选择。
* CPU、GPU内存需求，显存越大，推理速度越快。
5. **Ollama安装：**
通过Ollama可以方便地部署DeepSeek模型。提供Ollama的安装方式，包括下载Ollama软件包以及下载DeepSeek模型。
6. **Chatbox对话框页面：**
展示了Chatbox的界面，用户可以在界面中选择Ollama API，并设置模型进行本地部署。
7. **Windows配置：**
需要设置Ollama的环境变量，配置OLLAMA\_HOST 和 OLLAMA\_ORIGINS。
8. **GPT4All安装：**
GPT4All是另一个本地部署的工具，提供GPT4All安装方法，并下载 DeepSeek 模型的方法。
9. **DeepSeek R1 671B linux 完整版本地部署：**
* 介绍了DeepSeek R1 671B的linux部署方式，内存+显存容量需求，以及使用Ollama进行部署。
* 需要下载模型文件、安装Ollama，以及创建和配置 Modelfile 文件，然后运行模型。
* 最后还介绍了运行和web界面的使用。
10. **本地断网运行设置：**
可以通过虚拟机断网运行，以及设置防火墙规则来确保DeepSeek在断网环境下运行。
**二、本地知识库系统的搭建**
1. **基于AnythingLLM的本地知识库与API搭建：**
* 介绍了使用AnythingLLM搭建本地知识库的过程，包括下载nomic-embed-text，下载AnythingLLM Desktop。
* 在AnythingLLM中新建工作区，设置工作区LLM提供者为Ollama，并选择DeepSeek模型。
* 可以上传文档，也可以配置远程文档。
* 提供了API密钥的功能。
**三、DeepSeek本地部署完成后能做什么**
* 列出了DeepSeek本地部署的维度，个人用户和企业用户的核心目标、应用场景、模型关注点、隐私与安全和定制化程度。
**四、应用场景**
1. **个人典型应用场景：**
* 个人生产力工具、私人助理、本地任务自动化、技术实验、DIY项目、隐私保护、敏感信息处理、离线操作、个性化知识库。
2. **企业典型应用场景：**
* 数据隐私安全、知识管理、文档自动化、员工培训、高效协作、业务流程自动化、安全风控、决策支持系统。
**五、智灵动力产品介绍**
1. **元娲生态产品介绍：**
* 虚拟人定制化平台：满足个性化的虚拟人定制需求，多样化的应用场景。
* 元娲智能问答平台：基于大语言模型，实现多种功能。
* 首批支持国产化数字人平台：提供虚拟人生态服务，坚固安全防线，精准迎合国内市场需求。
* 元镜-多模态创意呈现，分镜创作新引擎：提供AI视频创作。
* 元知: AI综述平台：提供自动化的综述生成。
相关报告
-
3.03 MB 37页 DeepSeek政务应用场景与解决方案（最新版）-清华大学-202503.pdf
-
8.41 MB 80页 DeepSeek应用与部署PPT-山东大学-202503.pdf
-
11.47 MB 98页 DeepSeek内部研讨系列：DeepSeek与AIGC应用-北京大学-202502.pdf
-
3.57 MB 38页 DeepSeek与AI幻觉-清华大学-202502.pdf
-
9.92 MB 59页 DeepSeek+DeepResearch应用报告-清华大学-202502.pdf
-
16.78 MB 75页 DeepSeek如何赋能职场应用——从提示语技巧到多场景应用（0212）-清华大学-202502.pdf
-
9.78 MB 35页 DeepSeek如何赋能职场应用？——从提示语技巧到多场景应用-清华大学-202502.pdf
-
15.77 MB 96页 从技术突破到场景落地：大模型发展图谱与DeepSeek创新应用-中山大学-202503.pdf
-
38.77 MB 57页 DeepSeek的本地化部署与AI通识教育之未来-浙江大学-202503.pdf
-
49.96 MB 258页 DeepSeek企业落地应用讲义精华全版-大任智库-202502.pdf
-
8.36 MB 76页 DeepSeek R1+Kimi1.5及类强推理模型开发解读-北京大学-202502.pdf
-
18.56 MB 24页 DeepSeek模型优势：算力、成本角度解读-浙江大学-202502.pdf
-
42.68 MB 52页 DeepSeek：回望AI三大主义与加强通识教育-浙江大学-202502.pdf
-
18.77 MB 100页 DeepSeek+DeepResearch：让科研像聊天一样简单（完整版）-清华大学-202502.pdf
-
4.28 MB 29页 DeepSeek军用场景智能化应用白皮书-兰德适普-202502.pdf