DeepSeek-R1本地部署知识库

Posted on | In

视频教程

考虑大家看文档会比较吃力，可以参考我的视频教程

https://www.bilibili.com/video/BV1GkNyeDEpK/?pop_share=1&vd_source=8be9e83424c2ed2c9b2a3ed1d01385e9

DeepSeek简介

深度求索人工智能基础技术研究有限公司(简称“深度求索”或“DeepSeek”)，成立于2023年，是一家专注于实现AGI的中国公司。

产品DeepSeek为一款AI工具，可以解析文本，生成代码，推理解析等。

模型 & 价格

下表所列模型价格以“百万 tokens”为单位。Token 是模型用来表示自然语言文本的的最小单位，可以是一个词、一个数字或一个标点符号等。我们将根据模型输入和输出的总 token 数进行计量计费。

模型(1) 上下文长度 最大思维链长度(2) 最大输出长度(3) 百万tokens 输入价格 （缓存命中）(4) 百万tokens 输入价格 （缓存未命中） 百万tokens 输出价格 输出价格
deepseek-chat 64K - 8K 0.5元 2元 8元
deepseek-reasoner 64K 32K 8K 1元 4元 16元(5)
  1. deepseek-chat 模型已经升级为 DeepSeek-V3；deepseek-reasoner 模型为新模型 DeepSeek-R1。
  2. 思维链为deepseek-reasoner模型在给出正式回答之前的思考过程，其原理详见推理模型。
  3. 如未指定 max_tokens，默认最大输出长度为 4K。请调整 max_tokens 以支持更长的输出。
  4. 关于上下文缓存的细节，请参考DeepSeek 硬盘缓存。
  5. deepseek-reasoner的输出 token 数包含了思维链和最终答案的所有 token，其计价相同。

性能对齐 OpenAI-o1 正式版

DeepSeek-R1 在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版。

https://cdn.llfc.club/abbe5dcf3b85c33ded2d624fe84a2ec.png

蒸馏小模型超越 OpenAI o1-mini

在开源 DeepSeek-R1-Zero 和 DeepSeek-R1 两个 660B 模型的同时，通过 DeepSeek-R1 的输出，蒸馏了 6 个小模型开源给社区，其中 32B 和 70B 模型在多项能力上实现了对标 OpenAI o1-mini 的效果。

img

API 及定价

DeepSeek-R1 API 服务定价为每百万输入 tokens 1 元（缓存命中）/ 4 元（缓存未命中），每百万输出 tokens 16 元。

img

img

详细的 API 调用指南请参考官方文档： https://api-docs.deepseek.com/zh-cn/guides/reasoning_model

本地部署

Ollama 官方版：【点击前往】

image-20250209105503303

下载windows版本并安装

image-20250209111710518

我在windows做测试，然后部署

安装命令

1.5B Qwen DeepSeek R1(需4G显存)

1
ollama run deepseek-r1:1.5b

7B Qwen DeepSeek R1(4~12G显存)

1
ollama run deepseek-r1:7b

8B Llama DeepSeek R1(4~12G显存)

1
ollama run deepseek-r1:8b

14B Qwen DeepSeek R1(12~24G显存)

1
ollama run deepseek-r1:14b

32B Qwen DeepSeek R1(24G显存)

1
ollama run deepseek-r1:32b

70B Llama DeepSeek R1(32G显存以上)

1
ollama run deepseek-r1:70b

我们选择1.5b模型安装

image-20250209112145406

安装成功image-20250209114003740

AnythingLLM 下载

image-20250209114426088

1、Github 开源版 【点击下载】

2、官方版：【点击下载】

我们选择开源版下载，拉到最下面有markdown文档

image-20250209114631891

点击DownloadNow, 选择x64版本下载

image-20250209115524398

下载完成，安装

image-20250209115436788

安装完成

image-20250209121534198

点击完成自动运行

image-20250209121713655

点击Get started，然后一路跳过

image-20250209121816605

记得填写邮箱和使用目的

然后再填写工作区

image-20250209122112515

点击右侧箭头完成，进入使用界面，如果此时使用会出现模型未设置

image-20250209122226640

点击设置按钮，选择聊天选项，接下来选择模型

image-20250209122457152

设置模型为ollama

image-20250209122532873

设置后

image-20250209122828156

记得更新

image-20250209122859291

注意：本地部署也是支持开启联网搜索模式的

点击设置按钮

image-20250209123038941

只需在AnythingLLM的设置界面中，找到“代理技能”选项。 启用Web Search：在代理技能列表中找到 Web Search ，点击开启。 选择搜索引擎即可！

如下图所示:

image-20250209123125101

测试

测试代码生成能力

image-20250209124009974

测试检索能力

image-20250209124053537

测试推理能力

image-20250209124127054