🎀 🌸

DeepSeek本地部署,小白也能搞定!

有问题请联系小渡qq2092115940

DeepSeek本地部署,小白也能搞定!

DeepSeek 是国内顶尖 AI 团队「深度求索」开发的多模态大模型,具备数学推理、代码生成等深度能力,堪称”AI界的六边形战士”。

DeepSeek 身上的标签有很多,其中最具代表性的标签有以下两个:

  1. 低成本(不挑硬件、开源)
  2. 高性能(推理能力极强、回答准确)
图片[1]-DeepSeek本地部署,小白也能搞定!-柚子源码

怎么部署本地大模型?

在本地部署 DeepSeek 只需要以下三步:

  1. 安装 Ollama。
  2. 部署 DeepSeek。
  3. 使用 DeepSeek:这里我们使用 ChatBox 客户端操作 DeepSeek(此步骤非必须)。

Ollama、DeepSeek 和 ChatBox 之间的关系如下:

  • Ollama 是“大管家”,负责把 DeepSeek 安装到你的电脑上。
  • DeepSeek 是“超级大脑”,住在 Ollama 搭建好的环境里,帮你做各种事情。
  • ChatBox 是“聊天工具”,让你更方便地和 DeepSeek 交流。

安装Ollama

Ollama 是一个开源的大型语言模型服务工具。它的主要作用是帮助用户快速在本地运行大模型,简化了在 Docker 容器内部署和管理大语言模型(LLM)的过程。

PS:Ollama 就是大模型届的“Docker”。

Ollama 优点如下:

  • 易于使用:即使是没有经验的用户也能轻松上手,无需开发即可直接与模型进行交互。
  • 轻量级:代码简洁,运行时占用资源少,能够在本地高效运行,不需要大量的计算资源。
  • 可扩展:支持多种模型架构,并易于添加新模型或更新现有模型,还支持热加载模型文件,无需重新启动即可切换不同的模型,具有较高的灵活性。
  • 预构建模型库:包含一系列预先训练好的大型语言模型,可用于各种任务,如文本生成、翻译、问答等,方便在本地运行大型语言模型。

Ollama 官网:https://ollama.com/

下载并安装Ollama

下载地址:https://ollama.com/

用户根据自己的操作系统选择对应的安装包,然后安装 Ollama 软件即可。

安装完成之后,你的电脑上就会有这样一个 Ollama 应用

点击应用就会运行 Ollama,此时在你电脑状态栏就可以看到 Ollama 的小图标,测试 Ollama 有没有安装成功,使用命令窗口输入“ollama -v”指令,能够正常响应并显示 Ollama 版本号就说明安装成功了

部署DeepSeek

Ollama 支持大模型列表:https://ollama.com/library

DeepSeek版本介绍

Ollama 支持大模型列表:https://ollama.com/library

选择 DeepSeek 大模型版本,如下表格所示:

模型参数规模 典型用途 CPU 建议 GPU 建议 内存建议 (RAM) 磁盘空间建议 适用场景
1.5b (15亿) 小型推理、轻量级任务                                                                        4核以上 (Intel i5 / AMD Ryzen 5)                                                         可选,入门级 GPU (如 NVIDIA GTX 1650, 4GB 显存)                                                     8GB                                         10GB 以上 SSD                                                              小型 NLP 任务、文本生成、简单分类                                                                                                 
7b (70亿) 中等推理、通用任务 6核以上 (Intel i7 / AMD Ryzen 7) 中端 GPU (如 NVIDIA RTX 3060, 12GB 显存) 16GB 20GB 以上 SSD 中等规模 NLP、对话系统、文本分析
14b (140亿) 中大型推理、复杂任务 8核以上 (Intel i9 / AMD Ryzen 9) 高端 GPU (如 NVIDIA RTX 3090, 24GB 显存) 32GB 50GB 以上 SSD 复杂 NLP、多轮对话、知识问答
32b (320亿) 大型推理、高性能任务 12核以上 (Intel Xeon / AMD Threadripper) 高性能 GPU (如 NVIDIA A100, 40GB 显存) 64GB 100GB 以上 SSD 大规模 NLP、多模态任务、研究用途
70b (700亿) 超大规模推理、研究任务 16核以上 (服务器级 CPU) 多 GPU 并行 (如 2x NVIDIA A100, 80GB 显存) 128GB 200GB 以上 SSD 超大规模模型、研究、企业级应用
671b (6710亿) 超大规模训练、企业级任务 服务器级 CPU (如 AMD EPYC / Intel Xeon) 多 GPU 集群 (如 8x NVIDIA A100, 320GB 显存) 256GB 或更高 1TB 以上 NVMe SSD 超大规模训练、企业级 AI 平台
温馨提示:本文最后更新于2025-02-21 20:52:16,某些文章具有时效性,若有错误或已失效,请在下方留言或联系站长
版权声明

   站内部分内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供网络资源分享服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请 联系我们 一经核实,立即删除。并对发布账号进行永久封禁处理。在为用户提供最好的产品同时,保证优秀的服务质量。


本站仅提供信息存储空间,不拥有所有权,不承担相关法律责任。
THE END
喜欢就支持一下吧
分享
评论 抢沙发

请登录后发表评论

    暂无评论内容