91名师指路-头部
91名师指路

DeepSeek-r1本地化部署

由于某些原因,现在不支持支付宝支付,如需要购买源码请加博主微信进行购买,微信号:13248254750

Ollama介绍

Ollama 是一个开源的大型语言模型(LLM)服务工具,主要用于在本地机器上便捷地部署和运行大型语言模型。以下是其主要特点和功能:
本地模型管理:支持从官方模型库或自定义模型库拉取预训练模型,并在本地保存和加载。
高效推理:通过 GPU/CPU 的加速,Ollama 提供高效的模型推理,适合本地化应用或需要控制数据隐私的场景。
多种接口访问:支持命令行(CLI)、HTTP 接口访问推理服务,并通过 OpenAI 客户端实现更广泛的集成。
环境变量配置:通过灵活的环境变量,用户可以自定义推理设备(GPU/CPU)、缓存路径、并发数、日志级别等


一:下载Ollama服务工具并安装

1.1)访问ollama官网 https://ollama.com/


1.2)选择自己操作系统对应的版本


1.3)安装Ollama


等一小会


二:下载模型DeepSeek-r1

2.1)访问https://ollama.com/ 点击Models

不同的模型参数对硬件的要求


2.2)查看自己电脑的显存大小

桌面点击右键 > 显示设置


高级显示设置


显示器1的显示适配器属性


可以看到我们的显存是16G


2.3) 我们的硬件可以下载14b的,我们这里就下载14b的,点击右边的复制按钮


2.4)cmd打开窗口,然后粘贴刚才复制的命令:ollama run deepseek-r1:14b,耐心的等待一段时间,下图是下载完成的截图


三:使用






2025-02-12 17:24:45     阅读(18)

名师出品,必属精品    https://www.91mszl.com

联系博主    
用户登录遮罩层
x

账号登录

91名师指路-底部