本地部署DeepSeek-R1 Windows电脑-北京尧图网络

了解一下大模型是个什么东西llama个人理解这个是大模型的运行环境以下解释来自网络这个单词原本是 Large Language Model Meta AI 的缩写意思是“Meta 公司推出的大语言模型”。为什么叫这个名字因为 Meta也就是 Facebook 的母公司在 2023 年推出了一款名为 LLaMA 的开源大模型。相比当时动辄几千亿参数的 ChatGPTMeta 发布的 70 亿、130 亿参数的小模型效果惊人瞬间引爆了整个开源 AI 圈。为什么项目叫 llama.cpp 因为作者 Georgi Gerganov 最初开发这个工具目的就是为了在 C 环境下运行 Meta 的 LLaMA 模型。虽然现在这个工具已经能跑几百种其他模型比如您正在跑的 DeepSeek 和 Qwen但“Llama”这个名字作为元老被保留了下来。环境搭建1、下载deepseek最小的大模型文件DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf下载地址https://hf-mirror.com/bartowski/DeepSeek-R1-Distill-Qwen-1.5B-GGUF巡迅雷下载快下载完成文件大小大概1.1G。2、下载llama.cpp执行程序直接下载压缩包解压即可llama-b10223-bin-win-cpu-x64.zip下载地址https://github.com/ggml-org/llama.cpp/releases3、尝试启动大模型将下载的 gguf 文件放到 llama-b10223-bin-win-cpu-x64.zip 解压后的目录下在解压后的而目录下打开cmd黑框执行命令llama-cli -m DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf -ngl 0 -p 你好请介绍一下你自己llama-cli 这是 llama.cpp 编译出的命令行交互程序 -m 是 --model模型的缩写 ngl 是 --n-gpu-layers 的缩写指定有多少层神经网络要放到显卡GPU上跑 -p 是 --prompt提示词的缩写4、启动一个Web服务执行llama-server -m DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf -ngl 0 -c 2048 --temp 0.5 --host 0.0.0.0 --port 8080llama-server 启动 llama.cpp 中的 Web 服务端程序 -c 是 --ctx-size上下文长度的缩写 --temp 0.5 控制回答的“发散度”和“稳定度”数值越低如 0.1~0.2模型越死板数值越高如 0.8~1.0模型越“乱来” --host 0.0.0.0 允许局域网/外网访问果写 127.0.0.1则只有本机电脑能访问。写成 0.0.0.0意味着这台电脑所在局域网内的所有其他设备 --port 8080 监听端口号5、页面可以进行一些简单逻辑性问题分析回答。

本地部署DeepSeek-R1 Windows电脑

相关推荐

社团协作契约：结构化文档设计与实践指南

警惕隐蔽“跟踪狂”：Chrome 同步功能正沦为黑客与偷窥者的窃听利器

PHP哈希加密技术演进与安全实践指南

更多资讯

UE帧计时与网络同步：从DeltaTime到延迟优化的工程实践

无畏契约启动报错怎么办？Vanguard服务与安全启动全排查指南

2026年AI营销服务商综合能力权威榜单：聚焦小微商户的多渠道支付与AI内容生成解决方案领跑者

企业网站制作日志分析入门：从服务器日志发现SEO技术问题

极光亮相2026日本国际观光旅游展，AI如何破解旅游业“人手荒”？

磁盘分盘、挂载---企业场景训练

今日更新

MATLAB+Yalmip+CPLEX实战：综合能源系统优化调度全流程解析

I3C比I2C快10倍？RK3576实战：速率、DTS配置与混合总线避坑指南

字符串转对象：JSON.parse、new Function与URLSearchParams

本周精选

如何彻底离线使用 Laya-CoreML：Hugging Face 下载、缓存机制与 local_files_only 详解

基于1Panel 部署MySQL MCP 服务：TaoToken 统一 Key 接入与 config.toml 配置实战

崇州园区营销网站建设避坑指南：5大注意事项保备案安全

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？