企业官网建设流程全解析

视觉营销网站建设规划分析,优化网站设计,什么叫宣传类网站,企业二级网站怎么做DeepSeek-OCR 官方项目 README: https://github.com/deepseek-ai/DeepSeek-OCR 中有关于 vllm 0.8.5cu118transformers4.51.1 下进行离线推理的详细步骤#xff0c;但是教程中在线推理部分 vLLM 还是 nightly 版本。我看网上大家根据官方文档进行部署#xff0c;问题多多…DeepSeek-OCR 官方项目 README:https://github.com/deepseek-ai/DeepSeek-OCR中有关于 vllm 0.8.5cu118transformers4.51.1 下进行离线推理的详细步骤但是教程中在线推理部分 vLLM 还是 nightly 版本。我看网上大家根据官方文档进行部署问题多多。正好[vLLM 最新版来了V0.11.2 稳定版原生支持 DeepSeek-OCR使用 OpenAI API 兼容格式的在线推理方便多了]。但是vLLM 自 0.11.1 之后默认 CUDA 更新到了 12.9我的 Linux 算力测试机还是 12.4本文就介绍一下不重启情况下如何升级 CUDA 和 vLLM0.11.2后面一篇文章再详细介绍 DeepSeek-OCR 的部署和 API 使用。CUDA 升级第一步下载 CUDA Toolkit runfile目前 CUDA Toolkit 的最新版是 13.0作为等等派我还是先装 12.9.1 吧下载地址https://developer.nvidia.com/cuda-12-9-1-download-archive?target_osLinuxtarget_archx86_64DistributionRHELtarget_version8target_typerunfile_local注意选择符合自己操作系统、架构、版本的安装包最后一项建议选 runfilelocalCUDA Toolkit 的历史版本可以在这里找到https://developer.nvidia.com/cuda-toolkit-archive如果你的服务器是离线的把下载好的 runfile 传进去即可第二步卸载旧版 CUDA可以通过whereis nvcc查看自己 CUDA 的安装位置一般都是在/usr/local/目录下然后进入到/usr/local/cuda-12.4/bin下找到 cuda-uninstaller直接运行cuda-uninstaller把下面三项选中后光标移至 Done 后按 Enter 进行卸载一般很快就 OK 了第三步安装 CUDA Toolkit 12.9进入到第一步下载好的 runfile 目录下运行sudo sh cuda_12.9.1_575.57.08_linux.run然后选中以下几项选中 Install 后 Enter然后输入 accept 后 Enter无比顺利情况下你会看到这个界面这就约等于大功告成了但是不出意外的话肯定会出意外了问题 1:nvidia-uvm你的服务器如果还有大模型在跑或别的任何服务在使用算力极有可能会收到安装失败的 erro查看日志发现有一个叫 nvidia-uvm 的内核正在使用运行fuser -v /dev/nvidia-uvm确实是我之前 Docker 启动的 xinfer、vllm 等在运行模型这里情况也能不一样就我这个测试发现要完全停掉 docker 仅此命令还不够sudo systemctl stop docker要彻底停止 Docker需要同时停止服务和套接字sudo systemctl stop docker.service docker.socket然后停掉自启sudo systemctl disable docker.service docker.socket完成升级后记得要 enable 一下sudo systemctl enable docker.service docker.socket问题 2:nvidia-drm再次升级 CUDA又失败了日志提示nvidia-drm already loaded这里需要切换到纯文本模式关闭图形界面执行sudo systemctl isolate multi-user.target执行后等待几秒钟让图形服务完全关闭。然后再再次升级 CUDA就 OK 了执行nvidia-smi发现 Driver 和 CUDA Version 都是新的了执行 nvcc -V 发现报错这是因为环境变量还没修改执行vi ~/.bashrc把之前的 12.4 全部修改为 12.9然后source ~/.bashrc使其生效再次执行nvcc -V发现已经 OKvLLM 升级有网环境可以 pip upgrade不过我这是内网服务器所以用了 vLLM 的官方 Docker 镜像https://hub.docker.com/r/vllm/vllm-openai/tags很简单直接docker pull vllm/vllm-openai:v0.11.2拉取镜像然后docker save -o vllm012.tar vllm/vllm-openai:v0.11.2把镜像保存到本地后传入内网服务器即可至此 vLLM 升级完成部署 DeepSeek-OCR后面就是用 VLLM 的 Docker 拉起 DeepSeek-OCR 了测试很 OK单卡 4090 很顺畅具体步骤就要下文了如何学习AI大模型如果你对AI大模型入门感兴趣那么你需要的话可以点击这里大模型重磅福利入门进阶全套104G学习资源包免费分享这份完整版的大模型 AI 学习和面试资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】这是一份大模型从零基础到进阶的学习路线大纲全览小伙伴们记得点个收藏第一阶段从大模型系统设计入手讲解大模型的主要方法第二阶段在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用第三阶段大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统第四阶段大模型知识库应用开发以LangChain框架为例构建物流行业咨询智能问答系统第五阶段大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型第六阶段以SD多模态大模型为主搭建了文生图小程序案例第七阶段以大模型平台应用与开发为主通过星火大模型文心大模型等成熟大模型构建大模型行业应用。100套AI大模型商业化落地方案大模型全套视频教程200本大模型PDF书籍学会后的收获• 基于大模型全栈工程实现前端、后端、产品经理、设计、数据分析等通过这门课可获得不同能力• 能够利用大模型解决相关实际项目需求 大数据时代越来越多的企业和机构需要处理海量数据利用大模型技术可以更好地处理这些数据提高数据分析和决策的准确性。因此掌握大模型应用开发技能可以让程序员更好地应对实际项目需求• 基于大模型和企业数据AI应用开发实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能 学会Fine-tuning垂直训练大模型数据准备、数据蒸馏、大模型部署一站式掌握• 能够完成时下热门大模型垂直领域模型训练能力提高程序员的编码能力 大模型应用开发需要掌握机器学习算法、深度学习框架等技术这些技术的掌握可以提高程序员的编码能力和分析能力让程序员更加熟练地编写高质量的代码。LLM面试题合集大模型产品经理资源合集大模型项目实战合集获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】