企业官网建设流程全解析

网站建设的进度计划书,电脑网速很慢但是wifi又很正常,汕头市潮南区紧急提醒,网站建设需要下载哪些软件我看到有些小伙伴在评论区留言想要学习一下vLLM框架在windows上本地部署大模型的方法。 其实vLLM框架本身是不支持Windows系统的#xff0c;但是我们可以把vLLM部署在WSL2中。这里科普一下什么是WSL#xff0c;WSL它其实就像是一个运行在windows中的linux系统。我们无法在原生…我看到有些小伙伴在评论区留言想要学习一下vLLM框架在windows上本地部署大模型的方法。其实vLLM框架本身是不支持Windows系统的但是我们可以把vLLM部署在WSL2中。这里科普一下什么是WSLWSL它其实就像是一个运行在windows中的linux系统。我们无法在原生的Windows系统中运行vLLM所以只能把它放到WSL中去进行部署而WSL 2则是WSL的最新版本。小天建议大家尽量确保自己电脑的系统版本不要太旧最好是比较新的win10或者win11系统官方对于版本的要求如下。大家如果对自己的版本号有疑惑则可以点击快捷键“winr”然后输入‘winver’后回车即可看到自己系统的版本号。下面的教程中的操作都是在我这台搭配了3060显卡的win11电脑中进行的因为每个人的系统版本和电脑环境都有很大的差异所以下面的任何一步如果有问题你可以在文末向我咨询。在整个教程中最容易出错的就是WSL2的安装了如果你之前已经正确安装过了那么你通过vLLM本地部署模型的任务就已经完成了百分之五十。在后期的win10以及win11系统中wsl命令已经系统自带了所以我们只需要下载对应的Linux发行版然后安装即可。微软官网下载地址https://learn.microsoft.com/zh-cn/windows/wsl/install-manual?sourcerecommendations#step-4—download-the-linux-kernel-update-package下载好后先不要急着安装在控制面板中找到程序下的启用或关闭Windows功能的选项。然后确保下面的服务功能是开启的状态首先要开启的是适用于Linux的Windows子系统这个选项。然后要开启的是“虚拟机平台 Virtual Machine Platform”功能 这里要注意的是这里的显示可能只是中文的“虚拟机平台”或者如下图意义的纯英文的Virtual Machine Platform开启之后需要重启电脑然后找到刚刚下载好的Linux发行版的文件这里下载的是24.04版本的Ubuntu。大家可以根据自己的需求来选择。一直在更新更多的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】然后我们直接双击这个文件即可完成安装。如果你发现双击文件没有反应则可以重启一下试试或者打开Hyper-V这个Windows功能。在安装的过程中系统会提示你创建用户和密码这个根据自己的情况来填写即可比如我这里的用户名就是’天欣实验室’的缩写。配置好用户密码后会自动的进入到你安装的系统之中。后续你可以输入’wsl -l -v’来查看已经安装的Linux版本。然后使用命令’wsl -d 系统名’的方式进入到对应的Linux系统中就像下面这样。进入之后我们运行下面的命令来更换后续安装软件的地址为国内地址这样更加快速且无需配置网络命令要一条一条输入。sudo sed -i s/archive.ubuntu.com/mirrors.aliyun.com/g /etc/apt/sources.list sudo sed -i s/security.ubuntu.com/mirrors.aliyun.com/g /etc/apt/sources.list sudo apt update因为wsl会和windows主机共用一个显卡驱动所以你可以在wsl或者cmd窗口中输入命令:‘nvidia-smi’,如果有类似下面的输出则代表你已经有了显卡驱动。如果没有则可以到英伟达的官网下载最新的驱动地址如下https://www.nvidia.cn/software/nvidia-app/然后再一条一条的输入以下命令你就可以成功安装vllm了这里的命令的作用我通过注释的方式写出来了如果哪一步有问题可以在评论区留言或者直接向我咨询。# 1. 安装venv支持包和pip sudo apt install -y python3-pip sudo apt install -y python3.12-venv # 2. 创建虚拟环境 python3 -m venv ~/vllm-venv # 3. 激活虚拟环境 source ~/vllm-venv/bin/activate # 4. 安装uv pip install uv -i https://mirrors.aliyun.com/pypi/simple/ # 5. 设置下载超时 export UV_HTTP_TIMEOUT360 # 6. 使用uv安装vllm和魔搭社区库 uv pip install vllm -i https://mirrors.aliyun.com/pypi/simple/ uv pip install modelscope -i https://mirrors.aliyun.com/pypi/simple/因为ubuntu24版本自带了python3.12,所以这里无需下载python了因为wsl的文件也是放在windows系统中的所以我们可以直接对wsl中的linux系统做文件操作你可以在文件资源管理器中输入’\wsl$’ 查看所有发行版本的文件夹。然后你需要在魔搭社区找到你想要下载的模型比如我这里选择的是Qwen3-VL-8B-Instruct-AWQ-4bit模型在对应的模型主页复制ID。关于魔搭社区的介绍和模型名称的理解大家可以看我之前的一篇文章Ollama × 魔搭社区超简单的大模型本地部署方案然后在你对应Linux版本的 ‘/home/用户名’ 文件夹下(这里的用户名是你上面安装linux系统时候创建的用户名)新建一个名字为down.py的python脚本脚本很简单只有俩行代码这个脚本的作用便是下载魔搭社区中你所指定的模型。from modelscope import snapshot_download snapshot_download( 需要替换的模型ID, cache_dir./model )然后再wsl中输入命令’cd /home/用户名’ 转跳到对应的目录当中然后输入’chmod ax down.py’确保其运行权限正确随后使用’python down.py’的命令来启动模型下载任务注意要在上面步骤中激活的虚拟环境中运行。模型下载好之后同样在’/home/用户名’ 文件夹下新建一个名称为’run.sh’的脚本来作为vllm的启动脚本然后同样使用’chmod ax run.sh’确保权限正确脚本的示例代码如下vllm serve /home/txsys/model/cpatonn-mirror/Qwen3-VL-4B-Instruct-AWQ-4bit \ --served-model-name Qwen3-VL-4B \ --max-model-len 8192 \ --max-num-seqs 1 \ --trust-remote-code \ --port 6006其中vllm serve后面跟着的是你模型的下载路径其余的启动参数还有很多你可以根据自己的电脑配置和模型参数让AI来帮你生成即可这里简单说一下上面列出来的参数含义served-model-name模型名称max-model-len模型最大上下文tokensmax-num-seqs最大并发trust-remote-code允许模型自己执行代码port服务的启动端口我们直接在对应目录中输入’./run.sh’即可通过vllm启动大模型了出现下面的字样则代表启动成功。这里多说一嘴如果你的vllm安装好了模型也下载好了但是通过命令启动不起来这大概率是你vllm启动参数的问题你可以让AI帮你调整修改一下。我们下次开启wsl后再使用vllm运行大模型的步骤就很清晰了首先进入到虚拟开发环境然后切换到对应目录最后运行run脚本即可具体命令如下图成功运行vllm服务后我们就剩下了最后一步通过接口调用AI首先需要在wsl下的linux系统中输入‘ip -a’ 来查看linux系统的内网IP因为运行脚本中的端口设置为了6006所以我们可以通过下面的接口调用AI具体的调用代码大家可以使用AI来写如果你成功输出了AI的回复那就说明vllm的部署没有问题到此你就成功完成了大模型的本地部署最后唠两句为什么AI大模型成为越来越多程序员转行就业、升职加薪的首选很简单这些岗位缺人且高薪智联招聘的最新数据给出了最直观的印证2025年2月AI领域求职人数同比增幅突破200% 远超其他行业平均水平整个人工智能行业的求职增速达到33.4%位居各行业榜首其中人工智能工程师岗位的求职热度更是飙升69.6%。AI产业的快速扩张也让人才供需矛盾愈发突出。麦肯锡报告明确预测到2030年中国AI专业人才需求将达600万人人才缺口可能高达400万人这一缺口不仅存在于核心技术领域更蔓延至产业应用的各个环节。那0基础普通人如何学习大模型 深耕科技一线十二载亲历技术浪潮变迁。我见证那些率先拥抱AI的同行如何建立起效率与薪资的代际优势。如今我将积累的大模型面试真题、独家资料、技术报告与实战路线系统整理分享于此为你扫清学习困惑共赴AI时代新程。我整理出这套 AI 大模型突围资料包【允许白嫖】✅从入门到精通的全套视频教程✅AI大模型学习路线图0基础到项目实战仅需90天✅大模型书籍与技术文档PDF✅各大厂大模型面试题目详解✅640套AI大模型报告合集✅大模型入门实战训练这份完整版的大模型 AI 学习和面试资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】①从入门到精通的全套视频教程包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图0基础到项目实战仅需90天全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤640套AI大模型报告合集⑥大模型入门实战训练如果说你是以下人群中的其中一类都可以来学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能 ‌突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】