企业官网建设流程全解析

电商网站开发分析,手机号注册邮箱,网站域名使用期,有哪些可以做问卷赚钱的网站Crawlab 是一款分布式爬虫管理平台#xff0c;支持运行任何语言#xff0c;具有扩展性还提供了爬虫自动化部署、在线文件编辑等功能。本文将详细的介绍如何利用 Docker 在本地部署 Crawlab 并结合路由侠实现外网访问本地部署的 Crawlab。 第一步#xff0c;本地部署 Crawla…Crawlab 是一款分布式爬虫管理平台支持运行任何语言具有扩展性还提供了爬虫自动化部署、在线文件编辑等功能。本文将详细的介绍如何利用 Docker 在本地部署 Crawlab 并结合路由侠实现外网访问本地部署的 Crawlab。第一步本地部署 Crawlab本文 Crawlab 的安装需在 docker 环境下进行若未安装 docker 可参考文章安装 Docker 详细说明Linux。1创建 Crawlab 文件夹。mkdir -p /volume1/docker/crawlab/{data,master,worker01,worker02}2进入 Crawlab 目录。cd /volume1/docker/crawlab4创建 docker-compose.yml 文件。vim docker-compose.ymlversion: 3.3 services: master: image: crawlabteam/crawlab:latest container_name: crawlab_example_master environment: CRAWLAB_NODE_MASTER: Y CRAWLAB_MONGO_HOST: mongo volumes: - ./master:/root/.crawlab ports: - 8235:8080 depends_on: - mongo worker01: image: crawlabteam/crawlab:latest container_name: crawlab_example_worker01 environment: CRAWLAB_NODE_MASTER: N CRAWLAB_GRPC_ADDRESS: master CRAWLAB_FS_FILER_URL: http://master:8080/api/filer volumes: - ./worker01:/root/.crawlab depends_on: - master worker02: image: crawlabteam/crawlab:latest container_name: crawlab_example_worker02 environment: CRAWLAB_NODE_MASTER: N CRAWLAB_GRPC_ADDRESS: master CRAWLAB_FS_FILER_URL: http://master:8080/api/filer volumes: - ./worker02:/root/.crawlab depends_on: - master mongo: image: mongo:4.2 container_name: crawlab_example_mongo restart: always volumes: - ./data:/data/db5启动容器。docker-compose up -d6浏览器输入 http://localhost:8235 即可访问 Crawlab。第二步外网访问 Crawlab当前未提供网页管理在任意一台 Windows 机器安装路由侠 Windows 版用作跨机器管理。点此下载1下载安装完成后打开路由侠界面进入【设备中心】。点击右下角的“添加设备”此时可查看到对应的安装码此安装码用于将设备添加到对应账号下可选中后复制。2直接下载后导入。wget https://dl.luyouxia.com:8443/v2/lyx-docker-x86_64.tar docker load -i lyx-docker-x86_64.tar3然后使用该镜像启动容器。docker run --name lyx -it --restartalways --nethost -e code这里填写安装码 luyouxia/lyx4当前 Linux 终端这边如果是使用的上面的命令Docker 是运行在前台此时可以按住 CtrlC 退出路由侠容器也将退出。现在可以使用以下命令将其放入后台持续运行。docker start lyx5现在回到 Windows 这边设备列表点击右上角的×返回主界面再次进入就可以找到这个设备可以修改名称。6回到主界面点击【内网映射】。7注意右上角的设备名称下拉框这里选中刚刚添加的设备名称此时在这个界面上添加的映射就属于刚刚这个设备。添加或修改一般需要等待30秒容器中的路由侠进程就会更新并加载。切换好设备后点击【添加映射】。8选择【原生端口】。9在内网端口里填写端口 8235 后点击【创建】按钮如下图。10创建好后就可以看到一条映射的公网地址鼠标右键点击【复制地址】。11在外网电脑上打开浏览器在地址栏输入从路由侠生成的外网地址就可以看到内网部署的 Crawlab登录界面了。