设计 任务书 文档 开题 答辩 说明书 格式 模板 外文 翻译 范文 资料 作品 文献 课程 实习 指导 调研 下载 网络教育 计算机 网站 网页 小程序 商城 购物 订餐 电影 安卓 Android Html Html5 SSM SSH Python 爬虫 大数据 管理系统 图书 校园网 考试 选题 网络安全 推荐系统 机械 模具 夹具 自动化 数控 车床 汽车 故障 诊断 电机 建模 机械手 去壳机 千斤顶 变速器 减速器 图纸 电气 变电站 电子 Stm32 单片机 物联网 监控 密码锁 Plc 组态 控制 智能 Matlab 土木 建筑 结构 框架 教学楼 住宅楼 造价 施工 办公楼 给水 排水 桥梁 刚构桥 水利 重力坝 水库 采矿 环境 化工 固废 工厂 视觉传达 室内设计 产品设计 电子商务 物流 盈利 案例 分析 评估 报告 营销 报销 会计
 首 页 机械毕业设计 电子电气毕业设计 计算机毕业设计 土木工程毕业设计 视觉传达毕业设计 理工论文 文科论文 毕设资料 帮助中心 设计流程 
垫片
您现在所在的位置:首页 >>帮助中心 >> 文章内容
                 
垫片
   我们提供全套毕业设计和毕业论文服务,联系微信号:biyezuopin QQ:2922748026   
Python+scrapyd服务部署爬虫项目部署运行
文章来源:www.biyezuopin.vip   发布者:毕业作品网站  

1,安装 与 启动

1,环境:centos7,这里不推荐使用 windows 系统,可以免去很多不必要的麻烦

2,安装:pip3 install scrapyd

3,启动:scrapyd

2,配置文件

1, 所在地址 /usr/local/lib/python3.6/site-packages/scrapyd/default_scrapyd.conf

2,配置能被外网访问,将配置文件的下图中的一项设置为 0.0.0.0

3,测试是否启动成功,浏览器访问 ip:6800,如笔者为 192.168.200.100:6800,出现如下界面为安装成功

3,部署自己的爬虫

1,安装客户端:pip3 install scrapyd-client

2,修改爬虫项目根目录下的自带配置文件:scrapy.cfg

[settings]

default = reptile.settings

[deploy:reptile]              # deploy 后面的为自定义客户端名

url = http://localhost:6800/  # 服务器的地址

project = reptile             # 项目名称

3,查看当前项目有多少可以部署的爬虫,注意命令要在项目根路径下执行

scrapy list

4,获取当前项目的配置的:客户端名称 和 服务器地址,同时检测模块依赖是否安装完整

scrapyd-deploy -l

5,安装完依赖模块后,部署项目,命令格式为:scrapyd-deploy 客户端名 -p 项目名

scrapyd-deploy reptile -p reptile

6,启动项目:curl http://localhost:6800/schedule.json -d project=项目名 -d spider=爬虫名

curl http://localhost:6800/schedule.json -d project=reptile -d spider=court_headlines

  全套毕业设计论文现成成品资料请咨询微信号:biyezuopin QQ:2922748026     返回首页 如转载请注明来源于www.biyezuopin.vip  

                 

打印本页 | 关闭窗口
本类最新文章
Java+MySQL+MyEcl 云计算复习要点 java连接数据库及数据库的查询
C++ 连接数据库的方法详解 windows上配置maven环 springboot项目中pom
| 关于我们 | 友情链接 | 毕业设计招聘 |

Email:biyeshejiba@163.com 微信号:biyezuopin QQ:2922748026  
本站毕业设计毕业论文资料均属原创者所有,仅供学习交流之用,请勿转载并做其他非法用途.如有侵犯您的版权有损您的利益,请联系我们会立即改正或删除有关内容!