Scrapy爬虫框架中理解爬虫中间件的作用

鳄鱼君

发表文章数:523

Vieu四代商业主题

高扩展、安全、稳定、响应式布局多功能模板。

¥69 现在购买
首页 » Python教程 » Scrapy爬虫框架中理解爬虫中间件的作用

爬虫中间件的作用主要有三点:

  • 1.处理引擎传递给爬虫的响应
  • 2.处理爬虫传递给引擎的请求
  • 3.处理爬虫传递给引擎的数据项

通常有默认的爬虫中间件:

 #Default
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware':50
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware':500,  #不再允许的域中
 'scrapy.spidermiddlewares.referer.RefererMiddleware':700,  #网页的referre填充请求标头
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware':800, #url长度
 'scrapy.spidermiddlewares.depth.DepthMiddleware':900   #url深度
]

未经允许不得转载:作者:鳄鱼君, 转载或复制请以 超链接形式 并注明出处 鳄鱼君
原文地址:《Scrapy爬虫框架中理解爬虫中间件的作用》 发布于2020-03-08

分享到:
赞(0) 赏杯咖啡

评论 抢沙发

4 + 9 =


文章对你有帮助可赏作者一杯咖啡

支付宝扫一扫打赏

微信扫一扫打赏

Vieu4.6主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册