Scrapy爬虫框架的基本流程 数据流的传递过程 五大核心组件的基本功能说明

鳄鱼君

发表文章数:525

Vieu四代商业主题

高扩展、安全、稳定、响应式布局多功能模板。

¥69 现在购买
首页 » Python教程 » Scrapy爬虫框架的基本流程 数据流的传递过程 五大核心组件的基本功能说明

通过前面几篇文章的学习,相信你可以简单的使用Scrapy框架了,那么你可能会对内部的原理、实现方式、各部分组件的功能有些模糊,这篇文章就来带大家详细认识一下!

Scrapy爬虫框架的原理图

Scrapy爬虫框架的基本流程 数据流的传递过程 五大核心组件的基本功能说明

Scrapy爬虫分为以下几个部分来协同工作:

  • 引擎(Scrapy Engine):用来处理整个系统的数据流, 触发事务,是整个框架的核心。通过他的处理,来实现整个框架的正常工作。
  • 调度器(Scheduler):用来接受引擎发过来的请求, 传入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL(抓取网页的网址或者说是链接)的优先队列, 由它来决定下一个要抓取的网址是什么, 同时比较强大的功能就是:可以对以前已经抓取过得链接进去重。
  • 下载器(Downloader):用于下载网页内容, 并将网页内容返回给Spider(Scrapy下载器是建立在twisted这个高效的异步模型上的),其实是将抓取的内容返回给引擎,引擎然后将网站的内容返回给spider。spider将内容进行解析。提取有用的数据或者进行下一步的抓取,或者将数据结构化给pipeline。
  • 爬虫(Spiders):爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接(new_url),让Scrapy继续抓取下一个页面。
  • 项目管道(Pipeline):负责处理爬虫从网页中提取的实体内容,主要的功能是持久化实体,验证实体的有效性、清除不需要的信息。

从我们爬虫文件中的start_urls 开始,到引擎,引擎交给调度器Scheduler, 调度器会将其交给下载器 Downloader 进行下载,下载之后会交给 Spider 进行分析,Spider 分析出来的结果有两种:一种是需要进一步抓取的链接,例如之前分析的“下一页”的链接,这些东西会被传回 Scheduler ;另一种是需要保存的数据,它们则被送到 Item Pipeline 那里,那是对数据进行后期处理(详细分析、过滤、存储等)的地方。另外,在数据流动的通道里还可以安装各种中间件,进行必要的处理。

 

Scrapy爬虫框架的配置文件说明

为什么需要配置文件?

配置文件存放一些公共的变量(比如数据库的地址,账号密码等)。方便自己和别人修改,一般用全大写字母命名变量名。MONGODB_TABLE

settings文件中的配置信息包含:

...
...
# Crawl responsibly by identifying yourself (and your website) on the user-agent
#通过在用户代理上标识您自己(和您的网站)负责任地爬行
##默认的user-agent是关闭的,是个scrapy爬虫,你也可以开启试试,或者在这里替换user-agent也可以
#USER_AGENT = 'myspider (+http://www.yourdomain.com)'

# Obey robots.txt rules
#遵守robots.txt规则 默认遵守,基本都会修改为False
ROBOTSTXT_OBEY = True

# Configure maximum concurrent requests performed by Scrapy (default: 16)
#配置Scrapy执行的最大并发请求数(默认值:16),打开注释为32个
#CONCURRENT_REQUESTS = 32

# Configure a delay for requests for the same website (default: 0)
#为同一网站的请求配置延迟(默认值:0)理解为对于一个相同的url是否需要建立连接
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
#DOWNLOAD_DELAY = 3

# The download delay setting will honor only one of:
#下载延迟设置将仅支持以下选项之一
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
#CONCURRENT_REQUESTS_PER_IP = 16

# Disable cookies (enabled by default)
#禁用Cookie(默认情况下已启用)
#COOKIES_ENABLED = False

# Disable Telnet Console (enabled by default)
#禁用Telnet控制台(默认启用)
#TELNETCONSOLE_ENABLED = False

# Override the default request headers:
#重写默认请求头
#DEFAULT_REQUEST_HEADERS = {
#   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
#   'Accept-Language': 'en',
#}

# Enable or disable spider middlewares
#启用或禁用爬虫中间件
# See https://doc.scrapy.org/en/latest/topics/spider-middleware.html
#SPIDER_MIDDLEWARES = {
#    'myspider.middlewares.MyspiderSpiderMiddleware': 543,
#}

# Enable or disable downloader middlewares
#启用或禁用下载程序中间件
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
#DOWNLOADER_MIDDLEWARES = {
#    'myspider.middlewares.MyspiderDownloaderMiddleware': 543,
#}

# Enable or disable extensions
#启用或禁用扩展插件
# See https://doc.scrapy.org/en/latest/topics/extensions.html
#EXTENSIONS = {
#    'scrapy.extensions.telnet.TelnetConsole': None,
#}

# Configure item pipelines
#配置项管道
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
#ITEM_PIPELINES = {
#    'myspider.pipelines.MyspiderPipeline': 300,
#}

# Enable and configure the AutoThrottle extension (disabled by default)
# 启用并配置AutoThrottle扩展(默认情况下禁用)
# See https://doc.scrapy.org/en/latest/topics/autothrottle.html
#AUTOTHROTTLE_ENABLED = True
# The initial download delay
#初始下载延迟
#AUTOTHROTTLE_START_DELAY = 5
# The maximum download delay to be set in case of high latencies
#在高延迟情况下设置的最大下载延迟
#AUTOTHROTTLE_MAX_DELAY = 60
# The average number of requests Scrapy should be sending in parallel to
# each remote server
# Scrapy应并行发送到每个远程服务器的平均请求数
#AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0

# Enable showing throttling stats for every response received:
#启用显示接收到的每个响应的限制状态,是否可以向远程服务器发送请求
#AUTOTHROTTLE_DEBUG = False

# Enable and configure HTTP caching (disabled by default)
# 启用和配置HTTP缓存(默认情况下禁用)
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings
#缓存的过期时间,缓存的文件夹路径,忽略那些http响应码
#HTTPCACHE_ENABLED = True
#HTTPCACHE_EXPIRATION_SECS = 0
#HTTPCACHE_DIR = 'httpcache'
#HTTPCACHE_IGNORE_HTTP_CODES = []
#HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

 

未经允许不得转载:作者:鳄鱼君, 转载或复制请以 超链接形式 并注明出处 鳄鱼君
原文地址:《Scrapy爬虫框架的基本流程 数据流的传递过程 五大核心组件的基本功能说明》 发布于2020-05-09

分享到:
赞(0) 赏杯咖啡

评论 抢沙发

1 + 5 =


文章对你有帮助可赏作者一杯咖啡

支付宝扫一扫打赏

微信扫一扫打赏

Vieu4.6主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册