Python爬虫分布式架构详解_Scrapy与Redis协同应用

Scrapy分布式核心是将调度器和去重器迁移至Redis实现共享队列与全局去重；需替换Scheduler和DupeFilter为Redis版，常用scrapy-redis库，配置SCHEDULER、DUPEFILTER_CLASS及REDIS_URL，并通过LPUSH推送起始URL。

Scrapy与Redis协同的分布式原理

Scrapy本身是单机爬虫框架，不支持原生分布式。要实现分布式，核心思路是把调度器（Scheduler）从内存移到Redis中，让多个Scrapy实例共享同一套待抓取队列和去重集合。Redis作为中间件，承担URL去重（Set）、任务分发（Queue或Priority Queue）、以及状态同步（如已爬URL、请求指纹）的功能。所有爬虫节点都连接同一个Redis服务，各自从队列取任务、将新链接推入队列、并用全局去重集合过滤重复请求。

关键组件改造：自定义Scheduler与DupeFilter

默认Scrapy使用内存型调度器和RFPDupeFilter，必须替换为Redis支持的版本：

• Scheduler：继承scrapy.core.scheduler.Scheduler，底层用redis.StrictRedis操作List（FIFO/LIFO）或ZSet（优先级队列），重写next_request()和enqueue_request()
• DupeFilter：继承scrapy.dupefilters.RFPDupeFilter，将request_fingerprint存入Redis Set，request_seen()改查Redis而非本地集合
• 常用方案是直接使用开源库scrapy-redis，它已封装好上述逻辑，只需配置类路径即可启用

部署结构与配置要点

典型部署包含一个Redis服务器 + 多台运行Scrapy的Worker机器（可同机多进程，也可跨主机）：

• 在settings.py中启用scrapy_redis组件：
  SCHEDULER = "scrapy_redis.scheduler.Scheduler"
  DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
  REDIS_URL = "redis://127.0.0.1:6379"
• 起始URL不再靠start_urls，而是通过redis-cli或脚本推入Redis：
  LPUSH myspider:start_urls "https://example.com/page1"
• 所有Worker共用同一REDIS_KEY前缀（如myspider:requests），确保读写同一队列

去重、断点续爬与监控实践

Redis天然支持断点续爬——只要队列和去重集合未清空，重启任意Worker都能继续工作：

• 去重粒度由request_fingerprint决定，默认包含URL、method、body、headers等；若需忽略某些参数（如时间戳），需重写request_fingerprint函数
• 已爬URL不会自动持久化，如需审计，可在Pipeline中将成功响应的URL写入Redis Set或外部数据库
• 可用redis-cli实时查看队列长度：
  llen myspider:requests 或
  scard myspider:dupefilter