500 行 Python 代码构建一个轻量级爬虫框架

  • A+
所属分类:学霸天地
摘要

自己造轮子,学得更深

引言

玩 Python 爬虫有段时间了,但是目前还是处于入门级别。xcrawler 则是利用周末时间构建的一个轻量级的爬虫框架,其中一些设计思想借鉴了著名的爬虫框架 Scrapy 。既然已经有像 Scrapy 这样优秀的爬虫框架,为何还要造轮子呢?嗯,其实最主要的还是想要将学习到 Python 知识综合起来,提高一下自己。

Features

  1. 简单、易用;
  2. 易于定制的 Spider ;
  3. 多线程实现并发下载。

待改进

  1. 更多的测试代码;
  2. 添加更多的网站爬虫示例;
  3. 完善爬虫调度,支持 Request 优先级调度。

xcrawler 介绍

项目结构

  1. ├── demo (一个示例 Spider
  2.   ├── baidu_news.py
  3.   └── __init__.py
  4. ├── README.md (项目文档)
  5. ├── setup.py pip 安装脚本)
  6. ├── tests (测试代码,尚未完成)
  7. └── xcrawler (核心代码)
  8.    ├── core
  9.       ├── crawler.py Crawler process,负责管理引擎的配置和启动)
  10.       ├── engine.py Crawler engine,负责调度并完成 URL 请求和调用解析方法)
  11.       ├── __init__.py
  12.    ├── __init__.py
  13.    ├── spider
  14.       ├── __init__.py
  15.       ├── request.py
  16.       ├── response.py
  17.       └── spider.py Spider 基类,所有的自定义 Spider 需要从此处继承)
  18.    └── utils (一些工具函数)
  19.        ├── __init__.py
  20.        └── url.py

Crawler engine (生产者+消费者模型)

  1. 引擎启动时会启动一个后台线程池,后台线程池负责下载由调度器提供给它的所有 URL (Request),并将响应(Response)结果存放到队列中;
  2. 引擎的前台解析线程会不断消费处理队列中的响应(Response),并调用相应 Spider 的解析函数处理这些相应;
  3. 引擎负责处页面理解析回来的对象,所有的 Request 对象都会被放到队列中(递归抓取时)等待处理,所有的字典对象(item)送给 Spider 的 process_item 方法处理。

配置介绍

  • 配置项目
    1. download_delay : 每批次之间的下载延迟(单位为秒),默认为 0;
    2. download_timeout :下载等待延迟,默认为 6 秒;
    3. retry_on_timeout :即当下载超时后,对应的请求是否应该重试;
    4. concurrent_requests :并发下载数;
    5. queue_size :请求队列大小,当队列已满时,会阻塞后续的请求。
  • 示例配置:
  1. settings = {
  2.    'download_delay': 0,
  3.    'download_timeout': 6,
  4.    'retry_on_timeout': True,
  5.    'concurrent_requests': 32,
  6.    'queue_size': 512
  7. }

Spider 基类关键方法介绍

  1. spider_started :该方法会在引擎启动时被触发调用,你可以通过继承该方法进行一些初始化工作,比如配置 pipeline 输出文件或者数据库连接等等;
  2. spider_idle :该方法会在引擎处理空闲状态(即没有任何 requests 在队列)时被触发调用,你可以通过继承该方法给引擎添加新的请求等(使用 self.crawler . crawl ( new_request , spider = self )即可);
  3. spider_stopped :该方法会在引擎关闭时触发调用,你可以通过继承该方法并在 Spider 结束工作前做一些清理工作,如关闭文件管道、关闭数据库连接等;
  4. start_requests :该方法会为引擎提该 Spider 的对应种子请求;
  5. make_requests_from_url :该方法会为你的 URL 创建一个 Request 对象;
  6. parse :该方法为请求的默认解析函数回调,当然你可以可以在创建 Request 时指定其它的回调函数;
  7. process_request :每当引擎处理一个 Spider 对应的请求时,该方法会被触发调用,你可以通过继承该方法对 request 做些设置,比如更换随机的 User - Agent ,替换 Cookies 或者代理等;当然,你可以将 request 设置为 None 从而忽略该请求;
  8. proccess_response :每当引擎处理一个 Spider 对应的响应时,该方法会被触发调用;
  9. process_item :每当引擎处理一个 Spider 对应的 item 时,该方法会被触发调用,你可以通过继承该方法将抓取并解析到的 item 存储到数据库或者本地文件中。

注意

  1. 你可以在一个 Crawler 进程中装入不同的 Spider class ,但需要保证不同的 Spider 的名称也要不同,否则会被引擎拒绝;
  2. 需要根据情况调整下载延迟和并发数大小;下载延迟尽量不要太大,否则每批请求可能会等待较长时间才会处理完成,从而影响爬虫性能;
  3. Windows 下的测试还没做,我用的是 Ubuntu ,所以如果您有什么问题,欢迎反馈哈!

安装

  1. 请移步项目主页 xcrawler (https://github.com/chrisleegit/xcrawler) 下载源码;
  2. 请保证你的安装环境为 Python 3.4+ ;
  3. 请使用 pip 3 setup.py install 安装即可。

示例

  1. from xcrawler import CrawlerProcess
  2. from xcrawler.spider import BaseSpider, Request
  3. from lxml.html import fromstring
  4. import json
  5. __version__ = '0.0.1'
  6. __author__ = 'Chris'
  7. class BaiduNewsSpider(BaseSpider):
  8.    name = 'baidu_news_spider'
  9.    start_urls = ['http://news.baidu.com/']
  10.    default_headers = {
  11.        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) '
  12.                      'Chrome/50.0.2661.102 Safari/537.36'
  13.    }
  14.    def spider_started(self):
  15.        self.file = open('items.jl', 'w')
  16.    def spider_stopped(self):
  17.        self.file.close()
  18.    def spider_idle(self):
  19.        # 引擎空闲时,你也可以从数据库中提取新的 URL 进来
  20.        print('I am in idle mode')
  21.        # self.crawler.crawl(new_request, spider=self)
  22.    def make_requests_from_url(self, url):
  23.        return Request(url, headers=self.default_headers)
  24.    def parse(self, response):
  25.        root = fromstring(response.content,
  26.                          base_url=response.base_url)
  27.        for element in root.xpath('//a[@target="_blank"]'):
  28.            title = self._extract_first(element, 'text()')
  29.            link = self._extract_first(element, '@href').strip()
  30.            if title:
  31.                if link.startswith('http://') or link.startswith('https://'):
  32.                    yield {'title': title, 'link': link}
  33.                    yield Request(link, headers=self.default_headers, callback=self.parse_news,
  34.                                  meta={'title': title})
  35.    def parse_news(self, response):
  36.        pass
  37.    def process_item(self, item):
  38.        print(item)
  39.        print(json.dumps(item, ensure_ascii=False), file=self.file)
  40.    @staticmethod
  41.    def _extract_first(element, exp, default=''):
  42.        r = element.xpath(exp)
  43.        if len(r):
  44.            return r[0]
  45.        return default
  46. def main():
  47.    settings = {
  48.        'download_delay': 1,
  49.        'download_timeout': 6,
  50.        'retry_on_timeout': True,
  51.        'concurrent_requests': 16,
  52.        'queue_size': 512
  53.    }
  54.    crawler = CrawlerProcess(settings, 'DEBUG')
  55.    crawler.crawl(BaiduNewsSpider)
  56.    crawler.start()
  57. if __name__ == '__main__':
  58.    main()

500 行 Python 代码构建一个轻量级爬虫框架

500 行 Python 代码构建一个轻量级爬虫框架

版权声明

  • 本文由 Christopher L 发表,采用 知识共享署名——非商业性使用——相同方式共享 4.0 国际许可协议 进行许可。请确保你已了解许可协议,并在转载 时声明。
  • 本文固定链接: http://blog.chriscabin.com/?p=1512。

500 行 Python 代码构建一个轻量级爬虫框架

  • 作者:chris@克里斯的小屋
  • 原文:http://blog.chriscabin.com/coding-life/webcrawler/xcrawler/1512.html
  • Python开发整理发布,转载请联系作者获得授权

始发于微信公众号:Python开发

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: