1.配置环境 实验环境：Ubuntu 18.04 需要的文件：GeekOS[http://geekos.sourceforge.net/]、nasm-2.00(低版本的,高版本的会报错)[https://www.nasm.us/pub/nasm/releasebuilds/?C=M;O=D] 2.编译 安装编译环境 通过sudo apt-get install 来分别安装build-essential、bochs、bochs-x 安装低版本的gcc 通过gcc -v可以查看当前的gcc版本。需要编译的geekos-0.3版本非常古老，直接编译会出现一堆错误，所以使用同样比较古老的gcc-4.8...

依赖安装 在安装和配置Cuckoo之前，需要安装依赖的一些软件和库。首先创建一个文件夹存放cuckoo所需要的文件。 这里是需要的库和需要安装的文件。  安装 Python 库 (Ubuntu/Debian-based) Cuckoo的管理组件完全由Python脚本编写，所以就需要适合的Python版本。 完全兼容的Python版本是 2.7。 老版本的Python和Python 3（未来可能会支持） 目前都是不支持的。 以下一些通过Apt安装的软件都是必须的: $ sudo apt-get install python python-pip python-dev libffi-dev lib...

1. 介绍scrapy-redis框架 scrapy-redis  一个三方的基于redis的分布式爬虫框架，配合scrapy使用，让爬虫具有了分布式爬取的功能。  github地址： https://github.com/darkrho/scrapy-redis 2. 分布式原理  scrapy-redis实现分布式，其实从原理上来说很简单，这里为描述方便，我们把自己的核心服务器称为master，而把用于跑爬虫程序的机器称为slave 我们知道，采用scrapy框架抓取网页，我们需要首先给定它一些start_urls，爬虫首先访问start_urls里面的url，再根据我们的具体逻辑，对里面...

问题 有的页面的很多部分都是用JS生成的，而对于用scrapy爬虫来说就是一个很大的问题，因为scrapy没有JS engine，所以爬取的都是静态页面，对于JS生成的动态页面都无法获得 官网http://splash.readthedocs.io/en/stable/ 解决方案  利用第三方中间件来提供JS渲染服务： scrapy-splash 等 利用webkit或者基于webkit库   Splash是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器，Splash是用Python实现的，同时使用Twisted和QT。Twisted（QT）用来让服务具有异步处...

1. Splash介绍  Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，我们同样可以实现动态渲染页面的抓取  2. 安装 2.1 安装docker 2.2 拉取镜像 docker pull scrapinghub/splash  2.3 用docker运行scrapinghub/splash docker run -p 8050:8050 scrapinghub/splash  2.4 查看效果  我们在8050端口上运行了Splash服务，打开http://192.168.99.100:8...

1. Scrapy-Request和Response（请求和响应） Scrapy的Request和Response对象用于爬网网站。 通常，Request对象在爬虫程序中生成并传递到系统，直到它们到达下载程序，后者执行请求并返回一个Response对象，该对象返回到发出请求的爬虫程序。 sequenceDiagram 爬虫->>Request: 创建 Request->>Response:获取下载数据 Response->>爬虫:数据  2. Request对象 class scrapy.http.Request(url[, callback, method...

1. Spider 下载中间件(Middleware) Spider 中间件(Middleware) 下载器中间件是介入到 Scrapy 的 spider 处理机制的钩子框架，您可以添加代码来处理发送给 Spiders 的 response 及 spider 产生的 item 和 request 2. 激活一个下载DOWNLOADER_MIDDLEWARES 要激活一个下载器中间件组件，将其添加到 DOWNLOADER_MIDDLEWARES设置中，该设置是一个字典，其键是中间件类路径，它们的值是中间件命令 DOWNLOADER_MIDDLEWARES = { 'myproject.middl...

1. 介绍 Scrapy提供了一个 item pipeline ，来下载属于某个特定项目的图片，比如，当你抓取产品时，也想把它们的图片下载到本地。 这条管道，被称作图片管道，在 ImagesPipeline 类中实现，提供了一个方便并具有额外特性的方法，来下载并本地存储图片:  将所有下载的图片转换成通用的格式（JPG）和模式（RGB） 避免重新下载最近已经下载过的图片 缩略图生成 检测图像的宽/高，确保它们满足最小限制  这个管道也会为那些当前安排好要下载的图片保留一个内部队列，并将那些到达的包含相同图片的项目连接到那个队列中。 这可以避免多次下载几个项目共享的同一个图片 2. 使用图片管道...

1. CrawlSpiders 原理图 sequenceDiagram start_urls ->>调度器: 初始化url 调度器->>下载器: request 下载器->>rules: response rules->>数据提取: response rules->>调度器: 新的url  通过下面的命令可以快速创建 CrawlSpider模板 的代码 scrapy genspider -t crawl 文件名 (allowed_url)  首先在说下Spider，它是所有爬虫的基类，而CrawSpiders就是Spider的派生类。...