今日重点：     1、***服务器的设置     2、模拟登陆过验证码（静态验证码）     3、cookie与session     4、线程池      1、***服务器的设置   有时候使用同一个IP去爬取同一个网站，久了之后会被该网站服务器屏蔽。那么我们应该1怎么处理这个问题呢？   解决思路：       如果我们爬取网站，对方服务器显示的是别人的IP地址，那么即使对方服务器把IP禁掉，屏蔽。也无关紧要，我们可以继续换其他的IP地址继续爬取。 因此使用***服务器，就可以解决问题。       网上有很多***服务器的网站一般情况花钱比较安全，当然，你要识别这个IP是否是安全的。 ...

对比常用统计图 折线图：   特点：能够显示数据的变化趋势，反映事物的变化情况。（变化）     直方图：   特点：绘制连续性的数据，展示一组或者多组数据的分布情况（统计） 条形图：   特点：绘制离散的数据，能够一眼看出各个数据的大小，比较数据之间的差距（统计） 散点图：   特点：判断变量之间是否存在数量关联趋势，展示离群点（分布规律）     绘制散点图（plt.scatter） 假设通过爬虫你获取到了北京2016年3,10月份每天白天的最高气温(分别位于列表a,b),那么此时如何寻找出气温和随时间(天)变化的某种规律? a = [1,17,1611,12,11,12,6,6,7,8,...

初识数据分析    大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。   在大数据和大数据分析，他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。                                               ...

requests模块基础 什么是requests模块 requests模块是python中原生基于网络模拟浏览器发送请求模块。功能强大，用法简洁高效。  为什么要是用requests模块  用以前的urllib模块需要手动处理url编码 手动处理post参数 处理cookie和***操作繁琐  ..............  requests模块  自动处理url编码 自动处理post参数 简化cookie和***操作  ...............  如何使用requests模块    安装：  pip install requests  使用流程  指定url 基于requests模块发...

Django的下载与基本命令 1、下载Django：         1      pip3 install django          2、创建一个django project         1      django - admin startproject mysite           当前目录下会生成mysite的工程，目录结构如下：       manage.py ----- Django项目里面的工具，通过它可以调用django shell和数据库等。 settings.py ---- 包含了项目的默认设置，包括数据库信息，调试标志以及其他一些工作的变量。 urls.py...