目录  request.Request类  什么要使用request.Request类? 实战爬取www.2345.com主页    request.Request类 什么要使用request.Request类? 在我们用程序进行爬虫的时候,网站往往会有一些反爬虫的程序,如果不使用request.Request类,那么浏览器和网站一眼就可以看出这个是一个python代码在请求网页,这时网站会拒绝访问,或者会发送假的数据给我们来迷惑我们. 所以我们要使用request.Request类来伪装我们的爬虫程序,将其包装为一个浏览器,这时网站就不会阻碍我们的访问. 实战爬取www.2345.com主页...

目录  你问我为啥用代理? 代理的使用 常用的代理: 总结:  1.代理的原理: 2.怎么查看我代理使用成功了没? 怎么使用代理:    你问我为啥用代理? 这问题问的好?如果可以不用,为啥偏偏要麻烦的使用代理呢? 其实啊,很多网站会检测某一时间某个ip的访问次数(通过流浪统计,系统日志等),如果访问次数多的不像正常人(正常人谁会对着一个网页一分钟刷新个上百次???),网站就会禁止这个ip的访问(通俗的将就是拉进黑名单了,哎呀你们是不是想起了追女神给发100条消息,女神把你拉进黑名单) 言归正传,因此啊,我们可以设置一些代理服务器,每隔一段时间换一个代理,就算ip被禁止,依然可以换个ip继续使...

目录  什么是cookie: cookie的格式: 使用cookielib库和HTTPCookieProcessor模拟登录:  1.cookie复制的方式爬取信息 2.实现cookie的自动化获取,并爬取信息    什么是cookie: 在网站中，http请求是无状态的。也就是说即使第一次和服务器连接后并且登录成功后，第二次请求服务器依然不能知道当前请求是哪个用户。(看过’夏洛特烦恼’的朋友应该能知道在夏洛的梦境中的那次聚会,老师不认识同学们,但是当学生提到我就是送您收音机那个的时候,老师就明白这个学生是谁了,而这个cookie就好似是学生给老师说的送过的礼物在)cookie的出现就是为了解...

目录  为什么什么要将cookie信息保存到本地?  怎么把cookie信息保存到本地? 怎么把本地的cookie信息加载到程序中     为什么什么要将cookie信息保存到本地? 常常我们写爬虫程序需要用到cookie信息,而cookie信息,我们又不想麻烦的通过浏览器查询再改写我们的python程序,这时cookie信息保存到本地无疑是程序员最优雅的解决方式. 怎么把cookie信息保存到本地? 直接入主题: 使用的是cookiejar的save()函数,注意是需要传递参数的(否则无法传递即将过期的cookie的信息) #encoding: utf-8 #cookie数据加载保存到本地 ...

XPath 是一门在 XML 文档中查找信息的语言。 XPath 是 XSLT 中的主要元素。 XQuery 和 XPointer 均构建于 XPath 表达式之上     常常用于selenum自动化测试中元素定位中，了解学习XPath有利于快速定位某些节点元素。XPath使用路径表达式来选取XML文档中的节点或者节点集，这些路径表达式和平时在常规电脑上的表达式操作非常类似。 1、XPath节点        XPath节点是XPath中的专业术语，是某些“特性或者属性”的总称，包括7种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档节点。而XML文档是被作为节点树来对待的，树...

下饭文章,客官里面请  菜单  下饭文章,客官里面请 为什么要使用requests库? 安装requests库 发送get请求 resquests的一些重要的属性:  response.text和response.content的区别:  发送post请求 使用代理 处理cookie信息   为什么要使用requests库? 客官说了:我们都有了request模块能处理爬虫的网络请求了,为啥还要学requests库? 传送门:到url.request模块 request模块的基本用法 我:哎,这个问题就问的特别有意思!我们的request库的确能处理网络请求,但是urllib库中大多数的API...

下饭文章,客官里面请,看菜单,先点菜吧   菜单  这次就是一个豆瓣网近期要上映电影的爬虫 写在后面:   这次就是一个豆瓣网近期要上映电影的爬虫 废话不多说了,直接上代码吧:  特别注意本文直接看代码,文中的重要知识点,有注释,本文用到的知识点在我之前的文章中全部都有详细的讲解. 文中部分代码注释,是我在爬虫中写代码的步骤,代码永远不是一次写成,要逐步调试,步步简单输出,这样代码发生错误后,很好修改.很快的能确定错误的地方.  #encoding: utf-8 import requests from lxml import etree import csv headers ={ 'User...

文章来因: 客官们,久等了,在家上网课,上的无聊,想看个电影放松一下,但是却不知道看啥电影,想起最近学习的爬虫,于是找电影天堂爬个电影信息,不就知道看那个电影了,上菜   菜单  文章来因: 实战内容:直接上代码,重要的地方有注释 写在后面的话:   实战内容:直接上代码,重要的地方有注释 各位客官,那个菜不和胃口,可以翻看前面的菜单 爬虫(1)爬虫概述,爬虫抓包工具 爬虫(2)urllib和parse库的介绍和常用函数介绍和使用 爬虫(3)request.Request类的介绍和简单爬虫实战 爬虫(4)ProxyHandler处理器(代理设置) 爬虫(5)一文搞懂cookie原理和使用(客官...

写在前面: 爬虫今天停更一天,今天是周六,今天要把最近网课学习SPSS课程做个总结和回顾,明天继续更新爬虫的内容,今天这篇文章主要是SPSS中的数据管理,一些关于数据的简单操作,是属于SPSS中比较基础的内容,希望看完博客能动手亲自实践一下,会有奇效  文章目录  写在前面: SPSS数据管理:  1.数据的录入:  SPSS中的数据文件格式:  2.数据的保存: 3.数据的整理:  1.数据合并  合并类型:  2.数据个案的拆分: 3.数据个案的排序 4.数据汇总: 5.数据的加权: 6.数据重复查找: 7.个案的选择: 8.计算新变量: 9.变量值的重新编码:   写在后面:   SPS...

numpy 为什么要用numpy科学计算库? 一般情况下数据的组成: 行和列    学号 姓名 语文成绩     1 张三 89   2 李四 85   3 王五 100    一般数据都是这样组成的,我们可以把数据分为行和列,这样对于数据的运算是很方便的,同时也是和高效的,这就是使用munpy科学计算库的原因,numpy就是做矩阵的计算,且是底部实现是C语言,运算速度很快.  Numpy是一种数学工具,用于矢量计算 Numpy的对象称为矩阵/多维数组 轴指的是维度,轶指的是轴的数量  常用属性和方法 numpy对象常用属性 b = np.array([[1,2,3] ,[4,5,6]]) p...

小弟的目录  Pandas概述: Pandas的数据结构分析  Series  Series的介绍 Series对象的创建  DataFrame  DataFrame的介绍: DataFrame对象的创建:   Pandas的索引对象:  索引对象的创建 索引对象的分类 索引对象的获取: 索引对象的特点: 索引对象的方法和属性  方法: 属性:  索引对象的重命名(轴索引)  索引的整数索引:  程序: 解析: 整数索引的规则:  非整数索引:  整数标签基于位置的使用方法:    Pandas概述: Pandas是一个基于Numpy的数据分析包，它是为了解决数据分析任务而创建的。Pandas...

本文是基于上一篇pandas的补充,为了不影响知识整体的结构,写在一起,方便客官们查阅.后期的博客还会有pandas的高级内容   小弟的目录  1.1Pandas概述: 1.2Pandas的数据结构分析  Series  Series的介绍 Series对象的创建  DataFrame  DataFrame的介绍: DataFrame对象的创建: 重置索引  reindex参数说明    1.3索引操作  Series类型的索引操作 DataFrame的索引操作 pandas库中提供了操作索引的方法来访问数据   1.4pandas的算术运算和数据对齐  算术运算 数据排序:  按索引排序 ...

宁愿辛苦一阵子,不要辛苦一辈子    小弟的目录  JDBC 什么是JDBC? JDBC新手(实现最普通功能的JDBC)  操作步骤详解:  1.加载数据库驱动和注册驱动 2.获取连接 3.执行sql语句: 4.关闭连接 整体代码:   JDBC强者(对普通JDBC优化)  Statement中可能遇到的问题 用PreparedStatement来解决sql拼接sql注入sql无法解析二进制文件的问题 优化后JDBC代码仍然有的缺陷  JDBC大神(高级)   什么叫数据库连接池技术? 总结一下使用数据库连接池的特点: 使用数据库连接池(德鲁伊)     JDBC 什么是JDBC? Java ...

web 1.概述 使用java语言开发基于互联网的项目 2.软件架构  1.C/S架构 :Client/Server 客户端服务器端  在用户本地有一个客户端程序,在远程有一个服务器 优点:用户体验好 缺点:需要开发(两端开发)安装,部署维护,麻烦  2.B/S架构 Brower/Server 浏览器服务器  只需要一个浏览器,用户通过不同的网址,可以访问远程不同的服务器端 优点:不需要安装客户端,很方便开发(两端开发)安装,部署维护,简单 缺点:如果应用过大,用户的体验会受到影响,但是要实时下载(要求用户的带宽大),也对硬件要求较高 B/S架构怎么进行访问的? 资源的分类: 1.静态资源: ...