HttpClient request payload post请求

RequestEntity entity = new StringRequestEntity(str, "text/html", "utf-8");
		post.setRequestEntity(entity);

  

最近在做一些爬虫相关的工作,遇到了一个网站,在使用谷歌开发者工具监控的时候,发现他的请求是这样的

我们都知道传统的post请求,所提交的是form data 格式的,key-value键值对的形式提交。这个在爬虫post请求中非常常见。

第一次遇到了这种形式提交的,后面去找了很多方法,发现在百度搜的答案都用不了,后面FQ去了stackoverflow,这边贴上地址

http://stackoverflow.com/questions/22671897/httpclient-httppost-and-payload

所给的答案我也用不了。

于是去认真研究了一下,发现他所提交的post流,不是传统的key-value模型的数据,而是post一段json文字

仔细查看了HttpClient的一些相关的API后,找到了答案

这边贴上我的小Demo,Demo是用来抓取某个城市的公积金数据的,这边隐藏去账号密码

 

 

RequestEntity entity = new StringRequestEntity(str, "text/html", "utf-8");
		post.setRequestEntity(entity);

  

import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.methods.PostMethod;
import org.apache.commons.httpclient.methods.RequestEntity;
import org.apache.commons.httpclient.methods.StringRequestEntity;

  

全部评论

相关推荐

不愿透露姓名的神秘牛友
07-08 17:10
点赞 评论 收藏
分享
每晚夜里独自颤抖:你cet6就cet6,cet4就cet4,你写个cet证书等是什么意思。专业技能快赶上项目行数,你做的这2个项目哪里能提现你有这么多技能呢
点赞 评论 收藏
分享
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务