浅析Python requests 模块

 更新时间:2020-10-10 04:02:19   作者:佚名   我要评论(0)

Python requests 模块
  requests 模块是我们使用的 python爬虫 模块 可以完成市场进80%的爬虫需求。
安装


pip install requests

使用
requests模块代码编写的

Python requests 模块

  requests 模块是我们使用的 python爬虫 模块 可以完成市场进80%的爬虫需求。

安装

pip install requests

使用

requests模块代码编写的流程:

  • - 指定url
  • - 发起请求
  • - 获取响应对象中的数据
  • - 持久化存储
-------------案例-------------------------
import requests
# 指定url
url="https://www.sogou.com/"
# 发起请求
response = requests.get(url)
# 获取响应对象中的数据
page_text = response.text
# 持久化存储
with open('./sogou.html','w',encoding='utf-8') as fp:
  fp.write()
-------------------------------------------

参数

# post 数据
response = requests.post(url=url,data=data,headers=headers)

# get 数据
response = requests.get(url=url,data=data,headers=headers)

# 返回二进制数据
response.content 

# 返回字符串数据  
response.text  

# 返回json对象   
response.json()

其他了解

1、该模块实现爬取数据前需要查找需要爬取数据的指定URL,可通过浏览器自带抓包功能。

# 浏览器抓取 Ajax 请求
F12 --> Network --> XHR --> Name --> Response

2、上面的headers参数是进行UA伪装为了反反爬

反爬机制:UA检测 --> UA伪装

3、下面是http我们爬包是常用的请求头参数

- accept: 浏览器通过这个头告诉服务器,他所支持的数据类型
  - Accept-Charset:浏览器通过这个头告诉服务器,它支持那种字符集
  - Accept-Encoding:浏览器通过这个头告诉服务器,支持的压缩格式
  - Accept-Language:浏览器通过这个头告诉服务器,他的语言环境
  - Host:浏览器同过这个头告诉服务器,想访问哪台主机
  - If-ModifiedSince:浏览器通过这个头告诉服务器,缓存数据的时间
  - Heferer:浏览器通过这个头告诉服务器,客户及时那个页面来的,防盗链
  - Connection:浏览器通过这个头告诉服务器,请求完后是断开链接还是保持链接
  - X-Requested-With:XMLHttpRequest 代表通过ajax方式进行访问
  - User-Agent:请求载体的身份标识

以上就是浅析Python requests 模块的详细内容,更多关于Python requests 模块的资料请关注脚本之家其它相关文章!

您可能感兴趣的文章:
  • python爬虫 基于requests模块的get请求实现详解
  • python爬虫 基于requests模块发起ajax的get请求实现解析
  • Python使用requests模块爬取百度翻译
  • Python grequests模块使用场景及代码实例
  • Python requests模块安装及使用教程图解
  • Python3 requests模块如何模仿浏览器及代理
  • Python requests模块cookie实例解析
  • Python requests模块session代码实例
  • Python requests模块基础使用方法实例及高级应用(自动登陆,抓取网页源码)实例详解
  • Python3离线安装Requests模块问题
  • Python利用requests模块下载图片实例代码

相关文章

  • 浅析Python requests 模块

    浅析Python requests 模块

    Python requests 模块   requests 模块是我们使用的 python爬虫 模块 可以完成市场进80%的爬虫需求。 安装 pip install requests 使用 requests模块代码编写的
    2020-10-10
  • JAVA解决在@autowired,@Resource注入为null的情况

    JAVA解决在@autowired,@Resource注入为null的情况

    使用SpringMVC或者SSH过程中,有时可能会遇到这么一个问题。就是在一个普通的JAVA类(不是controller也不是action类)中无法注入在spring配置文件中配置的bean。 比
    2020-10-10
  • 简单了解Python hashlib模块

    简单了解Python hashlib模块

    一.hashlib模块 用于加密相关的操作,3.x里代替了md5模块和sha模块,主要提供 :SHA1,SHA224,SHA256,SHA384,SHA512,MD5算法。 1.使用hashlib模块进行MD5加密。
    2020-10-10
  • Python尾递归优化实现代码及原理详解

    Python尾递归优化实现代码及原理详解

    在传统的递归中,典型的模式是,你执行第一个递归调用,然后接着调用下一个递归来计算结果。这种方式中途你是得不到计算结果,知道所有的递归调用都返回。 这样虽然
    2020-10-10
  • Java两种方式实现动态代理

    Java两种方式实现动态代理

    一、JDK动态代理 Java 在 java.lang.reflect 包中有自己的代理支持,该类(Proxy.java)用于动态生成代理类,只需传入目标接口、目标接口的类加载器以及 Invocation
    2020-10-10
  • Python判断变量是否是None写法代码实例

    Python判断变量是否是None写法代码实例

    代码中经常会有变量是否为None的判断,有三种主要的写法: 第一种是`if x is None`; 第二种是 `if not x:`; 第三种是`if not x is None`(这句这样理解更
    2020-10-10
  • java 枚举enum的用法(与在switch中的用法)

    java 枚举enum的用法(与在switch中的用法)

    实际开发中,很多人可能很少用枚举类型。更多的可能使用常量的方式代替。但枚举比起常量来说,含义更清晰,更容易理解,结构上也更加紧密。看其他人的博文都很详细,
    2020-10-10
  • Python批量获取并保存手机号归属地和运营商的示例

    Python批量获取并保存手机号归属地和运营商的示例

    从Excel读取一组手机号码,批量查询该手机号码的运营商和归属地,并将其追加到该记录的末尾。 import requests import json import xlrd from xlutils.copy impor
    2020-10-10
  • Python特殊属性property原理及使用方法解析

    Python特殊属性property原理及使用方法解析

    1 什么是特性property property是一种特殊的属性,访问它时会执行一段功能(函数)然后返回值 import math class Circle: def __init__(self,radius): #圆的半径
    2020-10-10
  • Python类绑定方法及非绑定方法实例解析

    Python类绑定方法及非绑定方法实例解析

    一、绑定方法   1.对象的绑定方法   首先我们明确一个知识点,凡是类中的方法或函数,默认情况下都是绑定给对象使用的。下面,我们通过实例,来慢慢解析绑
    2020-10-10

最新评论