通过前几节课的学习,我们大概了解了通过urllib模块怎么样获取数据、解析数据、保存数据得到我们想要的数据了,今天呢,就给大家介绍一个Python爬虫获取数据的另外一个方法requests库。那么urllib和requests哪个好?urllib和requests有什么区别呢?
我们已经讲解了Python内置的urllib模块,用于访问网络资源。但是,它用起来比较麻烦,而且,缺少很多实用的高级功能。
更好的方案是使用requests。它是一个Python第三方库,处理URL资源特别方便。
requests库的安装与安装其他第三方应用一样(如下图):
我们以简单的抓取百度网页(https://www.baidu.com/)为例进行操作:
首先我们需要判断请求类型。最常见的请求方式为 GET 和POST,我们可以通过右击检查-network-headers-Request Method可以看到该页面的请求方式为get
因此我们发起请求的格式为:
requests.get(网页地址)
首先我们需要判断我们获取到的网页是什么类型,同样可通过右击检查-network-headers-Content-Type可以看到该网页的内容为text类型
因此我们获取网页的基本格式为:
response.text
如下图即可输出网页内容:
基本格式为:
with open(保存的文件名,读写模式,encoding=”utf-8″) as 变量:变量.write(网页内容)
以上就是关于requests的用法,我们可以结合之前学过的内容,想想urllib与requests哪个更加方便,以及对于有反爬虫机制的网站,又应该如何用requests获取内容信息,下节课,我们对比一下urllib与requests的区别的是什么?以及urllib与requests哪种更好。
微信号:sansui663(长安复制)
本文由知识库于2022-01-14发表在龙哥云资源网,如有疑问,请联系我们。本文链接:https://www.longgeyun.com/knowledge/21583.html
上一篇格式工具栏在哪(转换成mp4格式的软件)
下一篇图片去水印免费软件哪个好(免费去水印app神器)
高校最常见的食物中毒有哪些
急性肠胃炎与食物中毒怎么分辨
莫代尔面料和纯棉面料哪个好内裤 哪个儿童可以穿
为什么说开速腾的都不是一般人 速腾开出去有面子吗
活珠子和毛蛋的区别在哪里 哪个好吃
家里放石头的八大禁忌有哪些 家中石头最佳摆放位置
怎么判断自己帅还是丑男 男生怎样越长越帅
单身女生红绳戴左手还是右手 女生红绳戴哪里合适
Pr2020零基础快速入门
文字转语音App最新版3.0
APP下载页源码-带后台