php技术博客

记录php相关学习知识及开发示例、疑难问题等

python中使用pycurl库请求获取网页数据

pycurl是一个用c语言编写的libcurl Python实现,功能非常强大,支持操作协议有FTP,HTTP,HTTPS,TELNET等。

安装命令:pip install pycurl

使用pycurl库开发网页请求步骤:

(1)、创建curl实例

(2)、设置:setopt操作

(3)、执行:perform

(4)、获取信息:getinfo


下面给出一个具体的例子:

import pycurl
from io import BytesIO
c = pycurl.Curl()
c.setopt(pycurl.SSL_VERIFYPEER, 0)
c.setopt(pycurl.SSL_VERIFYHOST, 0)
c.setopt(pycurl.URL, "https://www.baidu.com/")
buffer = BytesIO()
buffer_header = BytesIO()
c.setopt(pycurl.WRITEHEADER,buffer_header )
c.setopt(pycurl.WRITEDATA,buffer )
c.perform()
print(buffer_header.getvalue().decode()) #输出网页源代码
print(buffer.getvalue().decode()) #输出 响应头信息
HTTP_CODE = c.getinfo(pycurl.HTTP_CODE) #输出 响应 http状态
print(HTTP_CODE)


微信扫一扫
加好友咨询