前言

  • HTTP：超文本传输协议，默认端口号是80
    • 超文本：是指超过文本，不仅限于文本；还包括图片、音频、视频等文件
    • 传输协议：是指使用共用约定的固定格式来传递转换成字符串的超文本内容
  • HTTPS：HTTP + SSL(安全套接字层)，即带有安全套接字层的超本文传输协，默认端口号：443
    • SSL对传输的内容（超文本，也就是请求体或响应体）进行加密
  • 可以打开浏览器访问一个url，右键检查，点击net work，点选一个url，查看http协议的形式

注:HTTPS比HTTP更安全，但是性能更低

爬虫特别关注的请求头和响应头

特别关注的请求头字段

mark

http请求的形式如上图所示，爬虫特别关注以下几个请求头字段

  • Content-Type
  • Host (主机和端口号)
  • Connection (链接类型)
  • Upgrade-Insecure-Requests (升级为HTTPS请求)
  • User-Agent (浏览器名称)
  • Referer (页面跳转处)
  • Cookie (Cookie)

加粗的请求头为常用请求头

特别关注的响应头字段

mark

http响应的形式如上图所示，爬虫只关注一个响应头字段

Set-Cookie （对方服务器设置cookie到用户浏览器的缓存）

常见的响应状态码

  • 200：成功
  • 302：跳转，新的url在响应的Location头中给出
  • 303：浏览器对于POST的响应进行重定向至新的url
  • 307：浏览器对于GET的响应重定向至新的url
  • 403：资源不可用；服务器理解客户的请求，但拒绝处理它（没有权限）
  • 404：找不到该页面
  • 500：服务器内部错误
  • 503：服务器由于维护或者负载过重未能应答，在响应中可能可能会携带Retry-After响应头；有可能是因为爬虫频繁访问url，使服务器忽视爬虫的请求，最终返回503响应状态码

所有的状态码都不可信，一切以是否从抓包得到的响应中获取到数据为准

http请求的过程

  1. 浏览器在拿到域名对应的ip后，先向地址栏中的url发起请求，并获取响应
  2. 在返回的响应内容（html）中，会带有css、js、图片等url地址，以及ajax代码，浏览器按照响应内容中的顺序依次发送其他的请求，并获取相应的响应
  3. 浏览器每获取一个响应就对展示出的结果进行添加（加载），js，css等内容会修改页面的内容，js也可以重新发送请求，获取响应
  4. 从获取第一个响应并在浏览器中展示，直到最终获取全部响应，并在展示的结果中添加内容或修改————这个过程叫做浏览器的渲染

但是在爬虫中,我们只会请求url地址,对应的拿到url地址对应的响应（该响应的内容可以是html，css，js，图片等）;爬虫没有渲染能力

所以浏览器渲染出来的页面和爬虫请求的页面很多时候并不一样