在我们使用爬虫进行数据爬取的时候，爬着爬着就经常会遇到这种情况出现“HTTP Error 403:Forbidden”的提示，这是啥意思呢，其实他是一种http状态码，表示你在请求一个资源文件但是nginx不允许你查看。它不属于技术上的错误，但是需要技术解决问题。

　　需要返回403状态码的是哪些场景？

　　第一个场景特定的用户访问被禁止访问网站所有的内容，例如，某用户频繁的访问A网站，被A网站屏蔽

　　第二个场景访问禁止目录浏览的目录，例：设置autoindex off后访问目录。

　　第三个场景用户访问只能被内网访问的文件

　　以上三种都是常见的需要返回403 Forbidden的场景

　　所以更换IP的目的就是为了防止返回403状态码，防止爬虫被封锁，下面记录一下python使用代理爬取的过程。

　　直接上代码：

代码

　　爬虫经验说明：

　　代理IP可以使用免费的，但是实践证明免费的代理IP不仅不稳定，而且可用率也不高，安全性也得不到保障，建议可以使用付费的，虽然需要花费一些费用，但是速度，安全性都可以得到一定的保障

　　网络上的爬虫和反爬已经斗争了多年，大数据时代下，数据采集成为技术主流，但是大量的采集爬取受到了各种限制，其中最为常见的就是IP受限解决代理IP也成为一大关注点。