在做爬虫的过程中，常常会碰到这些的状况，刚开始爬虫正常的运行，正常的抓取数据，可是过了一会儿很有可能就出错，例如403禁止访问，这个时候打开网站看了一下，很有可能会见到“您的IP浏览次数过高”这类提示。

搜索引擎能够在互联网这个汪洋大海中，帮助我们找到我们想要的各种信息。其实这是通过一个叫做爬虫的程序来实现信息检索的，通常爬虫程序需要设置一个代理ip来提高检索的效率。