如何在不被阻止的情况下抓取网页数据？
从网站访问公开可用的数据并将其转换为结构化数据听起来很容易。实际上，抓取网络数据变得越来越棘手，因为网站不断地阻止被发现正在窥探并从其网页收集数据的 IP。
Web 数据提取、机器学习和 Web 爬虫是有助于提高业务价值的不可避免的方面。抓取网络数据已变得非常重要，这些数据用于潜在客户生成、竞争情报实践、市场研究、价格比较等。 问题是，如何在不被阻止的情况下抓取网络数据？
让我们分解一下
问题
大多数网站都希望向真实用户提供真实的内容，并且不希望为了商业目的而抓取和抓取他们的网页。这就是为什么大多数人都开发了识别爬虫和爬虫的机制，以便他们可以部署 IP 块。
此外，网站还诉诸于应用一揽子 IP 块，从而直接禁止特定提供商的 IP。例如，AWS 服务器通常被网站禁止，因为这些服务器在抓取 Web 数据方面有着广泛的历史。
解决方案
使用代理服务器
代理服务器充当您和目标网站之间的“层”，并向目标 Web 服务器隐藏您的 IP 地址。
这些 Web 代理可以为您提供任何地理区域或设备的多个 IP，从而允许您进行大量并发请求。
在代理服务器的类型中，住宅代理是最常用的代理服务，可以在不被阻止的情况下抓取 Web 数据。确保避免使用数据中心代理，因为如果网站意识到从特定数据中心 IP 生成多个请求，则它们可以阻止来自相应数据中心的所有请求。
使用动态IP
普通用户使用某种浏览器访问网站 – 这种浏览器信息嵌入在称为 User-Agent 的 HTTP 标头值的源代码中。所以基本上，User-Agent 会告诉目标网站您正在使用的浏览器。
另一方面，抓取工具使用 cURL 命令抓取 Web 数据。当 HTTP 头中没有 User-Agent 信息时，网站一般可以识别自己正在被抓取并阻止来自相应 IP 的请求。
为您的网络爬虫设置流行的用户代理。一种可能性是将 User-Agent 设置为 Googlebot User-Agent，因为网站通常让 Googlebot 抓取网络数据。确保用户代理在每次新的浏览器更新时都是最新的。
间隔抓取
如果您每天每秒发送一次抓取和抓取请求，网站就可以跟踪正在发生的网络数据提取。
为了看起来像一个普通的网络用户，确保在你的网络爬虫中设置请求之间的随机间隔。
保持道德并避免在短时间内因过多请求而使网站过载也很重要。
设置引用标题
Referrer 标头让网站知道您来自哪个站点。由于大多数网站首先在 Google 上搜索，因此将标题设置为 https://www.google.com 是个好主意。
如果您想从特定国家/地区抓取网络数据，请确保相应地更改引荐来源网址。
例如，在澳大利亚抓取网络数据意味着将引用设置为 https://www.google.com.au。您还可以进行一些研究，并在相关时将推荐人设置为 Facebook 或 Instagram 等社交媒体网站。它有助于使请求看起来更加真实。
无头浏览器的行为与真正的浏览器完全一样，但可以根据您的需要进行编程。
一些网站可以跟踪和阻止来自无头浏览器的请求，但使用它们仍然值得一试。
最常用的无头浏览器是无头 Chrome，它对目标网站的行为类似于 Chrome 浏览器，但没有包装它的所有 UI。
用户验证码解决服务
有时，当网站怀疑收到的请求数量和类型时，网站会要求您通过发送 CAPTCHA 来确认您是人类。在这种情况下，轮换代理 IP 也可以工作。在其他情况下，将 CAPTCHA 解决服务（如 DeathByCaptchas 和 2Captchas）部署到您的网络爬虫可以帮助您。
