Spider_X-Forward-For 看破红尘，代理 IP 无所遁形！

X-Forward-For 看破红尘，代理 IP 无所遁形！本文字数： 7.9k 阅读时长 ≈ 7 分钟 在开始了解 X-Forward-For 之前，我们先来假设一个场景。你是一名爬虫工程师，现在要爬取目标网站 xxx.com 上面的内容。在编码的时候，你发现单位时间内请求频率过高时会被限制，猜测应该是目标网站针对 IP 地址做了限制。现在你有两种选择： 单机，用 IP 代理解决频率高被限制的

Coding Python
Python Spider Proxy

Spider-ProxyPool代理池的维护

代理池的维护本文字数： 15k 阅读时长 ≈ 23 分钟 我们在上一节了解了代理的设置方法，利用代理我们可以解决目标网站封 IP 的问题，而在网上又有大量公开的免费代理，其中有一部分可以拿来使用，或者我们也可以购买付费的代理 IP，价格也不贵。但是不论是免费的还是付费的，都不能保证它们每一个都是可用的，毕竟可能其他人也可能在用此 IP 爬取同样的目标站点而被封禁，或者代理服务器突然出故障或网络繁忙

Coding Python
Python Spider Proxy

Spider-Urllib3

Urllib1.什么是互联网爬虫？ 如果我们把互联网比作一张大的蜘蛛网，那一台计算机上的数据便是蜘蛛网上的一个猎物，而爬虫程序就是一只小蜘蛛，沿着蜘蛛网抓取自己想要的数据12解释1：通过一个程序，根据Url(http://www.taobao.com)进行爬取网页，获取有用信息解释2：使用程序模拟浏览器，去向服务器发送请求，获取响应信息 2.爬虫核心?1231.爬取网页：爬取整个网页  包含了网

Coding Python
Python Spider Urllib

Spider-Proxy代理的设置

代理的设置本文字数： 8.4k 阅读时长 ≈ 18 分钟 在前面我们介绍了多种请求库，如 Requests、Urllib、Selenium 等。我们接下来首先贴近实战，了解一下代理怎么使用，为后面了解代理池的使用打下基础。 下面我们来梳理一下这些库的代理的设置方法。 1. 获取代理在做测试之前，我们需要先获取一个可用代理，搜索引擎搜索“代理”关键字，就可以看到有许多代理服务网站，在网站上会有很多免

Coding Python
Python Spider Proxy

Spider-Appium的基本使用

Appium 的基本使用本文字数： 8.4k 阅读时长 ≈ 18 分钟 Appium 的基本使用Appium 是一个跨平台移动端自动化测试工具，可以非常便捷地为 iOS 和 Android 平台创建自动化测试用例。它可以模拟 App 内部的各种操作，如点击、滑动、文本输入等，只要我们手工操作的动作 Appium 都可以完成。在前面我们了解过 Selenium，它是一个网页端的自动化测试工具。App

Coding Python
Python Spider Appium