现在网络中爬虫的情况是怎样的？

网络中很多事情上来自爬虫，下面简单谈谈目前爬虫的现状。

1.技术

反爬行动物几乎与爬行动物同时诞生。它们是相爱的技术，没有爬行动物就没有成败，反驳技术反而可以促进爬行动物技术的发展。

交互问题：各种变态的验证码泛滥。

Js加密：用最近流行的反驳技术，爬虫首先要学js，然后反爬虫工程师在js中进行各种操作。

IP限制：在一段时间内限制对单个IP的访问

这里只介绍了反驳技术，当然现成的技术解决都有，但作为爬虫，最重要的不是利用工具或框架来应对反刍，而是通过自己的思考和摸索来破解反刍。因为反驳技术变得又快又多样。

2.展望

现在很多人不看好爬虫的前景，只要爬虫的技术就停留在现在的水平，不学习新的知识，不进一步发展，就没有未来。总有一天会被时代淘汰。事实上，其他职位也是如此。

所有职业都有横向和纵向的发展，即所谓的广度和深度的意义。第一，如果专业研究足够深入，爬虫功能非常强，性能优异，扩展性非常强，那么还是很有前途的。第二，爬行动物是数据的来源，它的背后可以向很多方向发展。例如，可以发展成大数据分析、数据展示、机器学习等。

未来是无限的。现在作为大数据时代，你占据着数据的入口，害怕找不到发展方向。