技术.

你是否也遇到过线上出问题了，查找日志，发现都是 ERROR 日志？ 你是否也遇到过虽然有日志，但是日志实在太多，在茫茫日志中无法有效地定位到问题？ 你是否遇到过要去排查前人写的代码产生的 BUG，却还需要把先把相关的代码过一遍，找到相关日志点，再去搜索日志？ 你是否遇到过日志越来越多，不同的人都在打，有些日志没有用了，还是在不停的打？ 你是否遇到过奇怪类型的…

作为一个互联网的技术开发，爬虫不管是自己写的还是所负责的网站被爬，都是挺常见的。 但是一个很常见的东西，却一直没有系统梳理过，今天我们从发展历史，价值，问题和应对恶意爬虫的策略来聊一聊爬虫。 1 爬虫发展历史 爬虫的发展历史伴随着搜索引擎的发展和大的搜索引擎公司的崛起，按时间线，大概分为三个阶段： 1.1 90 年代的早期爬虫 早期的爬虫主要用于 收集网页链…