爬虫.

作为一个互联网的技术开发，爬虫不管是自己写的还是所负责的网站被爬，都是挺常见的。 但是一个很常见的东西，却一直没有系统梳理过，今天我们从发展历史，价值，问题和应对恶意爬虫的策略来聊一聊爬虫。 1 爬虫发展历史 爬虫的发展历史伴随着搜索引擎的发展和大的搜索引擎公司的崛起，按时间线，大概分为三个阶段： 1.1 90 年代的早期爬虫 早期的爬虫主要用于 收集网页链…