1、 python 爬虫框架
2、 scrapy 爬虫框架
3、 PyQuery 爬虫框架
4、 Flask 爬虫框架
5、其他框架
一、网页抓取:最常用的网页抓取方式,使用 Python 中的 GoogleDrives 进行网页抓取。
二、数据分析:数据分析是爬虫工作中非常重要的一部分,对于数据挖掘也有很大帮助。
三、网站搜索: Python 能够处理网络上各种数据,所以对于搜索引擎来说, Python 是最合适不过了。
四、网站分析: Python 的功能非常强大,所以可以使用 Python 对网站进行深入分析。
五、爬虫社区: Python 爬虫社区已经非常成熟,社区中包含了大量的爬虫爱好者和程序员。
六、小型爬虫:小型爬虫通常只需要使用 Python 编写一个简单的爬虫框架即可。