ZhihuTrend
知乎大数据分析与热点生成。
这是我在分析知乎用户数据时候写的爬虫,能爬到知乎用户公开信息以及个人回答。关于爬取分析结果可以看这篇文章:知乎核心用户大数据报告:你知道知乎的男女比例是多少吗?
使用方法
- 安装Python
- 安装Scrapy
- 配置数据库
- 运行如下命令
scrapy crawl user
该命令可爬取知乎用户信息,想要爬取对应用户的回答,需要运行如下命令。
scrapy crawl activity
Enjoy Crawling ~
声明
本项目只用于研究技术使用,请勿将爬取数据分享到互联网。如因此出现法律以及纠纷问题,后果自负。