• Stars
    star
    325
  • Rank 129,350 (Top 3 %)
  • Language
    JavaScript
  • Created almost 8 years ago
  • Updated over 7 years ago

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

知乎大数据分析与热点生成。

ZhihuTrend

知乎大数据分析与热点生成。

这是我在分析知乎用户数据时候写的爬虫,能爬到知乎用户公开信息以及个人回答。关于爬取分析结果可以看这篇文章:知乎核心用户大数据报告:你知道知乎的男女比例是多少吗?

使用方法

  1. 安装Python
  2. 安装Scrapy
  3. 配置数据库
  4. 运行如下命令

scrapy crawl user

该命令可爬取知乎用户信息,想要爬取对应用户的回答,需要运行如下命令。

scrapy crawl activity

Enjoy Crawling ~

声明

本项目只用于研究技术使用,请勿将爬取数据分享到互联网。如因此出现法律以及纠纷问题,后果自负。