CSDN,52账号:灵海之森 微信公众号:西书北影。欢迎关注
环境:Python3.6
全新的微博爬虫三件套已发布,位于
https://github.com/stay-leave/weibo-crawler
基于网页端,字段和数据量更上一个台阶。
仅做学习交流使用!不收费,若发现搬运倒卖的,请私信我处理。
包含微博爬虫、LDA主题分析和情感分析三个部分。
新增话题热度、话题相似度部分。
新增地图可视化部分,数据由团队自行搜集。
1.微博爬虫
实现微博评论爬取和微博用户信息爬取,一天大概十万条。
2.LDA主题分析
实现文档主题抽取,包括数据清洗及分词、主题数的确定(主题一致性和困惑度)和最优主题模型的选择(暴力搜索)。
3.情感分析
实现评论文本的情感值计算,准确率超过97%,处于0到1之间。
4.话题热度计算
实现话题的热度的计算,同一时间内总和为1.
5.主题相似度计算
实现两个相邻时间片的话题的演化探测,以判断主题演化情况。
6.地图绘制
实现分省市情感均值、评论总数、新增确诊人数的地图可视化。