• Stars
    star
    147
  • Rank 249,860 (Top 5 %)
  • Language
    HTML
  • Created over 3 years ago
  • Updated over 1 year ago

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

bilibili弹幕分析,包含爬虫、词云分析、词频分析、情感分析、构建衍生指标,可视化

Smartproxy stormproxies 海外http代理

Smart proxy-海外HTTP代理-1亿纯净住宅IP-全球代理Smartproxy

图片

官网链接:https://www.smartproxy.cn/
专属注册链接:https://www.smartproxy.cn/regist?invite=4DWE6S

专业海外http代理商,千万优质纯净住宅IP资源,,全球城市覆盖,,高匿稳定提供100%原生住宅IP,支持社交账户,电商平台,网络数据收集等服务。
真实IP住宅,可以TikTok养号,高匿名性,伪装度高,成功率高,实名注册就送500m流量,套餐价格65折!

  • 超高并发备份
    独享高性能服务器,以真实住宅地址进行请求访问,保持代理正常连接,不限制并发数量,降低业务成本,提高运行效率。
  • 优质IP资源
    整合真实家庭住宅IP,汇聚IP资源池,不断更新IP,来自全球各个国家地区进行访问。自有数据节点,网络集成快捷。
  • 形式多样
    多种代理认证模式,帮助账户灵活设置,账密模式通过region参数添加制定国家城市;API白名单模式通过API链接获取即可。
  • 技术服务
    支持业务场景定制独享IP,千兆超高速带宽,出口IP可定制时效提供获取流量使用报告,追踪流量记录。

bilibili-barrage-analysis

bilibili弹幕分析,包含爬虫、词云分析、词频分析、情感分析、构建衍生指标,可视化


主要依赖库

selenium
pandas
lxml
json
requests
pyecharts
jieba
snownlp
wordcloud

信息爬取
  1.1 爬取bilibili某一个分区(可通过url定义)特定日期下按照视频热度降序排序的视频信息,包含:href、视频时长、名称、BV号、播放量、弹幕数、up主、up主id
  1.2 通过BV号获取视频评论Cid,解析xml网页,简单获取各个视频的弹幕内容(注意:条数有限制,xml的弹幕条数不超过1000条)
  1.3 通过up主id,获取up主在爬取时的粉丝数,此粉丝数可以精确到个位数
  1.4 通过BV好获取视频评论Cid,获取详细的弹幕内容,包括:弹幕出现时间、弹幕模式、字号、弹幕颜色、弹幕池、发送者加密id、弹幕id

数据分析--词云
  2.1 全区弹幕词云分析,可以通过自己编写剔除单字、去除停用词、调整分词模型进行优化
  2.2 分频道弹幕词云分析

数据分析--弹幕条数
  3.1 分析全区弹幕前十视频,使用pyecharts柱状图进行可视化
  3.2 分析各频道平均/最高视频弹幕数

数据分析--指标构建
  构建指标:互动指数:弹幕数 / 播放量 * 100
              粉丝响应指数:up主粉丝数 / 播放量
  4.1 全区互动指数最高前十视频
  4.2 各频道最高/平均互动指数
  4.3 全区粉丝响应指数最高前十视频
  4.4 各频道最高/平均粉丝响应指数

数据分析--情感分析
  5.1 分析全区所爬取的所有视频的所有弹幕的情感分布情况,获取总体情感指数印象
  5.2 分析各个视频的情感分析,对每一条弹幕进行情感分析,输出弹幕的情感分析指数Excel表
  5.3 分析各个频道的情感分析指数分布图

More Repositories

1

A-stock-prediction-algorithm-based-on-machine-learning

(陆续更新)重新整理过的基于机器学习的股票价格预测算法,里面包含了基本的回测系统以及各种不同的机器学习算法的股票价格预测,包含:LSTM算法、Prophet算法、AutoARIMA、朴素贝叶斯、SVM、随机森林等
HTML
242
star
2

Stock-prediction-algorithm-based-on-machine-learning

基于机器学习的股票投资算法,使用到了Auto-ARIMA、LSTM、SVM、Prophet、朴素贝叶斯、移动平均算法等多个算法,从信息收集、算法分析、回测等多个方面进行分析,从消息面、基本面、技术面三种分析方法进行分析。
Python
88
star
3

dazhongdianping

更新给出selenium库的爬虫,效率很高,且能直接用。 python,大众点评的爬虫,突破反爬,获取关于任意店铺的评论和评分之类的。给出破解css加密的逻辑
Python
37
star
4

LIANJIA-data-analysis

链家广州二手房爬虫-数据分析-可视化
HTML
24
star
5

CNKI-analysis

使用python,从知网上爬取相关的数据,并进行数据分析,涉及到pycharm和jupyter notebook
Jupyter Notebook
21
star
6

SEIR-Model-extension

基于SEIR传染病模型的延伸建模,加入了死亡人群,构建基本的SEIDR模型,加入疫苗影响、政府管控、病毒变异等因素,在原模型的基础上进行延伸
Python
17
star
7

qcc_searchmulti

企查查高级搜索和批量查询爬虫
Python
14
star
8

douban-crawler-and-analysis

豆瓣电影爬虫,爬取评论情况并进行分析,使用echart进行可视化
HTML
12
star
9

Sentence-reference-model-of-criminal-decision-based-on-historical-precedents

本项目将会以部分裁判文书网上面案由为故意杀人罪的刑事一审判决书为原始数据,通过爬虫的方式获取数据,并通过文本分析的方式对原始的文本进行目标文本提取,并对判决书中针对被告人信息、法院认定、判决情况等部分的信息进行特征提取,并进行特征转换以构建建模变量。本项目以法院的一审判决作为目标变量进行建模,观察该思路建模的模型有效性,并从数据建模的角度去分析法院一审结果的影响因素。
Jupyter Notebook
7
star
10

Valentine-s-Day-Gift

情人节表白神器,将你的表白对象都用我爱你填满吧!算法在README.ME文件中嘿嘿
Python
4
star
11

LIANJIA-data-modeling

链家广州二手房爬虫-数据分析-建模分析-逻辑回归
Jupyter Notebook
1
star
12

Texas

德州扑克在线对战,多人对战
Python
1
star
13

Crawler_Collection

This is a Python crawler collection for simple data crawlers. All crawlers are simple, without algorithm introduction
HTML
1
star
14

e-fi

一站式金融服务平台,主要用于筛选金融产品和个性化推荐。使用Python-Django框架进行开发,入围华南理工大学2019年黑客松大赛决赛。
1
star