taobao_bra_crawler
a taobao web crawler just for fun.
说明
淘宝文胸商品评论内容爬取与简单分析。
商品评论数据
下载地址
百度云链接: https://pan.baidu.com/s/19S5ziVX8kXhk7LtgKn94qw 密码: fmgy
Google Drive链接：https://drive.google.com/file/d/1fJtXqDtuFVL7d61GkfL3pr2wDvMzKgJx/view?usp=sharing
导入数据
mongoimport -d taobao -c rates --file ./rates.dat爬虫部署
互联网时代的网站富于变化，爬虫今天可能正常明天可能就不能用了，如果爬虫无法使用请通过百度云盘链接导入数据。
部署环境
测试环境：腾讯云主机一台
操作系统：ubuntu-14.04
数据库： mongodb
安装依赖
pip install -r requirements.txt修改配置文件
config = {
'timeout' : 3,
'db_user': '',
'db_pass': '',
'db_host': 'localhost',
'db_port': 27017,
'db_name': 'taobao',
'use_tor_proxy': False,
'tor_proxy_port': 9050
}说明：一般的爬取速度不会有禁IP的情况。
运行爬虫
python crawler/item_crawler.py # 爬文胸的商品信息
python crawler/rate_crawler.py # 爬文胸的评论信息数据处理
简单统计与可视化展示
1. 运行脚本
cd simple_analyzer
python simple_analyzer.py # 简单统计
cp bra.json data_visualization/static/ # 拷贝统计结果2. 运行网页显示
cd data_visualization
npm install # 安装依赖
npm run dev # 进行调试
npm run build # 生成dist效果展示
见: http://nladuo.github.io/bra
关键词分析
运行脚本
cd keyword_analyzer
python create_corpus.py # 1.加载评论信息
python extract_tags.py # 2.提取关键词(20分钟左右, 可以直接用我的模型进行第三步)
python create_wordcloud.py # 3.生成词云图片效果
参考
LICENSE
MIT