• Stars
    star
    933
  • Rank 48,976 (Top 1.0 %)
  • Language
    Go
  • License
    MIT License
  • Created over 5 years ago
  • Updated over 1 year ago

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

抖音推荐/搜索页视频列表视频爬虫方案,基于app(虚拟机或真机) 相关技术 golang adb

抖音推荐/搜索页视频列表视频爬虫方案

最近测试可用时间:2022.08.23

adb暂未实现进入搜索页的操作,请根据自身技术栈实现相关点击操作及键入关键词等

老版本请切换到old分支查看,old分支使用anyproxy抓取,更适合大多数人使用

基于APP爬取

技术栈:golang adb

特点

  • 可设置仅抓取大于xx赞的视频
  • 可自定义设置是否下载远程文件到本地

使用

  1. 安装mitm-proxy.crt证书到相关设备,虚拟机或真机

  2. 复制 config.example.tomlconfig.toml,并根据自己需求修改参数

  3. 运行本项目程序 go run main.go 或 编辑运行

  4. 若开启下载会生成一个 database.db的sqlite3数据库文件,字符详见model/videos.go文件,静态文件(用户头像,视频封面图,视频文件)将放在download/[avatar,cover,video]目录下

  5. 最后根据个人需要上传处理即可

待优化的地方

  • 一直滑动请求推荐列表,APP会异常退出,所以暂时的方法是每爬取一段时间(配置文件里可自定义)后,强制关闭APP,重新打开继续爬取

  • 目前个人在用的雷电模拟器,长时间运行会卡死,暂不清楚是系统原因还是模拟器原因,有测试能稳定运行环境的朋友,方便的话请告诉我,谢谢

最后说明

  • 个人能力一般,有很多编码不规范的地方请包涵
  • 有能力的朋友可以根据个人需求修改,如果可以请提交pr
  • 如果使用有问题,请提交issues 或加我同名微信号,请备注github过来的,谢谢

Stargazers over time

Stargazers over time

Thanks

gorm.io/gorm
github.com/ouqiang/goproxy
github.com/spf13/viper

Development Tool (IDE) For Jetbrains

Thanks for Jetbrains Open Source Licenses.

声明

本项目只做个人学习研究之用,不得用于商业用途!