• Stars
    star
    646
  • Rank 69,672 (Top 2 %)
  • Language
    Python
  • License
    Apache License 2.0
  • Created almost 6 years ago
  • Updated 4 months ago

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

爬取微信公众号文章

WeChat_Article

爬取微信公众号文章

Bilibili视频演示:https://www.bilibili.com/video/BV1vN411D7Y3/

注意,除非你要断点续传,否则删除目录下conf.ini和url.json再启动!!!!

image

使用方法:

1、下载并解压Chrome.rar
2、运行main.exe
3、填入信息,点击“启动”即可。
4、如果想修改UI,可以安装这个:Qt Designer


背景知识:

使用公众号写文章时支持搜索其他公众号的文章的方式,来实现爬取指定公众号所有文章的目的。


程序原理:

通过selenium登录获取token和cookie,再自动爬取和下载


更新记录:

  1. 下载文章文字内容到txt
  2. 下载文章图片
  3. 保存HTML文件,并将图片链接指向本地
  4. 添加按时间范围下载
  5. 添加cookie登陆,不成功才selenium浏览器登陆
  6. 增加记住密码功能
  7. 修复一些问题,如requests卡死
  8. 添加按关键词下载
  9. 多线程优化下载速度
  10. 增加断点续传功能(可能存在bug,推荐不要用)
  11. 拟增加备用公众号功能(暂未完成)
  12. 下载PDF格式
  13. 不需要再手动下载Chrome,启动时会自动下载

使用说明:

创建虚拟环境

conda create -n wechat python=3.9 -y

进入虚拟环境

conda activate wechat

安装三方库

pip install -r requirements.txt

对于mac用户,安装pyqt5可能会报错,可以尝试:

brew install pyqt@5
cp -r   /opt/homebrew/Cellar/pyqt@5/5.15.7_2/lib/python3.9/site-packages/*   /Users/songxf/miniconda3/envs/wechat/lib/python3.9/site-packages/   

然后就可以导入了:

import PyQt5

运行脚本

python main.py

打包exe(生成在dist下)

pyinstaller -F -w -i icon.ico main.py

其他说明:

  • 爬取间隔太快,容易遇到“访问频繁”或“freq_control”,这时候可以删除cookie.json,再重新运行软件,换个号继续运行;
  • Qt打包完实在是太大了,有大佬会转成Tkinter吗?

欢迎关注微信公众号:xfxuezhang


打赏

如果这个项目帮助到了你,欢迎请我喝杯阔落👏🏻
yf

More Repositories

1

RemoteFileTransfer

远程文件传输程序,以知网为例
Python
102
star
2

RaspberryPi-MagicMirror

基于树莓派的智能魔镜,支持人脸识别、情感监测、热词唤醒、语音交互,以及与手机APP交互、温湿度/新闻热点/日期等的显示 等
Python
89
star
3

autosearch-grammarly-premium-cookie

免费白嫖使用Grammarly Premium高级版
Python
75
star
4

xyzw_helper

咸鱼之王的自动化脚本,自动答题、爬塔、领资源等
66
star
5

OpenMV_Face_Recognition

基于OpenMV的人脸识别,支持人脸注册、人脸检测、人脸识别
PHP
36
star
6

QQZone_AutoDownload_Album

Python+selenium 自动下载QQ空间相册
Python
34
star
7

FamilyDream_Script

家国梦自动收取金币、货物、升级建筑、拆红包等脚本
23
star
8

Ant_Forest

蚂蚁森林自动收能量,支持自动解锁和自动触发
JavaScript
22
star
9

STM32F429_CubeMX_LVGL_FreeRTOS

基于野火F429开发板,用STM32Cube生成代码,全面详细的教程
22
star
10

Download-Souhu-Article

现在有很多自媒体平台,如头条号、搜狐号、大鱼号、百家号等,每个人都可以成为创作者发布自己的作品。如果想把某个作者的文章都下下来,一篇一篇的下载会很麻烦,而用爬虫则会很简单,顺便还能练练手。这里就以抓取规则比较简单的搜狐号为例。
Python
16
star
11

auto_douban

豆瓣小组自动回帖、顶贴
Python
14
star
12

OCR

Python
10
star
13

small_tools_v2

使用tkinter和Python制作的小工具集,非常方便自己扩展
Python
10
star
14

small-tools

使用pyqt5和Python制作的小工具集,包括压缩、解压、excel转图片等
Python
9
star
15

GPS_UpperComputer_MQTT

PC上位机,可配置mqtt连接信息、解析GPS数据,并调用百度地图API显示
Python
8
star
16

Web_Source

几个网站源码
PHP
5
star
17

QQMsgTransfer

QQ消息转发器,用于多个QQ之间自动转发消息
Python
4
star
18

doubanRegister

批量注册豆瓣账号,自动加入小组,可解滑块验证、可保存注册信息与cookie。 详细可参考效果图。
4
star
19

JavaScript_MQTT

JavaScript实现的MQTT Demo
3
star
20

OpenCV_Aruco

使用C++ OpenCV实现椭圆区域检测与Aruco码的生成与检测并估计位姿
C++
3
star
21

AutoJs_TB_JD

淘宝、京东的618/双11的autojs脚本
JavaScript
2
star
22

Long2Short

Python GUI - 长链接转为短链接
Python
1
star
23

wecht_bot_demo

用了WeChatPYAPI,但免费版会定时退出,所以做了监测退出自动重登。
Python
1
star
24

xyzw_quiz

咸鱼之王自动答题脚本
Python
1
star
25

flip_clock_python

使用python自制的时钟屏保
Python
1
star
26

F1Lib

Stm32F1xx C++库
C
1
star