• Stars
    star
    565
  • Rank 78,317 (Top 2 %)
  • Language
    Python
  • Created almost 8 years ago
  • Updated about 2 years ago

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

100行Python代码快速获得一个代理池,两分钟获得数千个有效代理

Proxies

100行Python代码快速获得一个代理池,两分钟获得数千个有效代理。

爬虫一般情况下需要FQ,请自行修改SPIDER_PROXIES的配置,参考格式:

SPIDER_PROXIES = {'http': 'socks5://127.0.0.1:1086', 'https': 'socks5://127.0.0.1:1086'}

注:ip138的URL可能会失效,可以访问ip138.com查看源码获得新URL,或修改为其他可返回IP的URL

如果发现新的站点,可以增加SITES的内容

USAGE 使用方法

安装依赖

pip3 install requests

运行

python3 run.py

# 指定验证的URL(默认是ip138)
python3 run.py -u 'https://www.baidu.com'

# 指定输出文件位置(默认是proxies.txt)
python3 run.py -o 'output.txt'

# 指定从文件读入代理校验(默认是爬虫爬代理)
python3 run.py -f 'input.txt'

# 从指定文件读取代理,并指定校验网站和输出位置
python3 run.py -f 'input.txt' -u 'https://www.baidu.com' -o 'output.txt'

注意:输出文件会被覆盖。

Preview

LICENSE

WTFPL

More Repositories

1

music-dl

search and download music 从网易云音乐、QQ音乐、酷狗音乐、百度音乐、虾米音乐、咪咕音乐等搜索和下载歌曲
Python
3,714
star
2

dumpall

一款信息泄漏利用工具,适用于.git/.svn/.DS_Store泄漏和目录列出
Python
1,298
star
3

TotalPass

Default password scanner. 默认密码扫描器
Python
195
star
4

CleanApps

让互联网为用户服务,而不是把用户变成互联网的产品
167
star
5

XPS13-9360-i5-8250U-macOS

Hackintosh macOS Mojave 10.14 on XPS13-9360 黑苹果10.14安装配置及教程
Rich Text Format
146
star
6

caidao

中国菜刀及其衍生版本的Webshell管理工具收集
65
star
7

mafengwo-crawlers

马蜂窝分布式爬虫,用来获取目的地和景点信息
Python
46
star
8

x12306

12306查票助手,一键查询沿途所有站点,先上车后补票,让你的出行更省心。
Python
32
star
9

ASUS-Z370-F-i7-8700K-macOS

Hackintosh ASUS华硕Z370-F黑苹果EFI配置和教程 macOS Ventura 13.2 & macOS Big Sur 11.1 & macOS Catalina 10.15 & macOS Mojave 10.14
Rich Text Format
19
star
10

Intel-NUC9-i7-9850H-macOS

Intel NUC9V7QNX Hackintosh 英特尔 NUC9 幽灵峡谷黑苹果配置和教程 支持 macOS Sonoma 14.3
17
star
11

HeyMo

更好用的Windows编程字体
15
star
12

srunauth

浙江大学软件学院(srun3000)上网认证
Shell
11
star
13

passgen

一个简易密码生成器 A simple password dictionary generator
Python
7
star
14

ipip

IP归属地批量查询
Python
6
star
15

hackbox

一个无聊的小工具箱 https://github.com/0xHJK/hackbox
Python
5
star
16

zhihu-fuli

过滤知乎当前页面的图片,以瀑布流形式展现,如果显示不正常,请使用最新版chrome
JavaScript
5
star
17

0xHJK

about
1
star
18

biaozhun

网络安全和信息化相关国家标准和行业标准目录
1
star