• Stars
    star
    622
  • Rank 72,195 (Top 2 %)
  • Language
    Python
  • License
    MIT License
  • Created over 2 years ago
  • Updated almost 2 years ago

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

基于深度学习的p站高质量涩图AI爬虫,可以学会你的XP

人工智能pixiv高质量涩图爬虫

Open In Colab

能学会你xp的AI涩图爬虫

爬虫部分基于 PixivCrawler 修改实现, 涩图识别分类部分使用 ConvNeXt 作为backbone的分类模型实现, 性能优于Trasnformer类模型。

自动筛选效果

环境配置

环境配置参考 ConvNeXt

需要 pytorch==1.8 timm==0.3.2

下载miniconda,创建新python环境并激活

conda create -n pixivai python=3.9
conda activate pixivai

安装pytorch

conda install pytorch torchvision torchaudio cudatoolkit=11.1 -c pytorch-lts -c conda-forge
# 没有N卡的用这个
conda install pytorch torchvision torchaudio cpuonly -c pytorch-lts

安装其他依赖

pip install -r requirements.txt

使用方法

下载预训练权重放在ckpt/文件夹内:

下载权重-百度网盘 提取码:mmwi 或 下载权重

根据 PixivCrawler 的说明配置爬虫,设置账号和cookie,设置要爬的内容。

pixiv_crawler/config.py中配置爬虫基本参数。

运行命令启动AI爬虫:

# 不加关键字默认爬日榜
python AIcrawler.py --ckpt 模型权重 --n_images 总图像个数 [--keyword 关键字] 

按自己的xp训练模型

数据处理

准备至少5000张图。 用labeler.py打标签,数据集标签会储存为json格式。

把不同类别放入不同文件夹,用labeler_folder.py一键打标签。

images
|--0
|  |--1.png
|  |--2.png
|
|--1

data_proc.py划分训练集和测试集,并对图像进行预处理。

修改参数,运行脚本训练:

python train.sh

训练参数设置参考 ConvNeXt

More Repositories

1

genshin_auto_fish

基于深度强化学习的原神自动钓鱼AI
Python
4,762
star
2

HCP-Diffusion

A universal Stable-Diffusion toolbox
Python
894
star
3

DreamArtist-stable-diffusion

stable diffusion webui with contrastive prompt tuning
Python
876
star
4

DreamArtist-sd-webui-extension

DreamArtist for Stable-Diffusion-webui extension
Python
694
star
5

genshin_autoplay_domain

原神全自动刷秘境AI
Python
479
star
6

genshin_voice_play

语音控制玩原神
Python
141
star
7

HCP-Diffusion-webui

webui for HCP-Diffusion
Vue
139
star
8

ML-Danbooru

Anime image tags detector
Python
73
star
9

RobustDet

The official PyTorch implementation of "Adversarially-Aware Robust Object Detector"
Python
56
star
10

ML-Danbooru-webui

webui extension of ML-Danbooru
Python
53
star
11

GenshinMidi

根据midi自动生成原神音游谱
Python
48
star
12

yuanshen_auto_music

原神自动演奏脚本
Python
40
star
13

TeyvatOCR

识别并翻译原神中的提瓦特通用文
Python
27
star
14

anime-ai-detect-fucker

针对AI画图识别AI的对抗攻击
Python
25
star
15

synthesis_watermelon

基于box2d物理引擎的安卓版合成大西瓜
Java
15
star
16

yuanshen_draw

在原神中使用围栏绘图
Python
13
star
17

genshin_maze

AI自动生成并摆放原神迷宫
Python
7
star
18

torch-analyzer

A torch model analyzer
Python
7
star
19

open_cumputer

利用esp8266+舵机实现远程开机,包含服务器端代码实现内网穿透以及安卓端开机APP代码
Java
6
star
20

rl3

强化学习作业,多智能体
Python
6
star
21

anime_resource_title_analyzer

分析动漫资源网站的标题信息(字幕组 + 番剧标题 + 分辨率 + 第几集)
Python
6
star
22

WeiChatJump

Java
5
star
23

FunctionWave

一个能用数学函数来作曲的小程序
Java
5
star
24

edge_charimg

把图像的边缘特征转化成字符图
Python
5
star
25

rl2

Python
3
star
26

ProgramCalculator

多功能可编程科学计算器,电子技术课程设计
Python
2
star
27

BlindWaterMarkKiller

消除知乎盲水印
Python
2
star
28

ys_solve

原神机关自动解谜
Java
2
star
29

Arduion_3Dcube

Arduion显示一个3D立方体
C++
2
star
30

BluetoothMosue

蓝牙鼠标安卓端源码
Java
2
star
31

4D-Draw

一个4D绘图引擎
Java
1
star
32

auto_helthy_report

中南大学自动每日打卡
Java
1
star
33

card_QR_door

刷卡、扫码宿舍门
C++
1
star
34

huaji_video

一个将视频滑稽化的软件
Java
1
star
35

Auto_Hand_Font

自动生成手写体文章
Java
1
star
36

my-gitpage

SCSS
1
star
37

MatrixCalculator

一个轻便的矩阵计算器,低配matlab
Java
1
star
38

arduino-badapple

用Arduino+oled屏播放badapple
C++
1
star
39

sysu_report

中山大学自动每日健康打卡
Python
1
star
40

RainbowNekoEngine

Neural network training and inference framework
Python
1
star
41

NekoFormer

All in one basic anime CV model. tagger+siglip+natural language
Python
1
star