BallonTranslator

简体中文 | English | Русский | 日本語 | Indonesia

深度学习辅助漫画翻译工具, 支持一键机翻和简单的图像/文本编辑

界面预览

Features

一键机翻
- 译文回填参考对原文排版的估计, 包括颜色, 轮廓, 角度, 朝向, 对齐方式等
- 最后效果取决于文本检测, 识别, 抹字, 机翻四个模块的整体表现
- 支持日漫和美漫
- 英译中, 日译英排版已优化, 文本布局以提取到的背景泡为参考, 中文基于pkuseg进行断句, 日译中竖排待改善
图像编辑
支持掩膜编辑和修复画笔
文本编辑
- 支持所见即所得地富文本编辑和一些基础排版格式调整、字体样式预设
- 支持全文/源文/译文查找替换
- 支持导入导出word文档
适用于条漫

使用说明

发布版

Windows用户可从MEGA or Google Drive(注意: 需要从github release 下载最新版Ballonstranslator-1.3.xx, 解压并覆盖到Ballontranslator-1.3.0-core或者较旧的安装目录以更新程序.)

运行源码

# 克隆仓库
$ git clone https://github.com/dmMaze/BallonsTranslator.git ; cd BallonsTranslator

# 安装依赖, macOS安装requirements_macOS.txt
$ pip install -r requirements.txt

如果有N卡可以安装torch-cuda启用GPU加速:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu116

从 MEGA or Google Drive 下载data文件夹并移动到 BallonsTranslator/ballontranslator目录, 最后运行

python ballontranslator

如果要使用Sugoi翻译器(仅日译英), 下载离线模型, 将 "sugoi_translator" 移入BallonsTranslator/ballontranslator/data/models.

构建macOS应用（本方法兼容intel和apple silicon芯片）

1、准备工作

从MEGA下载libs和models。

📌截止2023年9月11日Google Drive资源尚未更新到最新，因此不要从Google Drive下载libs和models。

下载libopencv_world.4.4.0.dylib和libpatchmatch_inpaint.dylib。

📌下面的压缩包中的dylib均为fat文件，同时兼容intel芯片和apple芯片的Mac设备

libopencv_world.4.4.0.dylib.zip

libpatchmatch_inpaint.dylib.zip

将下载的资源全部放入名为data文件夹，最后的目录树结构应该如下所示：

data
├── libopencv_world.4.4.0.dylib
├── libpatchmatch_inpaint.dylib
├── libs
│   └── patchmatch_inpaint.dll
└── models
    ├── aot_inpainter.ckpt
    ├── comictextdetector.pt
    ├── comictextdetector.pt.onnx
    ├── lama_mpe.ckpt
    ├── manga-ocr-base
    │   ├── README.md
    │   ├── config.json
    │   ├── preprocessor_config.json
    │   ├── pytorch_model.bin
    │   ├── special_tokens_map.json
    │   ├── tokenizer_config.json
    │   └── vocab.txt
    ├── mit32px_ocr.ckpt
    ├── mit48pxctc_ocr.ckpt
    └── pkuseg
        ├── postag
        │   ├── features.pkl
        │   └── weights.npz
        ├── postag.zip
        └── spacy_ontonotes
            ├── features.msgpack
            └── weights.npz

7 directories, 23 files

安装pyenv命令行工具，这是用于管理Python版本的工具

# 通过Homebrew途径安装
brew install pyenv

# 通过官方自动脚本途径安装
curl https://pyenv.run | bash

# 安装完后需要设置shell环境
echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.zshrc
echo 'command -v pyenv >/dev/null || export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.zshrc
echo 'eval "$(pyenv init -)"' >> ~/.zshrc

2、构建应用

# 进入`data`工作目录
cd data

# 克隆仓库`dev`分支
git clone -b dev https://github.com/dmMaze/BallonsTranslator.git

# 进入`BallonsTranslator`工作目录
cd BallonsTranslator

# 运行构建脚本，运行到pyinstaller环节会要求输入开机密码，输入密码后按下回车即可
sh build-macos-app.sh

📌打包好的应用在./data/BallonsTranslator/dist/BallonsTranslator.app，将应用拖到macOS的应用程序文件夹即完成安装，开箱即用，不需要另外配置Python环境。

一键翻译

建议在命令行终端下运行程序, 首次运行请先配置好源语言/目标语言, 打开一个带图片的文件夹, 点击Run等待翻译完成

一键机翻嵌字格式如大小、颜色等默认是由程序决定的, 可以在设置面板->嵌字菜单中改用全局设置. 全局字体格式就是未编辑任何文本块时右侧字体面板显示的格式:

按下鼠标左键拖动矩形框抹除框内文字, 按下右键拉框清除框内修复结果.
抹除结果取决于算法(gif中的"方法1"和"方法2")对文字区域估算的准确程度, 一般拉的框最好稍大于需要抹除的文本块. 两种方法都比较玄学, 能够应付绝大多数简单文字简单背景, 部分复杂背景简单文字/简单背景复杂文字, 少数复杂背景复杂文字, 可以多拉几次试试.
勾选"自动"拉完框立即修复, 否则需要按下"修复"或者空格键才进行修复, 或"Ctrl+D"删除矩形选框.