NCChineseConverter
简介
NCChineseConverter 是一个 基于 Objective-C 的中文简繁正转换库. 除此之外, 本项目还包括一个 Python 的词库转换工具.
本库的基本实现原理: 从 Mediawiki 提供的字典中提取数据, 转换为自己需要的格式, 然后用最大正向匹配算法进行字符替换.
特点
- 可以只使用单一词库
- 可扩充自定义词库
- 提供 NSString 的 Category
使用方法
- 用词典工具生成词典
- 把生成的词典放在项目的 Resources 目录下
- 按如下方式引用转换库和调用
#import "NCChineseConverter.h"
…
NSString *oriString = @"";
NSString *result = [[NCChineseConverter sharedInstance] convert:oriString
withDict:NCChineseConverterDictTypezh2TW];
…Tool
下载词库并生成词典:
python dictgenerator.py
用本地词库生成词典(适用于已经下载了词库文件):
python dictgenerator.py n
利用词典工具会在当前目录生成如下词典文件:
- zh2TW.txt (简体 -> 台湾正体)
- zh2HK.txt (简体 -> 港澳繁体)
- zh2SG.txt (简体 -> 新马繁体)
- zh2CN.txt (繁体/正体 -> 大陆简体)
方便起见, 我在 dictionary 目录中放了转换好的词典文件. 目录名称即为词典生成时间.
注意: 请勿修改文件名, 转换库是严格按照文件名来读取词典的.
自定义扩充转换词组
词典工具是根据 Mediawiki 的词库来进行词典生成, 所以要等待 Mediawiki 的词库更新才能得到新的词典. 如果你有一些 Mediawiki 里没有的词语要扩充, 则可以使用该方法来使用.
使用前缀相同的字典文件来进行自定义词组的扩充, 转换库会自动加载对应的扩充字典.
比如, 把你自己的 简体 -> 台湾正体 词典命名为 zh2TW.custom.txt, 这样转换库就可以自动加载这个词典并在转换时使用.
备注
虽然词典工具一次生成四个词典, 但是你可以视情况只使用其中一个或多个. 需要注意的是如果你没有在项目中放入某个词典文件, 那么要避免在代码里调用该字典.
未来改进
- 增加更多转换词库
- 使用 Double-array Trie Tree 来构造原始字典, 提高搜索速度
- 改进分词算法
背景
简繁正的问题在此不多说, 都是历史遗留问题, 具体情况可以自行查看 Wikipedia, 用自己的思考去判断(漢字簡化爭論). 在此只讨论技术相关问题.
简繁转换不是单纯的从一个字转换为另一个字, 他包含很多内容, 如:
- 各种繁体/正体. 如: 港澳繁体, 台湾正体. 再加上各个华人地区的中文(如新加坡)使用等.
- 简体和繁体的对照往往不止一对一, 而是一对二, 一对三, 甚至一对五(多繁對一簡問題)
目前比较常用的转换方式主要是 Wikipedia 的转换方式 和 OpenCC.
Wikipedia 进行简繁转换的操作流程参见: 繁简处理
OpenCC 的库相对比较专业. 不过这是一个 C 库, 所以如果要在 iOS 下使用, 则需要自己把库编译成 iOS 可以使用的库再进行调用.