xresloader

文档: https://xresloader.atframe.work

主要功能

• 跨平台（java 11 or upper）
• Excel => protobuf/msgpack/lua/javascript/json/xml
• 完整支持协议结构，包括嵌套结构和数组嵌套
• 同时支持protobuf proto v2 和 proto v3
• 支持导出proto枚举值到lua/javascript代码和json/xml数据
• 支持导出proto描述信息值到lua/javascript代码和json/xml数据（支持自定义插件，方便用户根据proto描述自定义反射功能）
• 支持导出 UnrealEngine 支持的json或csv格式，支持自动生成和导出 UnrealEngine 的 DataTable 加载代码
• 支持别名表，用于给数据内容使用一个易读的名字
• 支持验证器，可以在数据里直接填写proto字段名或枚举名，或者验证填入数据的是否有效
• 支持通过protobuf协议插件控制部分输出
• 支持自动合表，把多个Excel数据表合并成一个输出文件
• 支持公式
• 支持空数据压缩（裁剪）或保留定长数组
• 支持基于正则表达式分词的字段名映射转换规则
• 支持设置数据版本号
• Lua输出支持全局导出或导出为 require 模块或导出为 module 模块。
• Javascript输出支持全局导出或导出为 nodejs 模块或导出为 AMD 模块。
• 提供CLI批量转换工具（支持python 2.7/python 3 @ Windows、macOS、Linux）
• 提供GUI批量转换工具（支持Windows、macOS、Linux）
• CLI/GUI批量转换工具支持include来实现配置复用

本工程只是转表引擎工具，批处理（批量转表）工具的请参见：

• 批量转表配置规范: https://github.com/xresloader/xresconv-conf
• 跨平台GUI工具(Windows/Linux/macOS): https://github.com/xresloader/xresconv-gui
• 跨平台命令行工具(兼容python2和python3，Windows/Linux/macOS): https://github.com/xresloader/xresconv-cli

v2.11.0-rc2及以前版本更新迁移指引

由于 v2.11.0-rc3 版本变更了默认的索引器，导致对Excel一些内置的数据类型处理和先前有一些差异。比如对于日期时间类型、百分率等。 现在会先转出原始的文本，再根据protocol的目标类型做转换。如果需要回退到老的POI索引，可以使用 --enable-excel-formular 选项切换到老的索引器。

新版本开始使用JDK 11打包，如果仍然需要 JDK1.8打包请自行下载源码并修改 pom.xml 内 maven-compiler-plugin 的 source 和 target 后使用 mvn package 命令打包。

License

GET START

使用步骤

1. 下载xresloader
2. 定义protobuf的协议文件(.proto)
3. 使用protobuf官方工具protoc把.proto文件转换成pb
4. 编写Excel,并且字段名和protobuf协议字段名和层级关系对应
5. 执行命令 java -jar XRESLOADER.jar [参数...]，传入excel文件名、表名和其他规则。（参数和选项见 工具命令行参数 ）
6. 使用对应的语言或者工具库加载导出的数据。（编码规则和解析工具见 关于加载导出的数据 ）

• sample目录下有所有功能的示例excel、配置、协议和对sample数据的几种读取方式代码

工具命令行参数

执行方式 java -jar xresloader.jar [参数...]

生成源和结果在sample目录下, xresloader的路径为 ../target/xresloader-1.4.1.jar

推荐使用--stdin批量输入+多个-m参数指定转表参数的模式,如:

echo "
-t lua -p protobuf -f proto_v3/kind.pb --pretty 2 -m \"DataSource=资源转换示例.xlsx|arr_in_arr|3,1\" -m \"MacroSource=资源转换示例.xlsx|macro|2,1\" -m \"ProtoName=arr_in_arr_cfg\" -m \"OutputFile=arr_in_arr_cfg.lua\" -m \"KeyRow=2\" -o proto_v3
-t bin -p protobuf -f proto_v3/kind.pb -m \"DataSource=资源转换示例.xlsx|arr_in_arr|3,1\" -m \"MacroSource=资源转换示例.xlsx|macro|2,1\" -m \"ProtoName=arr_in_arr_cfg\" -m \"OutputFile=arr_in_arr_cfg.bin\" -m \"KeyRow=2\" -o proto_v3
" | java -Dfile.encoding=UTF-8 -client -jar ../target/xresloader-1.3.3.0.jar --stdin

其他调用形式见sample

可用参数列表

协议类型

1. protobuf （已实现）
2. capnproto （暂未支持:目前capnproto还没有提供java下通过反射打解包数据的方法，暂时放弃支持）
3. flatbuffer （暂未支持:目前flatbuffers还没有提供java下通过反射打解包数据的方法，暂时放弃支持）

数据源描述文件说明(根据后缀判断类型有不同读取方式)

数据源描述表配置项及示例

数据源描述的特别说明

比如在资源转换示例.xlsx中：

1. DataSource指明配置从文件:资源转换示例.xlsx，表:kind，第3行第1列开始读数据
2. MacroSource指明配置从文件:资源转换示例.xlsx，表:macro，第2行第1列开始读数据文本替换的搜索串，并第2列读替换目标
3. ProtoName指明协议中的数据结构名称为role_cfg
4. OutputFile指明输出的文件名
5. KeyRow指明从文件:资源转换示例.xlsx，表:kind（DataSource指定）第2行找字段名称，并转换成协议中的字段名。填充数据到该字段。
6. KeyCase指明从第2行的字段名称转换成协议中的字段名时要转换成小写(如果字段名和第2行的内容一致则填不变即可)
7. KeyWordSplit指明从第2行的字段名称转换成协议中的字段名时分词符号是*_*。(如果字段名和第2行的内容一致则留空)
8. KeyPrefix指明从第2行的字段名称转换成协议中的字段名后，字段名加固定前缀
9. KeySuffix指明从第2行的字段名称转换成协议中的字段名后，字段名加固定后缀
10. KeyWordRegex指明分词的判定规则，全部是正则表达式

• 主配置（分词匹配符）：[A-Z_\$ \t\r\n] 是指，碰到大写字母、下划线、$符号、空格和打印符、换行符都认为是新单词
• 次配置（过滤匹配符）：[_\$ \t\r\n] 是指，碰到分词符号后下划线、$符号、空格和打印符、换行符时都要移除
• 补充配置（起始匹配符）：[a-zA-Z_\$] 是指，第一次碰到字母、下划线、$符号后才开始认为是字段名，前面的都视为无效字符

11. Encoding指明输出的字符串内容都是UTF-8编码。（目前最好只用UTF-8，因为protobuf里写死了UTF-8编码，其他编码不保证完全正常）
12. CallbackScript指向的脚本中，需要满足已下条件:

• 可使用 gOurInstance 访问数据源接口（ DataSrcImpl.getOurInstance() ）
• 可使用 gSchemeConf 访问数据转换配置接口（ SchemeConf.getInstance() ）
• 提供 function initDataSource() 函数，将在切换数据源时触发（文件名或sheet名）。
• 提供 function currentMessageCallback(originMsg, typeDesc) 函数，将在切换数据源时触发（文件名或sheet名）。
  • originMsg 为原始数据结构的 HashMap 结构
  • typeDesc 为数据类型描述信息, org.xresloader.core.data.dst.DataDstWriterNode.DataDstTypeDescriptor 结构

上面的配置中，数据从第3行读取，Key从第2行读取。那么第一行可以用来写一些说明或描述性数据。

以上6-10是都为了兼容某些情况下的名称和规范的适配问题。

比如：资源转换示例.xlsx的kind表中，0CostType这一项

1. KeyWordRegex的补充配置会过滤掉前缀0（不匹配[a-zA-Z_$]），即CostType
2. KeyWordRegex的主配置会在大写字母处做分词，次配置指明保留字母，即分割成Cost Type
3. KeyCase指明转换成小写，即cost type
4. KeyWordSplit指明分词符号是_，即cost_type
5. 最后匹配到kind.proto中role_cfg的cost_type字段.

如果不需要字段名转换，直接把KeyWordRegex的配置全部配成空即可。（注意这样大小写转换也不会执行）

输出格式说明

注意： Xml输出格式中，列表元素的结构是<配置名称 for="0">数据1</配置名称><配置名称 for="1">数据2...</配置名称> 属性字段for表示数组索引，目的是方便通过xpath查找。

关于加载导出的数据

转出的数据都采用header+data_block的形式。本工具并不规定怎么读取转表导出的数据，开发者可以按照转出的数据规则自由操作。

建议项目中使用导出的协议二进制或者msgpack。协议二进制可以用任意语言加载protobuf或者其他类似工具（如：pbc 或 upb ）加载。

而其他导出类型可以用于一些外部工具的集成，比如基于Web的GM工具，基于Lua的远程调试工具等等。

但是为了使用方便，在loader-binding里提供了几种基本的读表方式。

protobuf协议

• protobuf的协议数据解包主要流程:

  1. 二进制文件使用third_party/xresloader-protocol/core/pb_header.proto 中的 xresloader_datablocks 结构解包
  2. xresloader_datablocks.data_block内保存的二进制使用指定的配置协议解包
  3. xresloader_datablocks.data_block的个数就是Excel转出的数据行数，注意包含空行

• 如果你使用官方的protobuf或protobuf-lite，可以使用loader-binding/cxx来加载配置

  sample 参见: sample/cxx/read_kind_sample.cpp

• 如果你使用云风的pbc，可以使用loader-binding/pbc来加载配置

  这个加载器会依赖 https://github.com/owent-utils/lua/tree/master/src 里的部分内容。

  需要使用pbc先加载header/pb_header.pb文件。

  proto v3请注意: pbc 不支持[packed=true]属性。在proto v3中，所有的repeated整数都默认是[packed=true]，要使用pbc解码请注意这些field要显示申明为[packed=false]

  或者使用我修改过的pbc的proto_v3分支

  pbc_config_manager:load_buffer_kv(协议名, 二进制, function(序号, 转出的lua table) return key的值 end) -- 读取key-value型数据接口

  pbc_config_manager:load_buffer_kl(协议名, 二进制, function(序号, 转出的lua table) return key的值 end) -- 读取key-list型数据接口

• 如果你使用protobuf的 upb和 upb 的Lua binding加载配置，可以使用 xres-code-generator 子项目 来生成加载配置的代码

• UE支持:

  • 可以直接输出支持UE DataTable的 Ue-Csv 或者 Ue-Json 格式，同时也会输出对应结构的代码和导入设置。
  • 也可以通过 xres-code-generator 子项目来生成C++接口，再通过 template/UE* 的UE模板来生成蓝图支持的Wrapper接口。通过这种方式加载数据支持多版本并存和支持复杂的多级索引和多个索引。

其他输出格式

注意：所有导出非二进制的数据都是不带包名的（package），但是使用-c --const-print选项导出协议常量除外。因为数据加载一般有manager统一管理，而协议常量一般直接用于代码中。

导出的常量都很简单易懂，直接看生成的文件很容易理解，这里不再额外作说明了。

1. lua格式输出可以按loader-binding/lua的说明读取。

这个加载器会依赖 https://github.com/owent-utils/lua/tree/master/src 里的部分内容。

conf_manager:load_kv(require的路径, function(序号, 转出的lua table) return key的值 end) -- 读取key-value型数据接口

conf_manager:load_kl(require的路径, function(序号, 转出的lua table) return key的值 end) -- 读取key-list型数据接口

2. MsgPack的读取的语言和工具很多，任意工具都能比较简单地读出数据，loader-binding/msgpack里有一些读取示例(Python和Node.js)
3. Json的读取的语言和工具很多，任意工具都能比较简单地读出数据，故而不再提供读取工具
4. Xml的读取的语言和工具很多，任意工具都能比较简单地读出数据，故而不再提供读取工具
5. Javascript的读取的语言和工具很多，任意工具都能比较简单地读出数据，loader-binding/javascript里有相关说明

高级功能

验证器

Excel里的Key使用@后缀的字段名，@后面的部分都属于验证器。或者也可以通过协议插件来设置验证器，如果一个字段使用了验证器，验证器可以使用以下值:

• 函数: InText("文件名"[, 第几个字段[, \"字段分隔正则表达式\"]]) : 从文本文件（UTF-8编码）,可以指定读第几个字段和用于字段分隔的正则表达式
• 函数: InTableColumn("文件名", "Sheet名", 从第几行开始, 从第几列开始) : 从Excel数据列读取可用值,指定数据行和数据列
• 函数: InTableColumn("文件名", "Sheet名", 从第几行开始, KeyRow, KeyValue) : 从Excel数据列读取可用值,指定数据行并通过某一行的的值获取数据列
• 自定义验证器名（通过 --validator-rules 加载）
• 协议类型（对应protobuf的message里的每个field，excel里可以填field number或者field name）
• 枚举类型（对应protobuf的enum里的每个number，excel里可以填enum number或者enum name）
• 值范围: A-B（比如 0-1234 ）或 >=A（比如 >=1234 ）或 <=A（比如 <=1234 ）或 >A（比如 >1234 ）或 <A（比如 <1234 ）
• 多个验证器可以使用“或”符号（“|”)来分隔开， 任意一个验证器满足条件则认为时合法数据(如: 100-200|2000-3000|test_msg_verifier)

自定义验证器的配置格式(YAML):

validator:
  - name: "validator name"
    rules:
      - validator_rule1
      - validator_rule2
      - ...

详见 sample/资源转换示例.xlsx 的upgrade_10001和upgrade_10002表

Protobuf插件

项目中可以导入 header/extensions 目录， 然后通过导入 header/v2 或 header/v2 中的相应proto文件来支持额外的插件扩展支持。

Protobuf插件 - Message插件

Protobuf插件 - Field插件

Protobuf插件 - EnumValue插件

Protobuf插件 - Oneof插件(2.8.0版本及以上)

生态和工具

• xresconv-gui: GUI批量转表工具。 https://github.com/xresloader/xresconv-gui
• xresconv-cli: 命令行批量转表工具。 https://github.com/xresloader/xresconv-cli
• xres-code-generator: 读表代码生成工具。 https://github.com/xresloader/xres-code-generator
• xresloader-dump-bin: 二进制输出的dump工具。 https://github.com/xresloader/xresloader-dump-bin

  用于把转表生成的二进制导出为Human-Readable的文本，方便调试。可以直接从 https://github.com/xresloader/xresloader-dump-bin/releases 下载对应平台的可执行程序

编译和打包（For developer）

• 本项目使用apache maven管理包依赖和打包构建流程。
• JDK 需要1.8或以上版本

# 编译
mvn compile
# 打包
mvn package

以上命令会自动下载依赖文件、包和插件。

编译完成后，输出的结果默认会放在 target 目录下。

更新依赖包

编译和打包见 安装说明

FAQ

1. 为什么会读到很多空数据？

Ans: Excel里编辑过的单元格即便删除了也会留下不可见的样式配置，这时候会导致转出的数据有空行。可以通过在Excel里删除行解决

2. 为什么Excel里填的时间，但是转出来是一个负数？

Ans: Excel里的日期时间类型转成协议里整数时会转为Unix时间戳，但是Excel的时间是以1900年1月0号为基准的，这意味着如果时间格式是hh:mm:dd的话，49:30:01会被转为1900-1-2 1:31:01。时间戳会是一个很大的负数

介于这个原因，不建议在Excel中使用时间类型

3. Windows下控制台里执行执行会报文件编码错误？（java.nio.charset.UnsupportedCharsetException: cp65001）

Ans: 这个问题涉及的几个Exception是

ERROR StatusLogger Unable to inject fields into builder class for plugin type class org.apache.logging.log4j.core.appender.ConsoleAppender, element Console.
 java.nio.charset.UnsupportedCharsetException: cp65001
        at java.nio.charset.Charset.forName(Unknown Source)
        at org.apache.logging.log4j.util.PropertiesUtil.getCharsetProperty(PropertiesUtil.java:146)
        at org.apache.logging.log4j.util.PropertiesUtil.getCharsetProperty(PropertiesUtil.java:134)
        ...

和

ERROR StatusLogger Unable to invoke factory method in class class org.apache.logging.log4j.core.appender.ConsoleAppender for element Console.
 java.lang.IllegalStateException: No factory method found for class org.apache.logging.log4j.core.appender.ConsoleAppender
        at org.apache.logging.log4j.core.config.plugins.util.PluginBuilder.findFactoryMethod(PluginBuilder.java:224)
        at org.apache.logging.log4j.core.config.plugins.util.PluginBuilder.build(PluginBuilder.java:130)
        at org.apache.logging.log4j.core.config.AbstractConfiguration.createPluginObject(AbstractConfiguration.java:952)
        ...

这是因为在Windows控制台中，如果编码是UTF-8，java获取编码时会获取到cp65001，而这个编码java本身是不识别的。这种情况可以按下面的方法解决：

• 第一种: 执行 xresloader 之前先执行 chcp 936，切换到GBK编码
• 第二种: 在powershell里执行

4. 为什么在proto里定义的是一个无符号(unsigned)类型(uint32、uint64等)，实际输出的UE代码是有符号(signed)的(int32/int64)？

Ans: 因为有一些语言是没有无符号(unsigned)类型的，为了统一数据类型，我们统一转换为有符号类型，转换方式和protobuf的java版SDK保持一致。如果需要使用大于int32最大值的uint32类型，请用int64代替。

5. 为什么 UE-Csv 和 UE-Json 输出的代码会多一个 Name 字段?

Ans: 因为对 UE-Json 输出中， Name 是一个特殊字段，也用于UE中内置的接口的查找索引。所以为了统一输出的数据结构（ 这样无论是 UE-Csv 还是 UE-Json 都可以用相同的代码结构来导入 ），我们对 UE-Csv 和 UE-Json 统一自动生成 Name 字段。但是如果用户自定义了 Name 字段， 我们会使用用户自定义的 Name 字段。

6. 提示 Can not reserve enough space for XXX objecct heap

Ans: 在转换很大的Excel文件时（上万行数据），会需要很高的内存（>=1GB）。所以为了方便我们在批量转表sample的xml中配置了 <java_option desc="java选项-最大内存限制2GB">-Xmx2048m</java_option> 。 如果出现这个提示可能是32位jre无法分配这么多地址空间导致的，可以在xml里删除这个配置。但是还是建议使用64位jre。

7. 提示 Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

Ans: 这个提示通常是堆内存不足， xresloader 默认使用的POI的内置缓存机制会消耗大量内存。碰到这种情况，可以和上面的解决方法一样加一个类似 -Xmx8192m 来增大最大内存限制。

在 xresloader 2.10.0 及以上的版本，可以使用 --disable-excel-formular 选项关闭实时公式计算(仅仅时关闭公式实时计算，还是会读Excel里已经缓存的计算结果的)。这时候 xresloader 会使用流式读取并使用 xresloader 内部实现的缓存机制，同时关闭文件级缓存和表级缓存，能大幅降低内存消耗。