档案清洗合并

档案清洗合并支持的数据集格式为jsonl。对于jsonl文件，每一行是一个档案，如下：

{"archive_dir":"feman","is_invalid":false,"clean_dirs":[{"dir_name":"base_example","label":"","baseline":{"index":0,"s3_object":"s3://asiatrip/105/070049oygllypn7j29pmrr.jpg","text_content":"这是文本信息","bbox":[10,10,100,100]},"files":[{"s3_object":"s3://asiatrip/105/070049oygllypn7j29pmrr.jpg","text_content":"这是文本信息","bbox":[10,10,100,100],"label":"remove"},{"s3_object":"s3://asiatrip/105/15696675628591000_950x659.jpg","text_content":"这是文本信息","bbox":[10,10,100,100],"label":"dog"}]}]}

每行的json数据格式化后，如下：

{
    "archive_dir": "feman",
    "is_invalid": false,
    "clean_dirs": [     
        {
            "dir_name": "base_example",
            "label": "",
            "baseline": {
                "index": 0,
                "s3_object": "s3://asiatrip/105/070049oygllypn7j29pmrr.jpg",
                "text_content": "这是文本信息",
                "bbox": [
                    10,
                    10,
                    100,
                    100
                ]
            },
            "files": [
                {
                    "s3_object": "s3://asiatrip/105/070049oygllypn7j29pmrr.jpg",
                    "text_content": "这是文本信息",
                    "bbox": [
                        10,
                        10,
                        100,
                        100
                    ],
                    "label": "remove"
                },
                {
                    "s3_object": "s3://asiatrip/105/15696675628591000_950x659.jpg",
                    "text_content": "这是文本信息",
                    "bbox": [
                        10,
                        10,
                        100,
                        100
                    ],
                    "label": "dog"
                }
            ]
        }
    ]
}

字段说明：

由于导出的数据集格式要支持再次导入操作，所以导入和导出的数据集格式相同，但是导入时部分字段非必填

字段名	说明	是否必须	备注
archive_dir	档案目录	是
is_invalid	是否无效	是	boolean值，true表示无效，false表示有效
clean_dirs	清洗目录	是	默认第一个为合并的基准目录
dir_name	文件夹名字	是
label	文件夹标签	是	文件夹合并时，固定标签：lbf_dir_merge导入时，若无预标注标签，则字段值为""
baseline	基准	是
index	索引值	是	如果是图片清洗，该项为必须项，填写的是基准图片在files里面的索引值；如果是文本清洗，该项填写-1
s3_object	基准图片	是	如果是图片清洗，该项填写图片在s3上的绝对路径地址，s3路径定义：s3://\<bucket\_name>/\<object\_name>如果是文本清洗，该项填写""
bbox	基准图片的bbox	是	数组，[x,y,w,h]，例如：[13, 24, 345, 23]若初始基准无图片请填写[]，若填写[0，0，0，0]则后期在标注页面设置基准图片后也无法展示
text_content	基准文本内容	是	文本清洗，基准文本内容
files	文件	是
s3_object	文件在s3上的绝对路径地址	是	s3路径定义：s3://\<bucket\_name>/\<object\_name>
text_content	文本内容	是	文本清洗时，必填；非文本清洗时，字段值为""
bbox	bbox	是	数组，[x,y,w,h]，例如：[13, 24, 345, 23]未设置bbox，则字段值为[]
label	文件标签	是	标签由用户自定义导入时，若无预标注标签，则字段值为""