多媒体AI 任务结果说明

By | 2021年4月23日
0 Comment

返回字段

输出参数 描述
name 结果模块名：其中”tag”为标签结果，所有标签按照统一格式输出；”asr”为语音结果；“ocr”为文本识别结果。
result 产品级结果列表，目前只包含内容分析产品
content 产品级结果结构体
data 具体算法结果列表

下面分name的值来说明字段：
name = ‘tag’ //融合标签结果

输出参数 描述
labelLevel1 一级标签分类，如视频分类、节目、人脸、标识、人物角色、地域、场景、动作事件、组织机构、关键词等
labelLevel2 二级标签分类，其中人脸的二级标签类分组为：政治人物、敏感人物、名人、未知人脸、自定义，多种类型以’,’隔开
label 细粒度的标签
appearanceProbability 标签的出场率，表示标签在视频中时间占比
isWhite 表示该标签是否命中了用户定义的白名单
detailInfo 该结构存储了标签出现的时间区间、score、区域、来源等详细信息
score 是标签的置信度信息，部分标签置信度会不存在，不存在置信度时统一设置为-1. 比如挖掘出来的未知人脸的score分数为-1
bboxes 标签区域位置信息，（将废弃，不建议使用），区域格式为[x1,y1,x2,y2]，左上顶点，右下顶点，后续逐渐废弃，信息迁移到trackData中
trackData 在该时间段内等间隔记录在视频时刻上的算法结果，包含bbox、score、attributes、landmark、timestamp几个字段记录算法结果
score trackData下的score，代表当前时刻的算法置信度，其中人脸算法为人脸检测的score
bbox trackData下的bbox，标签区域位置信息，格式为[x1,y1,x2,y2]，左上顶点，右下顶点。
landmark trackData下的landmark，标签区域关键像素信息
attributes trackData下的attributes，有property、value、score字段，分别为该时刻的属性类、属性值、属性分数，表示标签在该帧的属性信息，如人脸的表情信息等
timestamp trackData下的timestamp，标记当前时刻
source 标签来源：’vision’为视觉来源、’audio’为音频来源、’text’为文本来源
subSource 为算法模型层次的来源，用户可不用关心
metaData 记载了标签的非统一信息，不同类型的标签会有所差别，可通过判断某个字段是否为空来确定该标签是否具备该字段信息，具体子字段如下
sampleUrl 标签的代表图，如人脸识别中预测人物和该图是一致的，也是我们定义标签的标准
group 标签的分组，如人脸识别中的人物库信息

name = ‘asr’//语音识别结果

输出参数 描述
startTime 时间段开始时间
endTime 时间段结束时间
text asr文本

name = ‘ocr’//OCR文本识别结果

输出参数 描述
startTime 时间段开始时间
endTime 时间段结束时间
detailInfo 具体的OCR识别结果，是一个列表，表示不同区域的OCR结果
score OCR识别的置信度
text OCR的文本
bbox 标签区域位置信息，依次为区域[x1,y1,x2,y2]，左上顶点，右下顶点。

返回结果示例：

  
    
   
  1. [
    2. 
   
  2.  {
    3. 
   
  3.  "name": "tag",//结果分类，分为tag、ocr和asr。分别对应标签结果、OCR结果和语音结果
    4. 
   
  4.  "result": [//结果值
    5. 
   
  5.  {
    6. 
   
  6.  "content": {
    7. 
   
  7.  "data": [
    8. 
   
  8.  {
    9. 
   
  9.  "labelLevel1": "人脸",//标签一级分类
    10. 
   
  10.  "labelLevel2": "政治人物",//标签二级分类
    11. 
   
  11.  "label": "习近平",//标签值
    12. 
   
  12.  "appearanceProbability":0.3547,//出场率
    13. 
   
  13.  "isWhite":true, //是否命中白名单
    14. 
   
  14.  "detailInfo": [//标签详细信息
    15. 
   
  15.  {
    16. 
   
  16.  "score": 0.85797792673110962,//标签置信度，部分标签置信度会不存在，不存在置信度时统一设置为-1. 比如挖掘出来的未知人脸的score分数为-1
    17. 
   
  17.  "bboxes": {//标签位置信息，将废弃不建议使用，可使用trackData中的bbox属性
    18. 
   
  18.  "35.333000": [//时间点
    19. 
   
  19.  205.0,
    20. 
   
  20.  95.0,
    21. 
   
  21.  318.0,
    22. 
   
  22.  247.0
    23. 
   
  23.  ],
    24. 
   
  24.  "35.466000": [//时间点
    25. 
   
  25.  201.0,
    26. 
   
  26.  95.0,
    27. 
   
  27.  314.0,
    28. 
   
  28.  247.0
    29. 
   
  29.  ]
    30. 
   
  30.  },
    31. 
   
  31.  "trackData": [
    32. 
   
  32.  {
    33. 
   
  33.  "score": 0.91240006685256958,
    34. 
   
  34.  "bbox": [205.0, 95.0, 318.0, 247.0],
    35. 
   
  35.  "attributes": [
    36. 
   
  36.  {
    37. 
   
  37.  "property":"表情",
    38. 
   
  38.  "value":"笑",
    39. 
   
  39.  "score": 0.8765
    40. 
   
  40.  }
    41. 
   
  41.  ],
    42. 
   
  42.  "landmark": [205.0, 95.0, 318.0, 247.0, 205.0, 95.0, 318.0, 247.0, 435.0, 435.0],
    43. 
   
  43.  "timestamp": 35.333000//时间点
    44. 
   
  44.  },
    45. 
   
  45.  {
    46. 
   
  46.  "score": 0.91240006685256958,
    47. 
   
  47.  "bbox": [201.0, 95.0, 314.0, 247.0],
    48. 
   
  48.  "attributes": [
    49. 
   
  49.  {
    50. 
   
  50.  "property":"表情",
    51. 
   
  51.  "value":"笑",
    52. 
   
  52.  "score": 0.8765
    53. 
   
  53.  }
    54. 
   
  54.  ],
    55. 
   
  55.  "landmark": [205.0, 95.0, 318.0, 247.0, 205.0, 95.0, 318.0, 247.0, 435.0, 435.0],
    56. 
   
  56.  "timestamp": 35.466000
    57. 
   
  57.  }
    58. 
   
  58.  ],
    59. 
   
  59.  "startTime": 35.0,//片段开始时间
    60. 
   
  60.  "endTime": 35.465999603271484,//片段结束时间
    61. 
   
  61.  "source": "vision",//标签来源，分为vision：视觉， text：文字，audio：语音
    62. 
   
  62.  "subSource": "facemot",//标签子来源
    63. 
   
  63.  "metaData": {//标签meta信息，不同的标签meta内容不同。
    64. 
   
  64.  "sampleUrl": "",//人像的图片地址
    65. 
   
  65.  "group": "politicians"//人像的图库名称
    66. 
   
  66.  }
    67. 
   
  67.  },
    68. 
   
  68.  {
    69. 
   
  69.  "score": 0.85797792673110962, 
    70. 
   
  70.  "bboxes": {
    71. 
   
  71.  "35.333000": [
    72. 
   
  72.  205.0,
    73. 
   
  73.  95.0,
    74. 
   
  74.  318.0,
    75. 
   
  75.  247.0
    76. 
   
  76.  ],
    77. 
   
  77.  "35.466000": [
    78. 
   
  78.  201.0,
    79. 
   
  79.  95.0,
    80. 
   
  80.  314.0,
    81. 
   
  81.  247.0
    82. 
   
  82.  ]
    83. 
   
  83.  },
    84. 
   
  84.  "trackData": [
    85. 
   
  85.  {
    86. 
   
  86.  "score": 0.91240006685256958,
    87. 
   
  87.  "bbox": [205.0, 95.0, 318.0, 247.0],
    88. 
   
  88.  "attributes": [
    89. 
   
  89.  {
    90. 
   
  90.  "property":"表情",
    91. 
   
  91.  "value":"笑",
    92. 
   
  92.  "score": 0.8765
    93. 
   
  93.  }
    94. 
   
  94.  ],
    95. 
   
  95.  "landmark": [205.0, 95.0, 318.0, 247.0, 205.0, 95.0, 318.0, 247.0, 435.0, 435.0],
    96. 
   
  96.  "timestamp": 35.333000
    97. 
   
  97.  },
    98. 
   
  98.  {
    99. 
   
  99.  "score": 0.91240006685256958,
    100. 
   
  100.  "bbox": [201.0, 95.0, 314.0, 247.0],
    101. 
   
  101.  "attributes": [
    102. 
   
  102.  {
    103. 
   
  103.  "property":"表情",
    104. 
   
  104.  "value":"笑",
    105. 
   
  105.  "score": 0.8765
    106. 
   
  106.  }
    107. 
   
  107.  ],
    108. 
   
  108.  "landmark": [205.0, 95.0, 318.0, 247.0, 205.0, 95.0, 318.0, 247.0, 435.0, 435.0],
    109. 
   
  109.  "timestamp": 35.466000
    110. 
   
  110.  }
    111. 
   
  111.  ],
    112. 
   
  112.  "startTime": 35.0,
    113. 
   
  113.  "endTime": 35.465999603271484,
    114. 
   
  114.  "source": "text",
    115. 
   
  115.  "subSource": "ocr_nlp",
    116. 
   
  116.  "metaData": {
    117. 
   
  117.  "sampleUrl": "",
    118. 
   
  118.  "group": ""
    119. 
   
  119.  }
    120. 
   
  120.  }
    121. 
   
  121.  ]
    122. 
   
  122.  },
    123. 
   
  123.  {
    124. 
   
  124.  "labelLevel1": "视频分类",
    125. 
   
  125.  "labelLevel2": "资讯",
    126. 
   
  126.  "label": "时政资讯",
    127. 
   
  127.  "detailInfo": [
    128. 
   
  128.  {
    129. 
   
  129.  "score": 0.85797792673110962,
    130. 
   
  130.  "bboxes": {},
    131. 
   
  131.  "trackData": [],
    132. 
   
  132.  "startTime": 0,
    133. 
   
  133.  "endTime": 35.465999603271484,
    134. 
   
  134.  "source": "vision",
    135. 
   
  135.  "subSource": "cate",
    136. 
   
  136.  "metaData": {
    137. 
   
  137.  "sampleUrl": "",
    138. 
   
  138.  "group": ""
    139. 
   
  139.  }
    140. 
   
  140.  },
    141. 
   
  141.  {
    142. 
   
  142.  "score": 0.85797792673110962,
    143. 
   
  143.  "bboxes": {},
    144. 
   
  144.  "trackData": [],
    145. 
   
  145.  "startTime": 0,
    146. 
   
  146.  "endTime": 35.465999603271484,
    147. 
   
  147.  "source": "text",
    148. 
   
  148.  "subSource": "ocr_nlp",
    149. 
   
  149.  "metaData": {
    150. 
   
  150.  "sampleUrl": "",
    151. 
   
  151.  "group": ""
    152. 
   
  152.  }
    153. 
   
  153.  }
    154. 
   
  154.  ]
    155. 
   
  155.  }
    156. 
   
  156.  ]
    157. 
   
  157.  }
    158. 
   
  158.  }
    159. 
   
  159.  ]
    160. 
   
  160.  },
    161. 
   
  161.  {
    162. 
   
  162.  "name": "ocr",//OCR结果
    163. 
   
  163.  "result": [
    164. 
   
  164.  {
    165. 
   
  165.  "content": {
    166. 
   
  166.  "data": [
    167. 
   
  167.  {
    168. 
   
  168.  "detailInfo": [
    169. 
   
  169.  {
    170. 
   
  170.  "score": 99,//OCR置信度
    171. 
   
  171.  "bbox": [//OCR文本位置信息
    172. 
   
  172.  434,
    173. 
   
  173.  31,
    174. 
   
  174.  464,
    175. 
   
  175.  43
    176. 
   
  176.  ],
    177. 
   
  177.  "text": "今天"//文本信息
    178. 
   
  178.  }
    179. 
   
  179.  ],
    180. 
   
  180.  "startTime": 0.0,//文本出现的帧的开始时间
    181. 
   
  181.  "endTime": 0.0 //文本出现的帧的结束时间
    182. 
   
  182.  }
    183. 
   
  183.  ]
    184. 
   
  184.  }
    185. 
   
  185.  }
    186. 
   
  186.  ]
    187. 
   
  187.  },
    188. 
   
  188.  {
    189. 
   
  189.  "name": "asr",//语音结果
    190. 
   
  190.  "result": [
    191. 
   
  191.  {
    192. 
   
  192.  "content": {
    193. 
   
  193.  "data": [
    194. 
   
  194.  {
    195. 
   
  195.  "text": "这个时候",//语音文本
    196. 
   
  196.  "startTime": 108.7699966430664, //语音文本开始时间
    197. 
   
  197.  "endTime": 110.79000091552734 //语音文本结束时间
    198. 
   
  198.  },
    199. 
   
  199.  {
    200. 
   
  200.  "text": "你不要着急。",//语音文本
    201. 
   
  201.  "startTime": 108.7699966430664,//语音文本开始时间
    202. 
   
  202.  "endTime": 110.79000091552734 //语音文本结束时间
    203. 
   
  203.  }
    204. 
   
  204.  ]
    205. 
   
  205.  }
    206. 
   
  206.  }
    207. 
   
  207.  ]
    208. 
   
  208.  }
    209. 
   
  209. ]
    210.

标签分类信息说明和举例：

标签一级分类 标签二级分类 标签值举例和说明
视频分类 生活 以生活举例，下面细分为：健康、家居、女性、休闲、美食、聚会、宠物、居家、婚恋、潮品、记录、生活达人
视频分类 动漫
视频分类 汽车
视频分类 生活
视频分类 科技
视频分类 自拍
视频分类 少儿
视频分类 亲子 仅短视频场景有该分类
视频分类 文化
视频分类 纪录片或纪实 通用场景为纪录片，短视频场景为纪实
视频分类 艺术 仅短视频场景有该分类
视频分类 美食 仅短视频场景有该分类
视频分类 情感 仅短视频场景有该分类
视频分类 综艺
视频分类 娱乐
视频分类 教育
视频分类 时尚
视频分类 亲子
视频分类 搞笑
视频分类 音乐
视频分类 电影或影视 通用场景为电影，短视频场景为影视
视频分类 电视剧
视频分类 体育
视频分类 游戏
视频分类 军事 短视频场景无该分类
视频分类 历史 短视频场景无该分类
视频分类 法制 短视频场景无该分类
节目 比如：爸爸去哪儿、欢乐喜剧人等
人脸 政治人物
人脸 名人 比如：马云、成龙
人脸 敏感人物
人脸 未知人脸 挖掘出的未知人脸
人脸 自定义 用户自定义的人脸
人物角色 比如：医生、护士、教师等
物体 比如：钢琴、水杯、桌子、西红柿炒鸡蛋、小汽车、化妆品等
标识 台标 比如CCTV1、CCTV2、优酷、东方卫视等
标识 品牌 比如：耐克、李宁
动作事件 正向标签举例：跳舞、接吻、拥抱、会晤、唱歌、打电话、骑马、打斗等负向标签举例：性感、低俗、色情、女性全裸、女性胸部（露点）、女性阴部（露点）、男性阴部（露点）、肛门（露点）、性用具及性玩具、多人性行为 、单人性行为、男性大面积裸露（不露点）、女性性感、血腥等
地域 比如：北京天安门、自由女神像、乐山大佛、中国、美国等
场景 比如：卧室、地铁站、梯田、海滩、沙漠等
表情 比如：生气、厌恶、恐惧、快乐、悲伤、惊讶、平静等
组织机构 比如：中国生动物保护协会、中央广播电视总台等
关键词

请关注公众号获取更多资料

发表评论

电子邮件地址不会被公开。 必填项已用*标注