平臺能力

平臺針對企業賬戶提供各項算法能力，包括：視頻合成能力、人物形象模型生成能力、TTS個人音色模型生成能力、人物形象模型更新能力、視頻人物換臉能力等。

功能介紹

視頻合成

2D數字人視頻合成服務爲您提供輸入選擇2D數字人形象模型，添加文本或音頻合成爲2D虛擬數字人mp4/webm格式的視頻，幷且通過返回的視頻鏈接下載視頻內容。

• 形象配置
  • 支持通過參數指定本次視頻合成需要使用的2D數字人形象，系統提供若干個默認的2D數字人形象模型，供用戶選擇。具體可聯繫運營開通賬號後查看。
• 音色配置
  • 系統支持兩種形式的音色配置
    • 上傳錄音文件，支持在綫錄音上傳或者選擇對應的音頻文件上傳，音頻將會經過降噪處理後將原聲用于最終合成的視頻內容。
    • 上傳文本+選擇音色，支持通過參數指定本次視頻合成需要使用的發音人音色，以及聲音的語速、音調、音量調節，系統提供若干個默認的TTS個人音色模型，供用戶選擇，將使用指定的音色朗讀對應的文本內容，最終將此音頻用于視頻合成。
• 數字人驅動
  • 支持數字人表情、口型驅動。
• 視頻編碼信息
  • 編碼格式： H264
  • 幀率： 25FPS
• 視頻格式
  • 目前支持MP4/WebM兩種視頻格式，視頻時長由合成視頻的時候選擇的內容决定。
• 視頻分辨率
  • 支持創建視頻合成任務的時候指定産出視頻的分辨率，建議選擇範圍爲：480p、720p、1080p
• 字幕
  • 支持根據用戶輸入的文字或語音內容生成與之相匹配的字幕文件
• 自定義前景/背景/標題文字
  • 支持通過URL指定視頻背景圖，圖片格式支持jpg、png兩種格式
  • 支持通過URL指定視頻前景圖，圖片格式支持jpg、png兩種格式
  • 支持通過參數指定視頻中標題文字內容的字體，字號，以及出現的位置
• 自定義人物美顔效果
  • 支持通過參數調節人物美顔效果，包括：美白/磨皮/臉型調整/眼形調整/髮際綫調整/蘋果肌調整/鼻子調整/下巴調整/嘴巴調整/人中調整/縮頭/對比度/飽和度/清晰度/銳化程度調整等十余項參數調整功能，具體請參考參數說明 (opens new window)，瞭解使用規則
• 最大存儲時間
  • PaaS平臺支持7天在綫存儲，需要及時轉存，7天后生成內容將無法下載。

視頻合成時序圖

TTS個人音色模型生成

TTS個人音色模型生成服務可根據用戶上傳的真人采集或錄製的語音素材文件通過算法訓練産出發音效果與聲音素材提供者一致的數字人TTS音色模型。請在采集時遵照商湯數字人音色複製采集製作規範，內容包括環境要求、設備要求、發音要求、授權要求、朗讀脚本，具體參考：采集規範 (opens new window)。PaaS平臺支持7天在綫存儲，需要及時轉存，7天后生成內容將無法下載。

人物形象模型生成

人物形象模型生成服務可根據用戶上傳的真人采集或錄製的視頻通過算法訓練産出AI驅動效果與真人幾乎無异的數字人人物形象模型。爲了完美克隆人物形象，請在拍攝時遵照商湯數字人采集製作規範，內容包括視頻、語音，用于 2D 數字人的訓練和測試，具體參考：采集規範 (opens new window)。PaaS平臺支持7天在綫存儲，需要及時轉存，7天后生成內容將無法下載。

人物形象模型生成時序圖

人物形象模型更新

2D數字人人物形象模型更新服務可針對已經生成完成的人物形象模型進行更新，支持修改數字人訓練動作片段。PaaS平臺支持7天在綫存儲，需要及時轉存，7天后生成內容將無法下載。

綠幕分割效果預覽

平臺支持對圖片、視頻進行綠幕分割效果預覽，用來在實際提交人物模型生成任務之前確認綠幕分割參數效果，或者正式拍攝之前確認拍攝環境是否可以滿足拍攝要求。

視頻人物換臉（暫不支持）

視頻人物換臉任務可以根據用戶上傳的視頻內容和模板圖片調用算法能力進行視頻人物換臉處理，最終返回處理後的視頻文件和縮略圖供用戶下載。PaaS平臺支持7天在綫存儲，需要及時轉存，7天后生成內容將無法下載。

API 說明

用戶調用平臺全部API服務，皆需要訪問服務接入點：aigc.softsugar.com，幷在請求頭中加上token信息。

創建視頻合成任務

接口描述

根據用戶上傳的指定內容調用算法能力進行視頻合成，最終返回mp4/webm格式的視頻文件供用戶下載。PaaS平臺支持7天在綫存儲，需要及時轉存，7天后生成內容將無法下載。

請求地址

POST /api/2dvh/v1/material/video/create

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
param	String	True	創建視頻合成任務需要傳入正確的param信息，其中包括各類視頻合成參數（該參數爲json轉義後的字符串），請參考下面的參數說明和 json 示例 (opens new window) ，示例效果 (opens new window) 。
videoName	String	True	視頻名稱
thumbnailUrl	String	False	縮略圖url

請求樣例

{
  "videoName": "xxx",
    
  "param": "{\"version\":\"0.0.4\",\"resolution\":[1080,1920],\"bit_rate\":16,\"frame_rate\":25,\"watermark\":{\"show\":true,\"content\":\"示例視頻\"},\"digital_role\":{\"id\":3964,\"face_feature_id\":\"0401_chenying_s1\",\"name\":\"0401_chenying_s1\",\"url\":\"https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/materials/77/0401_chenying_s1_20230427133135306.zip\",\"position\":{\"x\":0,\"y\":0},\"scale\":1.0},\"tts_config\":{\"id\":\"nina\",\"name\":\"Nina\",\"vendor_id\":3,\"language\":\"zh-CN\",\"pitch_offset\":0.0,\"speed_ratio\":1,\"volume\":100},\"tts_query\":{\"content\":\"絲綢之路是一條連接東西方的古老商路，在這條路上，東西方通過貿易和文化交流，促進了不同文明的不斷融合。 歷史上張騫出使西域，開啓了最早的絲綢之路，從此絲綢之路上的商人一次次穿越沙漠和山脉進行通商往來。 中國的絲綢、瓷器、茶葉，以及印度的佛教、希臘的哲學等都在這條路上得到充分地傳承和發展。\",\"ssml\":false},\"backgrounds\":[{\"type\":0,\"name\":\"背景\",\"url\":\"http://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/test/background.png\",\"rect\":[0,0,1080,1920],\"cycle\":false,\"start\":0,\"duration\":-1}],\"foregrounds\":[{\"type\":0,\"name\":\"前景\",\"url\":\"http://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/test/frontgroud.png\",\"rect\":[0,1359,1092,561],\"cycle\":false,\"start\":0,\"duration\":-1}],\"foreground-texts\":[{\"text\":\"絲綢之路介紹\",\"font_size\":20,\"font_family\":\"Noto Sans S Chinese Black\",\"position\":{\"x\":100,\"y\":200},\"rgba\":[100,200,100,100]}]}"

}

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Integer	False	任務id

響應樣例

{

    "code": 0,

    "message": "success",

    "data": 1

}

json參數說明

名稱	類型	取值示例	必填	說明
version	String	"0.0.17"	是	視頻合成json配置文件最新版本號
video_format	String	"mp4"	否	視頻輸出格式，取值爲MP4、WEBM、MOV，如果沒有該字段，默認爲MP4。其中，WEBM和MOV格式支持透明通道。
resolution	Int Array	[1080,1920]	是	視頻分辨率，建議選擇[480,854]，[720,1280]，[1080,1920]三種竪屏格式，人物模型分辨率爲2K（1080 * 1920）和 4K（2160 * 3840），選擇不同分辨率需要調整數字人形象比例以達到較好的效果，例如選擇[1080,1920]分辨率，則建議 4K數字人形象scale 參數調整爲0.5左右
bit_rate	Float	8	否	視頻碼率（Mbps），最大值16，最小值1
frame_rate	Integer	25	是	視頻幀率，目前只支持25fps
watermark	Object		否	視頻水印
show	Boolean	True	是	是否顯示視頻水印
content	String	"測試 Test "	是	視頻水印內容，若開啓但不填寫內容，則自動進行填寫。
invisible-watermark	Object		否	視頻隱藏水印，僅支持 mp4
show	Boolean	True	是	是否開啓視頻隱藏水印。
content	String	"1234567890123456 "	否	隱藏水印文字 ，不可以用中文！僅限英文+數字，一共16個字符，如果不足16字符，後面會自動補0，如果超過16，會截取前16字符。
digital_role	Object	包含內容如下
id	Integer	1	否	數字人id
face_feature_id	String	"1"	是	數字人face feature id
name	String	"小李"	否	數字人名稱
url	String	"https://xxx/role.zip"	是	數字人形象zip包。在合成視頻中，爲必傳參數。在視頻直播場景中，本項無需設置值，使用fileid
fileId	String	"12345"	否	預熱素材上傳後的id，在視頻直播場景爲必傳內容
position	Object	包含內容如下	是	數字人形象圖片的起始像素位置，以1080*1920分辨率大小畫布的左上角爲原點，向右爲x方向，向下爲y方向
x	Integer	0	是	x方向坐標值
y	Integer	0	是	y方向坐標值
scale	Float	1.0	是	數字人形象比例
rotation	Float	0.0	是	旋轉角度，取值[0.0,360.0]，畫布坐標系Y軸的反方向爲0度，順時針方向的夾角爲旋轉角，旋轉時以圖片中心點爲錨點
volume	Integer	0	否	數字人播報音量，大小取值範圍0~100。注：最低版本要求：0.0.13。
z_position	Integer	0	是	圖層順序，各個 zposition 不可重複，數字越大顯示越靠前。 注：最低版本要求：0.0.6（必須字段）。
start_frame_index	Integer	0	否	合成視頻起始幀，取值範圍爲[1, N]，如果輸入參數範圍不在範圍內，直接返回錯誤。注：最低版本要求：0.0.14。精品數字人不建議設置該參數
tts_config	Object	包含內容如下	是	tts配置。tts_query和audios必須存在其一，tts_query和audios都存在時，tts_query優先
qid	String	8wfZav:AEA_Z10Mqp9GCwDGMrz8xIzi3VScxNzUtLCh	否	填寫此字段會覆蓋 voiceid, language，vendor_id字段。
id	String	"zh-CN-XiaoxuanNeural"	是	發音人id ， 同 voiceID
name	String	"曉萱"	是	發音人名稱
vendor_id	Integer	4	是	供應商id ，即 vendor_id ，需要與使用的TTS音色模型信息保持一致。隨意填寫會有錯誤。不要隨意填寫。使用qid的時候可以沒有這個字段。
language	String	"zh-CN"	是	語言碼
pitch_offset	Float	0.0	是	音調，數值越大越尖銳，越低越低沉，支持範圍 [-60, 60]
speed_ratio	Float	1	是	語速，數值越大語速越慢，支持範圍 [0.5, 2]
volume	Integer	100	是	音量，數值越大聲音越大，支持範圍 [1, 400]
tts_query	Object	包含內容如下	否	tts語音合成。tts_query和audios必須存在其一，tts_query和audios都存在時，tts_query優先
content	String	"尊敬的觀衆朋友們，大家好！非常榮幸能够在這個美好的時刻與大家相聚，歡迎收看今天的節目。"	是	待合成語音的文本內容，字數不得少于10個字，所有語言的發音人都可以合成英文query；所有語言的發音人都可以合成自己語言的query；粵語、滬語等中文方言發音人可以合成中文query
use_action	Boolean	false	false	是否tts文本中支持動作編輯 tts文本中動作定義如下：若想要插入某個動作，則在文本對應位置插入{action index:動作序號}。例如{action index:0}。action和index之間空格分割。其中動作序號可在數字人的結果json中獲取。如果用戶TTS本身需要輸出{action}，則使用^{action }來進行轉義，不作爲動作提取
ssml	Boolean	false	否	是否使用ssml，開啓後query可以使用USSML，推薦使用USSML
audios	Object Array	包含內容如下	否	音頻驅動。tts_query和audios必須存在其一，tts_query和audios都存在時，tts_query優先
url	Object	{"url":"https://xxx/audio.mp3"}	是	數組，支持多條mp3格式的驅動音頻文件
subtitle	Object	包含內容如下	否	字幕
url	String	"https://xxx/subtitle.srt"	是	字幕文件列表。0.0.13及之前版本只解析此字段
urls	String Array	["https://xxx/subtitle.srt","https://xxx/subtitle.srt"]	否	0.0.14及之後版本優先解析此字段，如果此字段不存在，則解析url字段。 特殊情况說明：如果版本號大于等于0.0.14，audios中存在多個音頻，此時仍然解析url字段，只顯示一個字幕，這是正常case。
scale	Float	1.0	是	文字縮放比例，取值範圍0~+∞，默認爲1，原始參考尺寸爲font_size。
position	Object	包含內容如下	否	字幕起始位置，以1080*1920分辨率大小畫布的左上角爲原點，向右爲x方向，向下爲y方向，默認位置爲視頻的下方，字幕效果呈現爲居中對齊。注：最低版本要求：0.0.13。
x	Integer	0	否	x方向坐標值
y	Integer	0	否	y方向坐標值
rgba	Int Array	[100,100,100,100]	是	字幕顔色，按照rgba形式傳入，取值範圍 0～255 【a通道暫不支持】
font_size	Integer	20	是	字幕字體大小設置
font_family	String	"Noto Sans S Chinese Black"	是	字體名稱，支持的字體見json支持字體列表
stroke_width	Float	2	否	描邊寬度，取值範圍0~+∞，默認爲0，表示描邊寬度。注：最低版本要求：0.0.10。
stroke_rgba	Int Array	[100,100,100,100]	否	字幕描邊顔色，按照rgba形式傳入，取值範圍 0～255 【a通道暫不支持】。注：最低版本要求：0.0.10。
background_rgba	Int Array	[100,100,100,100]	是	字幕背景（字體底色）顔色， 取值範圍0~255。a通道爲0時表示全透明。注：最低版本要求：0.0.10。
opacity	Float	0.5	否	字幕圖層透明度， 取值範圍0~1。0表示全透明，1表示不透明。注：最低版本要求：0.0.10。
subtitle_max_len	Integer	10	否	字幕最大切分長度，默認爲 0，即不限長度，若未設置最大切分字數，設定字幕占用最大長度爲畫布寬度的80%，超出則自動折行。注：最低版本要求：0.0.10。
subtitle_cut_by_punc	Boolean	True	否	是否按標點符號切分。注：最低版本要求：0.0.10。
rotation	Float	0.0	是	旋轉角度，取值[0.0,360.0]，畫布坐標系Y軸的反方向爲0度，順時針方向的夾角爲旋轉角，旋轉時以圖片中心點爲錨點。注：最低版本要求：0.0.14。
auto_font_size	Boolean	True	否	不填寫，默認爲True，字幕根據公式來計算最終顯示的font size，與前景文字、標題在同樣的font size設置下，顯示效果不同；False，字幕采用與前景文字、標題一樣的font size規則。
sub_to_canvas_width_ratio	Float	1.0	否	不填寫，默認爲1.0。此字段表示字幕所占用畫布寬度的比例，取值範圍爲(0, 2]，如果傳入參數<=0或者>2，則默認將值重置爲1.0。如果單行顯示不了，則換行。
backgrounds	Object Array	包含內容如下	否	背景
type	Integer	0	是	0:圖片，支持jpg、png格式；1:視頻，支持mp4格式，幀率要求 25 以上，分辨率暫無要求，不同分辨率的視頻按照短邊撑滿，視頻等比例縮放形式處理
name	String	"背景"	是	背景名稱
url	String	"https://xxx/bg.png"	是	背景文件url，如沒設置背景圖或視頻，Webm格式展示黑色背景；Mp4格式展示灰色默認的frame的背景效果。在視頻直播場景中，該字段爲空，使用fileid字段
fileId	String	"12345"	否	預熱素材上傳後的id，在視頻直播場景爲必傳內容
rect	Int Array	[0,0,1080,1920]	是	【暫不支持】 背景起始位置和大小，以1080*1920分辨率畫布爲參考，左上角爲（0,0），當前不支持自定義，默認短邊撑滿，長邊等比例縮放形式顯示
cycle	Boolean	false	是	針對視頻有效，false:單次播放，true:循環播放
start	Integer	0	是	背景開始時間，以ms爲單位
duration	Integer	-1	是	背景持續時間，以ms爲單位，-1爲默認值，表示隨視頻一直存在
play_offset	Integer	1	否	視頻直播場景生效，針對視頻生效，該背景視頻從背景視頻本身的開始播放時間，以ms爲單位
volume	Integer	0	否	背景視頻音量，數值越大聲音越大，支持範圍 [0, 100]，標準音量。注：最低版本要求：0.0.13。
background-musics	Object Array	包含內容如下	否	背景音樂
url	String	"https://xxx/bgm.mp3"	是	背景音樂url
volume	Integer	100	是	音量，數值越大聲音越大，支持範圍 [0, 100]，標準音量100
duration	Integer	-1	否	持續時間，單位毫秒，-1爲默認值，表示隨視頻一直存在。只要duration 時間到，不論是否循環均會停止/消失
start	Integer	0	否	開始時間，單位毫秒。0爲默認值，表示從視頻第0毫秒開始播放背景音樂。
cycle	Boolean	True	否	false:單次播放，true:循環播放
foregrounds	Object Array	包含內容如下	否
type	Integer	0	是	0:圖片，支持jpg、png格式；1:視頻，支持mp4格式
name	String	"前景"	是
url	String	"https://xxx/fg.png"	是	前景文件url，圖片支持png或jpg ，視頻支持mp4格式。在視頻直播場景，該字段爲爲空，使用fileid字段
fileId	String	"12345"	否	預熱素材上傳後的id，在視頻直播場景爲必傳內容
rect	Int Array	[0,0,1080,1920]	是	起始位置和大小，以1080*1920分辨率畫布爲參考
rotation	Float	0.0	是	旋轉角度，取值[0.0,360.0]，畫布坐標系Y軸的反方向爲0度，順時針方向的夾角爲旋轉角，旋轉時以圖片中心點爲錨點
cycle	Boolean	False	否	針對視頻有效，false:單次播放，true:循環播放，前景視頻單次播放完成後，如未達到指定持續時間節點，前景視頻停留在最後一幀
z_position	Integer	2	是	圖層順序，各個 zposition 不可重複，數字越大顯示越靠前。注：最低版本要求：0.0.6（必須字段）。
start	Integer	0	是	前景開始時間，以ms爲單位
play_offset	Integer	1	否	視頻直播場景生效，針對視頻生效，該背景視頻從背景視頻本身的開始播放時間，以ms爲單位
duration	Integer	-1	是	前景持續時間，以ms爲單位，-1爲默認值，表示隨視頻一直存在
volume	Integer	0	否	前景視頻音量，數值越大聲音越大，支持範圍 [0, 100]，標準音量。注：最低版本要求：0.0.13。
foreground-texts	Object Array	包含內容如下	否	前景文字
text	String	"前景文字"	是	前景文字內容
scale	Float	1.0	是	文字縮放比例，取值範圍0~+∞，默認爲1，原始參考尺寸爲font_size。
duration	Integer	-1	否	持續時間，單位毫秒，-1爲默認值，表示隨視頻一直存在。只要duration 時間到，不論是否循環均會停止/消失
start	Integer	0	否	開始時間，單位毫秒。0爲默認值，表示從視頻第0毫秒開始播放前景文字。
position	Object	包含內容如下	是	前景文字起始位置，以1080*1920分辨率大小畫布的左上角爲原點，向右爲x方向，向下爲y方向
x	Integer	0	是	x方向坐標值
y	Integer	0	是	y方向坐標值
rgba	Int Array	[100,100,100,100]	是	前景文字顔色，按照rgba形式傳入，取值範圍 0～255 【a通道暫不支持】
font_size	Integer	20	是	前景文字字體大小設置
font_family	String	"Noto Sans S Chinese Black"	是	字體名稱，支持的字體見json支持字體列表
stroke_width	Float	2	否	描邊寬度，取值範圍0~+∞，默認爲0，表示描邊寬度
stroke_rgba	Int Array	[100,100,100,100]	否	前景文字描邊顔色，按照rgba形式傳入，取值範圍 0～255 【a通道暫不支持】
background_rgba	Int Array	[100,100,100,100]	是	前景文字背景（字體底色）顔色， 取值範圍0~255。a通道爲0時表示全透明。注：最低版本要求：0.0.10。
opacity	Float	0.5	否	前景文字圖層透明度， 取值範圍0~1。0表示全透明，1表示不透明。注：最低版本要求：0.0.10。
z_position	Integer	2	是	圖層順序，各個 zposition 不可重複，數字越大顯示越靠前。注：最低版本要求：0.0.8（必須字段）。
rotation	Float	0.0	是	旋轉角度，取值[0.0,360.0]，畫布坐標系Y軸的反方向爲0度，順時針方向的夾角爲旋轉角，旋轉時以圖片中心點爲錨點。注：最低版本要求：0.0.14。
title	Object Array	包含內容如下	否	標題文字 ，其圖層在數字人，背景，前景文字的上層。注：最低版本要求：0.0.10。
text	String	"標題文字"	是	標題文字內容
scale	Float	1.0	是	文字縮放比例，取值範圍0~+∞，默認爲1，原始參考尺寸爲font_size。
position	Object	包含內容如下	是	標題文字起始位置，以1080*1920分辨率大小畫布的左上角爲原點，向右爲x方向，向下爲y方向
x	Integer	0	是	x方向坐標值
y	Integer	0	是	y方向坐標值
rgba	Int Array	[100,100,100,100]	是	標題文字顔色，按照rgba形式傳入，取值範圍 0～255 【a通道暫不支持】
font_size	Integer	20	是	標題文字字體大小設置。單位爲px。
font_family	String	"Noto Sans S Chinese Black"	是	字體名稱，支持的字體見json支持字體列表
stroke_rgba	Int Array	[100,100,100,100]	否	標題文字描邊顔色，按照rgba形式傳入，取值範圍 0～255 【a通道暫不支持】
stroke_width	Float	2	是	描邊寬度，取值範圍0~+∞，默認爲0，表示描邊寬度
background_rgba	Int Array	[100,100,100,100]	是	標題文字背景（字體底色）顔色， 取值範圍0~255。a通道爲0時表示全透明。【a通道暫不支持】
opacity	Float	0.5	否	標題文字圖層透明度， 取值範圍0~1。0表示全透明，1表示不透明
rotation	Float	0.0	是	旋轉角度，取值[0.0,360.0]，畫布坐標系Y軸的反方向爲0度，順時針方向的夾角爲旋轉角，旋轉時以圖片中心點爲錨點。注：最低版本要求：0.0.14。
effects	Object	包含內容如下	否
version	String	"1.0"	是	特效引擎版本
beautify	Object	包含內容如下	否	美顔
whitenStrength	Float	0.3	否	[0,1.0] 美白, 默認值 0.30, 0.0 不做美白
whiten_mode	Integer	0	否	美白模式：0（偏粉白）, 1（自然白）, 2（只有皮膚區域自然白）
reddenStrength	Float	0.36	否	[0,1.0]紅潤, 默認值 0.36, 0.0 不做紅潤
smoothStrength	Float	0.74	否	[0,1.0]磨皮, 默認值 0.74, 0.0 不做磨皮
smooth_mode	Integer	0	否	磨皮模式：0（臉部區域磨皮）, 1（全圖磨皮）, 2（臉部區域精細磨皮）
shrinkRatio	Float	0.11	否	[0,1.0]瘦臉, 默認值 0.11, 0.0 不做瘦臉效果
enlargeRatio	Float	0.13	否	[0,1.0]大眼, 默認值 0.13, 0.0 不做大眼效果
smallRatio	Float	0.10	否	[0,1.0]小臉, 默認值 0.10, 0.0 不做小臉效果
narrowFace	Float	0.0	否	[0,1.0] 窄臉, 默認值 0.0, 0.0 不做窄臉
roundEyesRatio	Float	0.0	否	[0,1.0] 圓眼, 默認值 0.0, 0.0不做圓眼
thinFaceShapeRatio	Float	0.0	否	[0,1.0]瘦臉型, 默認值 0.0, 0.0 不做瘦臉型效果
chinLength	Float	0.0	否	[-1, 1]下巴長短, 默認值爲 0.0，[-1, 0]爲短下巴，[0, 1]爲長下巴
hairlineHeightRatio	Float	0.0	否	[-1, 1]髮際綫, 默認值爲 0.0，[-1, 0] 爲低髮際綫，[0, 1]爲高髮際綫
appleMusle	Float	0.0	否	[0, 1.0]蘋果肌，默認值爲 0.0，0.0 不做蘋果肌
narrowNoseRatio	Float	0.0	否	[0, 1.0]瘦鼻，瘦鼻翼，默認值爲 0.0，0.0 不做瘦鼻
noseLengthRatio	Float	0.0	否	[-1, 1]長鼻, 默認值爲 0.0, [-1, 0]爲短 鼻，[0, 1]爲長鼻
profileRhinoplasty	Float	0.0	否	[0, 1.0]側臉隆鼻，默認值爲 0.0，0.0 不做側臉隆鼻效果
mouthSize	Float	0.0	否	[-1, 1]嘴巴大小，默認值爲 0.0，[-1, 0]爲放大嘴巴，[0, 1]爲縮小嘴巴
philtrumLengthRatio	Float	0.0	否	[-1, 1]人中長短, 默認值爲 0.0，[-1, 0]爲長人中，[0, 1]爲短人中
eyeDistanceRatio	Float	0.0	否	[-1, 1]調整眼距，默認值爲 0.0，[-1, 0]爲减小眼距，[0, 1]爲增加眼距
eyeAngleRatio	Float	0.0	否	[-1, 1]眼睛角度，默認值爲 0.0，[-1, 0]爲左眼逆時針旋轉，[0, 1]爲 左眼順時針旋轉，右眼與左眼相對
openCanthus	Float	0.0	否	[0, 1.0]開眼角，默認值爲 0.0， 0.0 不做開眼角
shrinkJawbone	Float	0.0	否	[0, 1.0]瘦下頷骨比例，默認值 0.0， 0.0 不做瘦顴骨
shrinkRoundFace	Float	0.0	否	[0, 1.0]圓臉瘦臉，默認值 0.0， 0.0 不做瘦臉
shrinkLongFace	Float	0.0	否	[0, 1.0]長臉瘦臉，默認值 0.0， 0.0 不做瘦臉
shrinkGoddessFace	Float	0.0	否	[0, 1.0]女神瘦臉，默認值 0.0， 0.0 不做瘦臉
shrinkNaturalFace	Float	0.0	否	[0, 1.0]自然瘦臉，默認值 0.0， 0.0 不做瘦臉
shrinkWholeHead	Float	0.0	否	[0, 1.0]整體縮放小頭，默認值 0.0, 0.0 不做整體縮放小頭效果
contrastStrength	Float	0.05	否	[0,1.0]對比度, 默認值 0.05, 0.0 不做對比度處理
saturationStrength	Float	0.1	否	[0,1.0]飽和度, 默認值 0.10, 0.0 不做飽和度處理
sharpen	Float	0.0	否	[0, 1.0]銳化, 默認值 0.0, 0.0 不做銳化
clear	Float	0.0	否	[0, 1.0]清晰强度，默認值 0.0，0.0 不做清晰
bokehStrength	Float	0.0	否	[0, 1.0]背景虛化强度, 默認值 0.0, 0.0 不做背景虛化
eyeHeight	Float	0.0	否	[-1, 1]眼睛位置比例, 默認值 0.0, [-1, 0]爲向下移動眼睛，[0, 1]爲向上移動眼睛
mouthCorner	Float	0.0	否	[0, 1.0]嘴角上移比例, 默認值 0.0, 0.0 不做嘴角調整
hairline	Float	0.0	否	[-1, 1]新髮際綫高低比例, 默認值 0.0, [-1, 0]爲低髮際綫，[0, 1]爲高髮際綫
packages	Object Array	包含內容如下	否	美妝參數
url	String	"https://xxx/res.zip"	是	美妝資源url，美妝資源包請聯繫客服
strength	Float	0.3	是	美妝强度
filter	Object	包含內容如下	否	濾鏡參數
onlyFigure	Boolean	false	是	濾鏡效果是否只作用于數字人，true只對數字人濾鏡，false爲全域濾鏡
url	String	"https://xxx/res.zip"	是	濾鏡資源url，美妝資源包請聯繫客服
strength	Float	0.3	是	濾鏡强度

json支持字體列表

語言	字體名稱
中文	Noto Sans S Chinese Black
中文	Noto Sans S Chinese Bold
中文	Noto Sans S Chinese DemiLight
中文	Noto Sans S Chinese Light
中文	Noto Sans S Chinese Medium
中文	Noto Sans S Chinese Regular
中文	Noto Sans S Chinese Thin
中文	倉耳漁陽體 W03
中文	站酷酷黑
中文	站酷快樂體2016修訂版
中文	站酷慶科黃油體
中文	站酷文藝體
中文	站酷小薇LOGO體
中文	得意黑
中文	釘釘進步體
中文	阿裏媽媽東方大楷
中文	阿裏媽媽數黑體
中文	字魂扁桃體
中文	包圖小白體
中文	龐門正道粗書體
中文	楊任東竹石體-Bold
中文	優設標題黑
中文	Gen Jyuu Gothic Normal
中文	字制區喜脉體
中文	文道潮黑
中文	Alibaba-PuHuiTi-Bold
中文	Alibaba-PuHuiTi-Heavy
中文	Alibaba-PuHuiTi-Light
中文	Alibaba-PuHuiTi-Medium
中文	Alibaba-PuHuiTi-Regular
阿拉伯語	mastollehregular-2oaxk
韓語	HANDotumLVT
韓語	HANDotumLVT-bold
日語	SourceHanSansJP-Bold
日語	SourceHanSansJP-ExtraLight
日語	SourceHanSansJP-Heavy
日語	SourceHanSansJP-Light
日語	SourceHanSansJP-Medium
日語	SourceHanSansJP-Normal
日語	SourceHanSansJP-Regular

json示例

{
	"version": "0.0.13",
	"video_format": "MP4",
	"resolution": [1080, 1920],
	"bit_rate": 8,
	"frame_rate": 25,
	"watermark": {
		"show": true,
		"content": "內部測試"
	},
	"digital_role": {
		"id": 4051,
		"face_feature_id": "0325_nina_s3_beauty",
		"name": "Nina",
		"url": "https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/materials/77/0325_nina_s3_beauty_20230523213912566.zip",
		"position": {
			"x": 0,
			"y": 0
		},
		"scale": 1.0,
		"z_position": 1,
		"rotation": 0.0
	},
	"tts_config": {
		"id": "xiaoyue",
		"name": "曉月",
		"vendor_id": 3,
		"language": "zh-CN",
		"pitch_offset": 0.0,
		"speed_ratio": 1,
		"volume": 100
	},
	"tts_query": {
		"content": "您好，尊貴的客戶",
		"ssml": false
	},
	"audios": [{
		"url": "https://dhpoc.softsugar.com/adapter/static/9b158cc9-8e42-4d09-b928-49dd9941d922.mp3"
	}, {
		"url": "https://dhpoc.softsugar.com/adapter/static/9b158cc9-8e42-4d09-b928-49dd9941d922.mp3"
	}],
	"subtitle": {
		"url": "https://aigc.blob.core.chinacloudapi.cn/audio/tts-srt/823v6j88s1k7aobpe7wmqm83q_de347214-96f2-4246-b283-17f40fe6abba.srt",
		"position": {
			"x": 100,
			"y": 300
		},
		"rgba": [100, 200, 100, 100],
		"font_size": 20,
    "stroke_width": 5.0,
		"stroke_rgba": [255, 0, 0, 0],
		"opacity": 0.5,
		"background_rgba": [0, 255, 0, 200],
		"subtitle_max_len": 8,
		"subtitle_cut_by_punc": "True",
		"font_family": "Noto Sans S Chinese Black"
	},
	"backgrounds": [{
		"type": 0,
		"name": "背景",
		"url": "https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/test/background.png",
		"rect": [0, 0, 1080, 1920],
		"cycle": false,
		"start": 0,
		"duration": -1
	}],
	"background-musics": [{
		"url": "https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/mayahui/%E7%BE%A4%E6%98%9F%20-%20%E5%96%9C%E6%B4%8B%E6%B4%8B.mp3",
		"volume": 100,
		"cycle": false
	}],
	"foregrounds": [{
		"type": 0,
		"name": "前景",
		"url": "http://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/test/frontgroud.png",
		"rect": [0, 0, 1080, 1920],
		"rotation": 0.0,
		"z_position": 0,
		"cycle": false,
		"start": 0,
		"duration": -1
	}],
	"foreground-texts": [{
		"text": "前景",
		"font_size": 20,
		"font_family": "Noto Sans S Chinese Black",
    "z_position": 10,
    "stroke_width": 5.0,
		"stroke_rgba": [255, 0, 0, 0],
    "opacity": 0.5,
		"position": {
			"x": 0,
			"y": 0
		},
    "background_rgba": [0, 255, 0, 200],
		"rgba": [100, 200, 100, 100]
	}],
  "title": {
		"text": "這是標題",
		"rgba": [100, 255, 255, 255],
		"position": {
			"x": 540,
			"y": 200
		},
		"font_size": 50,
		"font_family": "Noto Sans S Chinese Black",
		"stroke_width": 5.0,
		"stroke_rgba": [255, 0, 0, 0],
		"scale": 1.0,
		"opacity": 0.5,
		"background_rgba": [0, 255, 0, 200]
	},
	"effects": {
		"version": "1.0",
		"beautify": {
			"whitenStrength": 0.30,
			"whiten_mode": 0,
			"reddenStrength": 0.36,
			"smoothStrength": 0.74,
			"smooth_mode": 0,
			"shrinkRatio": 0.11,
			"enlargeRatio": 0.13,
			"smallRatio": 0.10,
			"narrowFace": 0.0,
			"roundEyesRatio": 0.0,
			"thinFaceShapeRatio": 0.0,
			"chinLength": 0.0,
			"hairlineHeightRatio": 0.0,
			"appleMusle": 0.0,
			"narrowNoseRatio": 0.0,
			"noseLengthRatio": 0.0,
			"profileRhinoplasty": 0.0,
			"mouthSize": 0.0,
			"philtrumLengthRatio": 0.0,
			"eyeDistanceRatio": 0.0,
			"eyeAngleRatio": 0.0,
			"openCanthus": 0.0,
			"brightEyeStrength": 0.0,
			"removeDarkCircleStrength": 0.0,
			"removeNasolabialFoldsStrength": 0.0,
			"whiteTeeth": 0.0,
			"shrinkCheekbone": 0.0,
			"thinnerHead": 0.0,
			"openExternalCanthus": 0.0,
			"shrinkJawbone": 0.0,
			"shrinkRoundFace": 0.0,
			"shrinkLongFace": 0.0,
			"shrinkGoddessFace": 0.0,
			"shrinkNaturalFace": 0.0,
			"shrinkWholeHead": 0.0,
			"contrastStrength": 0.05,
			"saturationStrength": 0.10,
			"sharpen": 0.0,
			"clear": 0.0,
      "eyeHeight": 0.0,
			"mouthCorner": 0.05,
			"hairline": 0.10,
			"bokehStrength": 0.0
		},
		"packages": [{
			"url": "https://xxx/xxx.zip",
			"strength": 0.3
		}, {
			"url": "https://xxx/xxx.model",
			"strength": 0.5
		}],
		"filter": {
			"onlyFigure": false,
			"url": "https://xxx/xxx.model",
			"strength": 0.5
		}
	}
}

批量創建視頻合成任務

接口描述

根據用戶上傳的指定內容調用算法能力進行批量視頻合成，最終返回mp4格式的視頻文件列表供用戶下載。PaaS平臺支持7天在綫存儲，需要及時轉存，7天后生成內容將無法下載。

請求地址

POST /api/2dvh/v1/material/video/batchCreate

請求頭

Content-Type: application/json

請求參數

JSON數組格式，數組中對象的字段定義如下：

字段	類型	必填	描述
param	String	True	視頻生成參數（該參數爲json轉義後的字符串）
videoRequestId	String	True	視頻合成id，需唯一
videoName	String	True	視頻名稱
thumbnailUrl	String	False	縮略圖Url

請求樣例

[
  {
    "param": "video config",
    "videoName": "name",
    "videoRequestId": "aaa"
  },
  {
    "param": "video config",
    "videoName": "name",
    "videoRequestId": "bbb"
  }
]

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	False	data object ，异常時通常爲空
- videoRequestId	String	True	視頻合成id，需唯一
- taskId	Long	True	任務id
- description	String	True	任務派發結果描述

響應樣例

{
  "code": 0,
  "message": "success",
  "data": [
    {
      "videoRequestId": "aaa",
      "taskId": 26,
      "description": "隊列等待中"
    },
    {
      "videoRequestId": "bbb",
      "taskId": 27,
      "description": "隊列等待中"
    }
  ]
}

創建接管視頻合成任務

接口描述

根據用戶上傳的指定內容調用算法能力進行接管視頻合成，最終返回mp4/webm格式的視頻文件供用戶下載。PaaS平臺支持7天在綫存儲，需要及時轉存，7天后生成內容將無法下載。

請求地址

POST /api/2dvh/v1/material/video/takeover/create

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
param	String	True	創建接管視頻合成任務需要傳入正確的param信息，其中包括視頻合成參數（該參數爲json轉義後的字符串），視頻合成參數定義參見視頻合成任務json定義，其中人物，前景，背景只支持field id。
videoName	String	True	視頻名稱
thumbnailUrl	String	False	縮略圖url

請求樣例

{
  "videoName": "xxx",
  "param": "{\"version\":\"0.0.13\",\"video_format\":\"MP4\",\"resolution\":[1080,1920],\"bit_rate\":8,\"frame_rate\":25,\"watermark\":{\"show\":true,\"content\":\"內部測試\"},\"digital_role\":{\"id\":4051,\"face_feature_id\":\"\",\"name\":\"Nina\",\"url\":\"\",\"fileId\":\"12345\",\"position\":{\"x\":0,\"y\":0},\"scale\":1.0,\"z_position\":1,\"rotation\":0.0,\"start_frame_index\":123},\"tts_config\":{\"id\":\"xiaoyue\",\"name\":\"曉月\",\"vendor_id\":3,\"language\":\"zh-CN\",\"pitch_offset\":0.0,\"speed_ratio\":1,\"volume\":100},\"tts_query\":{\"content\":\"您好，尊貴的客戶\",\"ssml\":false},\"audios\":[{\"url\":\"https://dhpoc.softsugar.com/adapter/static/9b158cc9-8e42-4d09-b928-49dd9941d922.mp3\"},{\"url\":\"https://dhpoc.softsugar.com/adapter/static/9b158cc9-8e42-4d09-b928-49dd9941d922.mp3\"}],\"backgrounds\":[{\"type\":0,\"name\":\"背景\",\"url\":\"\",\"fileId\":\"12345\",\"rect\":[0,0,1080,1920],\"cycle\":false,\"start\":0,\"play_offset\":123,\"duration\":-1}],\"foregrounds\":[{\"type\":0,\"name\":\"前景\",\"url\":\"\",\"fileId\":\"12345\",\"rect\":[0,0,1080,1920],\"rotation\":0.0,\"z_position\":0,\"cycle\":false,\"play_offset\":123,\"start\":0,\"duration\":-1}],\"foreground-texts\":[{\"text\":\"前景\",\"font_size\":20,\"font_family\":\"NotoSansSChineseBlack\",\"z_position\":10,\"stroke_width\":5.0,\"stroke_rgba\":[255,0,0,0],\"opacity\":0.5,\"position\":{\"x\":0,\"y\":0},\"background_rgba\":[0,255,0,200],\"rgba\":[100,200,100,100]}],\"title\":{\"text\":\"這是標題\",\"rgba\":[100,255,255,255],\"position\":{\"x\":540,\"y\":200},\"font_size\":50,\"font_family\":\"NotoSansSChineseBlack\",\"stroke_width\":5.0,\"stroke_rgba\":[255,0,0,0],\"scale\":1.0,\"opacity\":0.5,\"background_rgba\":[0,255,0,200]},\"effects\":{\"version\":\"1.0\",\"beautify\":{\"whitenStrength\":0.30,\"whiten_mode\":0,\"reddenStrength\":0.36,\"smoothStrength\":0.74,\"smooth_mode\":0,\"shrinkRatio\":0.11,\"enlargeRatio\":0.13,\"smallRatio\":0.10,\"narrowFace\":0.0,\"roundEyesRatio\":0.0,\"thinFaceShapeRatio\":0.0,\"chinLength\":0.0,\"hairlineHeightRatio\":0.0,\"appleMusle\":0.0,\"narrowNoseRatio\":0.0,\"noseLengthRatio\":0.0,\"profileRhinoplasty\":0.0,\"mouthSize\":0.0,\"philtrumLengthRatio\":0.0,\"eyeDistanceRatio\":0.0,\"eyeAngleRatio\":0.0,\"openCanthus\":0.0,\"brightEyeStrength\":0.0,\"removeDarkCircleStrength\":0.0,\"removeNasolabialFoldsStrength\":0.0,\"whiteTeeth\":0.0,\"shrinkCheekbone\":0.0,\"thinnerHead\":0.0,\"openExternalCanthus\":0.0,\"shrinkJawbone\":0.0,\"shrinkRoundFace\":0.0,\"shrinkLongFace\":0.0,\"shrinkGoddessFace\":0.0,\"shrinkNaturalFace\":0.0,\"shrinkWholeHead\":0.0,\"contrastStrength\":0.05,\"saturationStrength\":0.10,\"sharpen\":0.0,\"clear\":0.0,\"eyeHeight\":0.0,\"mouthCorner\":0.05,\"hairline\":0.10,\"bokehStrength\":0.0}}}"
}

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Integer	False	任務id

響應樣例

{

    "code": 0,

    "message": "success",

    "data": 1

}

json參數說明

同視頻合成任務參數，請參考視頻合成任務json參數說明

json示例

{
	"version": "0.0.13",
	"video_format": "MP4",
	"resolution": [1080, 1920],
	"bit_rate": 8,
	"frame_rate": 25,
	"watermark": {
		"show": true,
		"content": "內部測試"
	},
	"digital_role": {
		"id": 4051,
		"face_feature_id": "",
		"name": "Nina",
		"url": "",
        "fileId": "12345",
		"position": {
			"x": 0,
			"y": 0
		},
		"scale": 1.0,
		"z_position": 1,
		"rotation": 0.0,
        "start_frame_index":123
	},
	"tts_config": {
		"id": "xiaoyue",
		"name": "曉月",
		"vendor_id": 3,
		"language": "zh-CN",
		"pitch_offset": 0.0,
		"speed_ratio": 1,
		"volume": 100
	},
	"tts_query": {
		"content": "您好，尊貴的客戶",
		"ssml": false
	},
	"audios": [{
		"url": "https://dhpoc.softsugar.com/adapter/static/9b158cc9-8e42-4d09-b928-49dd9941d922.mp3"
	}, {
		"url": "https://dhpoc.softsugar.com/adapter/static/9b158cc9-8e42-4d09-b928-49dd9941d922.mp3"
	}],
	"backgrounds": [{
		"type": 0,
		"name": "背景",
		"url": "",
        "fileId": "12345",
		"rect": [0, 0, 1080, 1920],
		"cycle": false,
		"start": 0,
        "play_offset": 123,
		"duration": -1
	}],
	"foregrounds": [{
		"type": 0,
		"name": "前景",
		"url": "",
        "fileId": "12345",
		"rect": [0, 0, 1080, 1920],
		"rotation": 0.0,
		"z_position": 0,
		"cycle": false,
        "play_offset": 123,
		"start": 0,
		"duration": -1
	}],
	"foreground-texts": [{
		"text": "前景",
		"font_size": 20,
		"font_family": "Noto Sans S Chinese Black",
		"z_position": 10,
		"stroke_width": 5.0,
		"stroke_rgba": [255, 0, 0, 0],
		"opacity": 0.5,
		"position": {
			"x": 0,
			"y": 0
		},
    "background_rgba": [0, 255, 0, 200],
		"rgba": [100, 200, 100, 100]
	}],
	"title": {
		"text": "這是標題",
		"rgba": [100, 255, 255, 255],
		"position": {
			"x": 540,
			"y": 200
		},
		"font_size": 50,
		"font_family": "Noto Sans S Chinese Black",
		"stroke_width": 5.0,
		"stroke_rgba": [255, 0, 0, 0],
		"scale": 1.0,
		"opacity": 0.5,
		"background_rgba": [0, 255, 0, 200]
	},
	"effects": {
		"version": "1.0",
		"beautify": {
			"whitenStrength": 0.30,
			"whiten_mode": 0,
			"reddenStrength": 0.36,
			"smoothStrength": 0.74,
			"smooth_mode": 0,
			"shrinkRatio": 0.11,
			"enlargeRatio": 0.13,
			"smallRatio": 0.10,
			"narrowFace": 0.0,
			"roundEyesRatio": 0.0,
			"thinFaceShapeRatio": 0.0,
			"chinLength": 0.0,
			"hairlineHeightRatio": 0.0,
			"appleMusle": 0.0,
			"narrowNoseRatio": 0.0,
			"noseLengthRatio": 0.0,
			"profileRhinoplasty": 0.0,
			"mouthSize": 0.0,
			"philtrumLengthRatio": 0.0,
			"eyeDistanceRatio": 0.0,
			"eyeAngleRatio": 0.0,
			"openCanthus": 0.0,
			"brightEyeStrength": 0.0,
			"removeDarkCircleStrength": 0.0,
			"removeNasolabialFoldsStrength": 0.0,
			"whiteTeeth": 0.0,
			"shrinkCheekbone": 0.0,
			"thinnerHead": 0.0,
			"openExternalCanthus": 0.0,
			"shrinkJawbone": 0.0,
			"shrinkRoundFace": 0.0,
			"shrinkLongFace": 0.0,
			"shrinkGoddessFace": 0.0,
			"shrinkNaturalFace": 0.0,
			"shrinkWholeHead": 0.0,
			"contrastStrength": 0.05,
			"saturationStrength": 0.10,
			"sharpen": 0.0,
			"clear": 0.0,
			"eyeHeight": 0.0,
			"mouthCorner": 0.05,
			"hairline": 0.10,
			"bokehStrength": 0.0
		}
	}
}

創建TTS個人音色模型生成任務（QID）

接口描述

TTS個人音色模型生成（ QID）服務可根據用戶上傳的真人采集或錄製的語音素材文件，以及聲音複刻同意文件，通過算法訓練産出發音效果與聲音素材提供者一致的數字人TTS音色模型。爲保證訓練效果，請在采集時遵照商湯數字人音色複製采集製作規範，內容包括環境要求、設備要求、發音要求、授權要求、朗讀脚本，具體參考：采集規範 (opens new window)，PaaS平臺支持7天在綫存儲，需要及時轉存，7天后生成內容將無法下載。

請求地址

POST /api/2dvh/v1/material/voice/clone/qid/create

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
audioUrl	String	True	訓練音頻文件 URL。素材支持格式：wav, mp3, m4a, mp4, mov, aac
audioLanguage	String	True	音頻文件中使用的主要語言。zh-CN 中文普通話，en-US 美式英文。遵循 BCP 47 標準
consent	Object	True	用戶同意聲明信息
- audioUrl	String	True	用戶同意音頻文件 URL。用戶同意文件應與音頻文件在相同環境下錄製幷使用同一種語言。 中文的用戶同意聲明文本爲：”我（發音人姓名）確認我的聲音將會被（公司名稱）使用于創建合成版本語音。”。 English: "I [state your first and last name] am aware that recordings of my voice will be used by [state the name of the company] to create and use a synthetic version of my voice." Japanese: "私（姓名を記入）は自身の音聲を（會社名を記入）が使用し、合成音聲を作り使用されることに同意します。" Korean: "나는 [본인의 이름을 말씀하세요] 내 목소리의 녹음을 이용해 합성 버전을 만들어 사용된다는 것을 [회사 이름을 말씀하세요]알고 있습니다." 素材支持格式：wav, mp3, m4a, mp4, mov, aac
- speakerName	String	True	用戶同意音頻文件中使用的發音人姓名，必須與音頻文件中的發音人姓名保持一致。長度限制不大于64字符
- companyName	String	True	用戶同意文件中使用的公司名稱，必須與音頻文件中的公司名稱保持一致。長度限制不大于64字符
taskType	String	True	訓練算法類型。TTS3，TTS6，TTS7，TTS8，TTS101。默認填寫TTS3。更多需求請諮詢技術支持
voice	Object	True	發音人信息
- name	String	True	發音人名稱。長度限制不大于64字符
- gender	Integer	True	發音人性別 （1: Male, 2 : Female）
musicSep	Boolean	False	是否進行音頻背景音樂消除（聲源分離）
trainMode	String	False	訓練模式，僅對TTS3有效。common: 常規訓練模式，默認爲 common模式；backend_only: 極速訓練模式，大幅度壓縮模型訓練時長，效果也會有影響

請求樣例

{
  "audioUrl": "http://oss.com/abc/object.mp3",
  "audioLanguage": "zh-CN",
  "consent": {
      "audioUrl":"http://oss.com/abc/xx.mp3",
      "speakerName": "xiaowang",
      "companyName": "XXXX"
  },
  "taskType": "TTS3",
  "voice": {
    "name": "xiaotang0",
    "gender": 2
  },
  "musicSep": false,
  "trainMode": "common"
}

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	False	任務id

響應樣例

{
    "code": 0,
    "message": "success",
    "data": 11890
}

TTS音色訓練傳入音頻時間要求

訓練算法類型	時間要求
TTS3	至少5分鐘，20分鐘以上效果比較好
TTS6	30-90秒
TTS7	30-300秒
TTS8	30-300秒
TTS101	至少5分鐘，20分鐘以上效果比較好

TTS語言標準（BCP 47 標準）

代碼	語言（地區）
en-US	英語（美國）
zh-CN	中文（中國）
af-ZA	南非荷蘭語（南非）
am-ET	阿姆哈拉語（埃塞俄比亞）
ar-EG	阿拉伯語（埃及）
ar-SA	阿拉伯語（沙特阿拉伯）
az-AZ	阿塞拜疆語（阿塞拜疆）
bg-BG	保加利亞語（保加利亞）
bn-BD	孟加拉語（孟加拉國）
bn-IN	孟加拉語（印度）
bs-BA	波斯尼亞語（波斯尼亞和黑塞哥維那）
ca-ES	加泰羅尼亞語（西班牙）
cs-CZ	捷克語（捷克）
cy-GB	威爾士語（英國）
da-DK	丹麥語（丹麥）
de-AT	德語（奧地利）
de-CH	德語（瑞士）
de-DE	德語（德國）
el-GR	希臘語（希臘）
en-AU	英語（澳大利亞）
en-CA	英語（加拿大）
en-GB	英語（英國）
en-IE	英語（愛爾蘭）
en-IN	英語（印度）
es-ES	西班牙語（西班牙）
es-MX	西班牙語（墨西哥）
et-EE	愛沙尼亞語（愛沙尼亞）
eu-ES	巴斯克語（西班牙）
fa-IR	波斯語（伊朗）
fi-FI	芬蘭語（芬蘭）
fil-PH	菲律賓語（菲律賓）
fr-BE	法語（比利時）
fr-CA	法語（加拿大）
fr-CH	法語（瑞士）
fr-FR	法語（法國）
ga-IE	愛爾蘭語（愛爾蘭）
gl-ES	加利西亞語（西班牙）
he-IL	希伯來語（以色列）
hi-IN	印地語（印度）
hr-HR	克羅地亞語（克羅地亞）
hu-HU	匈牙利語（匈牙利）
hy-AM	亞美尼亞語（亞美尼亞）
id-ID	印度尼西亞語（印度尼西亞）
is-IS	冰島語（冰島）
it-IT	意大利語（意大利）
ja-JP	日語（日本）
jv-ID	爪哇語（印度尼西亞）
ka-GE	格魯吉亞語（格魯吉亞）
kk-KZ	哈薩克語（哈薩克斯坦）
km-KH	高棉語（柬埔寨）
kn-IN	卡納達語（印度）
ko-KR	韓語（韓國）
lo-LA	老撾語（老撾）
lt-LT	立陶宛語（立陶宛）
lv-LV	拉脫維亞語（拉脫維亞）
mk-MK	馬其頓語（馬其頓）
ml-IN	馬拉雅拉姆語（印度）
mn-MN	蒙古語（蒙古）
ms-MY	馬來語（馬來西亞）
mt-MT	馬耳他語（馬耳他）
my-MM	緬甸語（緬甸）
nb-NO	挪威語（博克馬爾，挪威）
ne-NP	尼泊爾語（尼泊爾）
nl-BE	荷蘭語（比利時）
nl-NL	荷蘭語（荷蘭）
pl-PL	波蘭語（波蘭）
ps-AF	普什圖語（阿富汗）
pt-BR	葡萄牙語（巴西）
pt-PT	葡萄牙語（葡萄牙）
ro-RO	羅馬尼亞語（羅馬尼亞）
ru-RU	俄語（俄羅斯）
si-LK	僧伽羅語（斯裏蘭卡）
sk-SK	斯洛伐克語（斯洛伐克）
sl-SI	斯洛文尼亞語（斯洛文尼亞）
so-SO	索馬裏語（索馬裏）
sq-AL	阿爾巴尼亞語（阿爾巴尼亞）
sr-RS	塞爾維亞語（塞爾維亞）
su-ID	巽他語（印度尼西亞）
sv-SE	瑞典語（瑞典）
sw-KE	斯瓦希裏語（肯尼亞）
ta-IN	泰米爾語（印度）
te-IN	泰盧固語（印度）
th-TH	泰語（泰國）
tr-TR	土耳其語（土耳其）
uk-UA	烏克蘭語（烏克蘭）
ur-PK	烏爾都語（巴基斯坦）
uz-UZ	烏茲別克語（烏茲別克斯坦）
vi-VN	越南語（越南）
zh-HK	中文（香港）
zh-TW	中文（臺灣）
zu-ZA	祖魯語（南非）

創建TTS個人音色模型生成任務（舊接口，不推薦使用）

接口描述

TTS個人音色模型生成服務可根據用戶上傳的真人采集或錄製的語音素材文件通過算法訓練産出發音效果與聲音素材提供者一致的數字人TTS音色模型。爲保證訓練效果，訓練音頻時長不得短于5分鐘，請在采集時遵照商湯數字人音色複製采集製作規範，內容包括環境要求、設備要求、發音要求、授權要求、朗讀脚本，具體參考：采集規範 (opens new window)，PaaS平臺支持7天在綫存儲，需要及時轉存，7天后生成內容將無法下載。

請求地址

POST /api/2dvh/v1/material/voice/clone/create

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
url	String	True	訓練音頻文件URL，時長不得短于5分鐘
voice	Object	True	語音參數
- name	String	True	發音人名稱
- gender	Integer	True	發音人性別(1: Male,2 :Female)
- language	String	True	發音人語言(當前僅支持zh-CN:中文普通話)
musicSep	Boolean	False	是否進行音頻背景音消除
sampleAudioMsg	String	False	示例音頻內容文字。默認不生成示例音頻。不超過500字。
trainMode	String	False	訓練模式，common: 常規訓練模式，默認爲 common模式；backend_only: 極速訓練模式，大幅度壓縮模型訓練時長，效果也會有影響。

請求樣例

{
  "url": "http://oss.com/abc/object.zip",
  "voice": {
    "name": "xiaotang0",
    "gender": 2,
    "language": "zh-CN"
  },
  "sampleAudioMsg": "我是商湯數字人！",
  "musicSep": true,
  "trainMode": "common"
}

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	False	任務id

響應樣例

{
    "code": 0,
    "message": "success",
    "data": 11890
}

創建人物形象模型生成任務

接口描述

根據用戶上傳的一個或多個視頻及指定內容調用算法能力進行人物形象模型生成，支持一次訓練産出一個或多個模型文件，算法最終返回人物形象模型的壓縮包和縮略圖文件供用戶下載。上傳視頻內容請參考采集規範 (opens new window)。PaaS平臺支持7天在綫存儲，需要及時轉存，7天后生成內容將無法下載。 若人物模型生成的效果不佳，請參考文檔上述的case 應對方案進行訓練參數調整。

支持普通數字人訓練，支持精品數字人訓練。

請求地址

POST /api/2dvh/v1/material/2davatar/model/multi/create

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
materialName	String	True	人物模型素材名稱，一次訓練任務僅支持同一命名
videoUrl	String	True	基礎base視頻素材下載地址 ，基礎視頻時長要求必須在6min以上
param	String	True	創建多視頻人物模型生成任務需要傳入正確的param信息，其中包括各類參數（該參數爲json轉義後的字符串），請參考下面的參數說明和 json 示例

param參數說明

字段	類型	必填	描述
personal	String	True	基礎視頻參數，可被輔助視頻覆蓋。如果輔助視頻未填寫，將使用基礎視頻參數進行處理。
- segmentStyle	Integer	True	背景分割方式：0:不分割,1:綠幕分割,2:普通分割,3:sdk做綠幕分割後處理(視頻合成時gpu後處理)
- removeGreenEdge	Boolean	False	當segmentStyle=2時，設置有效，默認爲false，去除人物邊緣綠邊功能
- greenParamsRefinethHBgr	Integer	False	當segmentStyle=1或 3時，設置有效, 默認 160，範圍0-255; refine alpha 高閾值 (對于背景爲紅綠藍)，用于調整背景保留程度，值越大背景保留程度越大
- greenParamsRefinethLBgr	Integer	False	當segmentStyle=1 或 3時，設置有效, 默認 40， 範圍0-255; refine alpha 低閾值 (對于背景爲紅綠藍)，用于調整人體/物體邊緣保留寬度，值越大保留越多
- greenParamsBlurKs	Integer	False	當segmentStyle=1或 3時，設置有效, 默認 3，平滑度; 去噪點的blur係數，大于等于0，平滑度越大越平滑，對邊緣有影響，若邊緣出現黑邊异色可以將該值升高，若邊緣出現內蝕可以該值適當降低
- greenParamsColorbalance	Integer	False	當segmentStyle=1 或 3時, 設置有效，默認100, 去綠程度，範圍0-100，取值越大，去綠程度越高
- greenParamsSpillByalpha	Double	False	當segmentStyle=1和3時，設置有效, 默認 0.5，去綠色彩平衡，範圍[-1.0 ～ 1.0]，0 ~ 1 是减少偏色，-1 ~ 0 是增强色彩,小于0.5黃色會偏色，大于0.5青藍色會偏色，若使用藍幕分割，則默認值需要改爲 0.0
- greenParamsSamplePointBgr	int[]	False	當segmentStyle=1 或 3時，設置有效，采樣顔色，由三個數值組成，各自取值範圍0-255，例如[0, 255, 0] ，若使用藍幕分割，則默認值需要改爲 [255, 0, 0]
- assetStart	Float	False	裁剪視頻素材起始時間（秒）（精品數字人該參數無效）
- assetEnd	Float	False	裁剪視頻素材終止時間（秒）（精品數字人該參數無效）
- assetScale	Float	False	視頻素材縮放比例(默認1.0)
- actionChange	Object	False	精品數字人相關參數。此組參數support=true時有效。表示訓練的數字人類型爲精品數字人。 actionChange部分與actionEdit部分互斥，請避免同時這兩組參數均爲true。
-   - support	Boolean	True	是否支持精品數字人，true爲精品數字人。
-   - staticRangeStart	Float	True	靜態素材開始時間（秒）（僅支持精品數字人）
-   - staticRangeEnd	Float	True	靜態素材結束時間（秒）（僅支持精品數字人）
-   - dynamicRangeStart	Float	True	動態素材開始時間（秒）（僅支持精品數字人）
-   - dynamicRangeEnd	Float	True	動態素材結束時間（秒）（僅支持精品數字人）
-   - gap	Integer	False	切出點最大間隔幀數（默認75）
- actionEdit	Object	False	動作編輯數字人相關參數，此組參數support=true時有效，表示訓練的數字人類型爲動作編輯數字人。 actionChange部分與actionEdit部分互斥，請避免同時這兩組參數均爲true。
-   - support	Boolean	True	是否支持支持動作編輯，true支持。
-   - videoPath	String	True	動態素材文件地址
-   - gap	Integer	False	切出點最大間隔幀數（默認25）
-   - actionList	Array	True	動作列表
-   -   - name	String	True	動作名稱
-   -   - clipRangeStart	Float	True	開始時間（秒）
-   -   - clipRangeEnd	Float	True	結束時間（秒）
-   -   - description	String	False	動作的文字描述
persistent	Object	True	模型全域參數，不可被輔助視頻參數覆蓋。
- avatarType	Integer	False	數類型，默認爲0.（0:數字人，1:動靜數字人，2:動作編輯數字人，3:快速數字人
- videoCrfQuality	Integer	True	視頻編碼質量的參數crf, 參數越小質量越好但文件越大，默認23，允許範圍0-51，建議14-28
- stage1Config	Array	True	人物模型口型訓練配置，默認爲0表示生成原始口型模型 ； 1 表示生成通用口型模型 ，後續用戶可根據實際效果選擇手動切換兩種口型模型
- dev	Object	False	視頻素材模型訓練配置
-   - stage2	Object	False	視頻素材模型訓練配置
-   -   - config	Integer	True	視頻素材模型訓練配置，模型尺寸，默認爲0，表示2k精度模型；1表示4k精度模型
override	Array	False	輔助視頻信息。（精品數字人該組參數無效，動作編輯數字人該組參數無效）
- videoUrl	String	True	輔助視頻地址，如果輔助視頻未配置則personal中參數
- segmentStyle	Integer	False	背景分割方式：0:不分割,1:綠幕分割,2:普通分割,3:sdk做綠幕分割後處理(視頻合成時gpu後處理)
- removeGreenEdge	Boolean	False	當segmentStyle=2時，設置有效，默認爲false，去除人物邊緣綠邊功能
- greenParamsRefinethHBgr	Integer	False	當segmentStyle=1或 3時，設置有效, 默認 160，範圍0-255; refine alpha 高閾值 (對于背景爲紅綠藍)，用于調整背景保留程度，值越大背景保留程度越大
- greenParamsRefinethLBgr	Integer	False	當segmentStyle=1 或 3時，設置有效, 默認 40， 範圍0-255; refine alpha 低閾值 (對于背景爲紅綠藍)，用于調整人體/物體邊緣保留寬度，值越大保留越多
- greenParamsBlurKs	Integer	False	當segmentStyle=1或 3時，設置有效, 默認 3，平滑度; 去噪點的blur係數，大于等于0，平滑度越大越平滑，對邊緣有影響，若邊緣出現黑邊异色可以將該值升高，若邊緣出現內蝕可以該值適當降低
- greenParamsColorbalance	Integer	False	當segmentStyle=1 或 3時, 設置有效，默認100, 去綠程度，範圍0-100，取值越大，去綠程度越高
- greenParamsSpillByalpha	Double	False	當segmentStyle=1和3時，設置有效, 默認 0.5，去綠色彩平衡，範圍[-1.0 ～ 1.0]，0 ~ 1 是减少偏色，-1 ~ 0 是增强色彩,小于0.5黃色會偏色，大于0.5青藍色會偏色，若使用藍幕分割，則默認值需要改爲 0.0
- greenParamsSamplePointBgr	int[]	False	當segmentStyle=1 或 3時，設置有效，采樣顔色，由三個數值組成，各自取值範圍0-255，例如[0, 255, 0] ，若使用藍幕分割，則默認值需要改爲 [255, 0, 0]
- assetStart	Float	False	裁剪視頻素材起始時間（秒）
- assetEnd	Float	False	裁剪視頻素材終止時間（秒）
- assetScale	Float	False	視頻素材縮放比例(默認1.0)

請求樣例

{
  "materialName": "534",
  "videoUrl": "https://xxx/materials/33/demo_20230228104258028_20230720185601860.mp4",
  "param": "{\"personal\":{\"segmentStyle\":1,\"removeGreenEdge\":false,\"greenParamsRefinethHBgr\":180,\"greenParamsRefinethLBgr\":50,\"greenParamsBlurKs\":3,\"greenParamsColorbalance\":90,\"greenParamsSpillByalpha\":0.4,\"greenParamsSamplePointBgr\":[0,255,0],\"assetStart\":0.1,\"assetEnd\":0.6,\"assetScale\":1},\"persistent\":{\"videoCrfQuality\":23,\"stage1Config\":[0,1],\"dev\":{\"stage2\":{\"config\":1}}},\"override\":[{\"videoUrl\":\"https://aigc-video-saas.oss-cn-hangzhou.aliyuncs.com/AIGC/online/vendor/24/customization/1700120490581/package_1700120490581.mp4\",\"segmentStyle\":1,\"removeGreenEdge\":false,\"greenParamsRefinethHBgr\":180,\"greenParamsRefinethLBgr\":50,\"greenParamsBlurKs\":3,\"greenParamsColorbalance\":90,\"greenParamsSpillByalpha\":0.4,\"greenParamsSamplePointBgr\":[0,255,0],\"assetStart\":0.1,\"assetEnd\":0.6,\"assetScale\":1},{\"videoUrl\":\"https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/demo.mp4\",\"segmentStyle\":1,\"removeGreenEdge\":false,\"greenParamsRefinethHBgr\":180,\"greenParamsRefinethLBgr\":50,\"greenParamsBlurKs\":3,\"greenParamsColorbalance\":90,\"greenParamsSpillByalpha\":0.4,\"greenParamsSamplePointBgr\":[0,255,0],\"assetStart\":0.1,\"assetEnd\":0.6,\"assetScale\":1}]}"
}

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	False	任務id

響應樣例

{
    "code": 0,
    "message": "success",
    "data": 1
}

創建人物形象模型生成任務（舊接口）

接口描述

注意：該接口僅支持普通數字人模型生成任務，該接口不進行新內容更新。建議使用創建人物形象模型生成接口。

根據用戶上傳的指定內容調用算法能力進行人物形象模型生成，最終返回人物形象模型的壓縮包和縮略圖文件供用戶下載。上傳內容請參考采集規範 (opens new window)。PaaS平臺支持7天在綫存儲，需要及時轉存，7天后生成內容將無法下載。

請求地址

POST /api/2dvh/v1/material/2davatar/model/create

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
materialName	String	True	人物模型素材名稱
videoUrl	String	True	視頻素材下載地址
segmentStyle	Integer	True	背景分割方式：0:不分割,1:綠幕分割,2:普通分割,3:sdk做綠幕分割後處理(視頻合成時gpu後處理)
removeGreenEdge	Boolean	False	當segmentStyle=2時，設置有效，默認爲false，去除人物邊緣綠邊功能
greenParamsRefinethHBgr	Integer	False	當segmentStyle=1或 3時，設置有效, 默認 160，範圍0-255; refine alpha 高閾值 (對于背景爲紅綠藍)，用于調整背景保留程度，值越大背景保留程度越大
greenParamsRefinethLBgr	Integer	False	當segmentStyle=1 或 3時，設置有效, 默認 40， 範圍0-255; refine alpha 低閾值 (對于背景爲紅綠藍)，用于調整人體/物體邊緣保留寬度，值越大保留越多
greenParamsBlurKs	Integer	False	當segmentStyle=1或 3時，設置有效, 默認 3，平滑度; 去噪點的blur係數，大于等于0，平滑度越大越平滑，對邊緣有影響，若邊緣出現黑邊异色可以將該值升高，若邊緣出現內蝕可以該值適當降低
greenParamsColorbalance	Integer	False	當segmentStyle=1 或 3時, 設置有效，默認100, 去綠程度，範圍0-100，取值越大，去綠程度越高
greenParamsSpillByalpha	Double	False	當segmentStyle=1和3時，設置有效, 默認 0.5，去綠色彩平衡，範圍[-1.0 ～ 1.0]，0 ~ 1 是减少偏色，-1 ~ 0 是增强色彩,小于0.5黃色會偏色，大于0.5青藍色會偏色，若使用藍幕分割，則默認值需要改爲 0.0
greenParamsSamplePointBgr	int[]	False	當segmentStyle=1 或 3時，設置有效，采樣顔色，由三個數值組成，各自取值範圍0-255，例如[0, 255, 0] ，若使用藍幕分割，則默認值需要改爲 [255, 0, 0]
videoCrfQuality	Integer	False	視頻編碼質量的參數crf, 參數越小質量越好但文件越大，默認23，允許範圍0-51，建議14-28
assetStart	Float	False	裁剪視頻素材起始時間（秒）
assetEnd	Float	False	裁剪視頻素材終止時間（秒）
assetScale	Float	False	視頻素材縮放比例(默認1.0)
devStage2Config	Integer	False	視頻素材模型訓練配置，模型尺寸，默認爲0，表示2k精度模型；1表示4k精度模型
stage1Template	Integer	False	人物模型口型訓練配置，默認爲0表示生成原始口型模型 ； 1 表示生成通用口型模型 ，後續用戶可根據實際效果選擇手動切換兩種口型模型

請求樣例

當segmentStyle=0的示例

{
  "materialName": "534",
  "segmentStyle": 1,
  "assetScale": 1,
  "videoCrfQuality": 21,
  "stage1Template": 0,
  "devStage2Config": 0,
  "videoUrl": "https://xxx/materials/33/demo_20230228104258028_20230720185601860.mp4"
}

當segmentStyle=1的示例

{
  "materialName": "534",
  "segmentStyle": 1,
  "assetScale": 1,
  "devStage2Config": 0,
  "greenParamsRefinethHBgr": 167,
  "greenParamsRefinethLBgr": 17,
  "greenParamsBlurKs": 7,
  "greenParamsColorbalance": 97,
  "greenParamsSpillByalpha": 0.3,
  "greenParamsSamplePointBgr": [
    7,
    275,
    7
  ],
  "videoCrfQuality": 21,
  "stage1Template": 0,
  "videoUrl": "https://xxx/materials/33/demo_20230228104258028_20230720185601860.mp4"
}

當segmentStyle=2的示例，僅greenParamsSpillByalpha可變更取值，其他參數將按照默認值傳入

{
  "materialName": "534",
  "segmentStyle": 2,
  "devStage2Config": 0,
  "stage1Template": 0,
  "removeGreenEdge" : true,
  "assetScale": 1,
  "greenParamsSpillByalpha": 0.3,
  "videoCrfQuality": 21,
  "videoUrl": "https://xxx/materials/33/demo_20230228104258028_20230720185601860.mp4"
}

當segmentStyle=3的示例

{
  "materialName": "534",
  "segmentStyle": 3,
  "assetScale": 1,
  "devStage2Config": 0,
  "stage1Template": 0,
  "greenParamsRefinethHBgr": 167,
  "greenParamsRefinethLBgr": 17,
  "greenParamsBlurKs": 7,
  "greenParamsColorbalance": 97,
  "greenParamsSpillByalpha": 0.3,
  "greenParamsSamplePointBgr": [
    7,
    275,
    7
  ],
  "videoCrfQuality": 21,
  "videoUrl": "https://xxx/materials/33/demo_20230228104258028_20230720185601860.mp4"
}

參數說明

通常情况下，默認參數即可適配大部分場景，但因場景表現不同出現效果問題時，參數也需要針對調整，下面就一些典型場景提供對應的參數建議。

1）通用場景參數（默認）

此場景爲適配大多數場景參數，即上述提供的默認參數取值。

2）數字人畫面不清晰調整參數

方法1：將視頻編碼質量參數（videoCrfQuality）調小，當設置值爲14時，數字人素材與原始人物素材清晰度對齊，此方法可能會輕微增大素材大小；

方法2：合成視頻或創建直播的輸入請求中適當添加銳化sharp值，具體可參考 json 定義說明中 beautify 對象下的 sharpen 取值調大；

方法3：選擇4k版本訓練數字人

3）人物邊緣出現黑邊且有輕微反綠調整參數（出現頻率高，尤其是白衣服場景易出現）

請參考下面的參數進行人物模型更新（rebuilding），同時調低背景保留程度與人物邊緣保留寬度，此方法主要適配綠幕分割場景。參考取值如下：

{
  "materialName": "534",
  "segmentStyle": 1,
  "removeGreenEdge": false ,
  "assetScale": 1,
  "devStage2Config":0,
  "stage1Template": 0,
  "greenParamsRefinethHBgr": 90,
  "greenParamsRefinethLBgr": 10,
  "greenParamsBlurKs": 3,
  "greenParamsColorbalance": 100,
  "greenParamsSpillByalpha": -0.3,
  "greenParamsSamplePointBgr": [
    0,
    275,
    0
  ],
  "videoCrfQuality": 21,
  "videoUrl": "https://xxx/materials/33/demo_20230228104258028_20230720185601860.mp4"
}

5）人物邊緣有綠邊或整體泛綠調整參數

可以調小去綠平衡參數，參數越小去綠力度越高，也更容易偏色，例如將檸檬黃色摳除綠元素而變成橙色，建議最小設爲-0.3。此方法可增强色彩，適合畫面中沒有黃色時，同時支持綠幕分割與普通分割。參考取值如下：

{
  "materialName": "534",
  "segmentStyle": 2,
  "removeGreenEdge": true ,
  "devStage2Config": 0,
  "stage1Template": 0,
  "greenParamsSpillByalpha": -0.3,
  "videoCrfQuality": 21,
  "videoUrl": "https://xxx/materials/33/demo_20230228104258028_20230720185601860.mp4"
}

6）人物說話臉頰幅度大且在臉頰或脖子位置出現灰邊調整參數

此種情况發生原因爲初始素材分割結果與驅動後的數字人臉頰邊緣不匹配，需要選擇綠幕分割後處理（segmentStyle=3）方式訓練，主要適合綠幕分割處理的數字人。

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	False	任務id

響應樣例

{
    "code": 0,
    "message": "success",
    "data": 1
}

創建人物形象模型更新任務

接口描述

2D數字人展示的動作片段是從訓練視頻中抽取的，默認情况下是從說話的第一秒到3分半的時長。如果對2D數字人的動作片段不滿意，可以通過此接口進行動作片段修改，調整展示的動作時長和內容。需要注意的是使用人物形象模型更新功能時，建議背景分割方式與原模型文件生成時選擇的背景分割方式一致，變更分割方式可能會引起效果异常問題。 PaaS平臺支持7天在綫存儲，需要及時轉存，7天后生成內容將無法下載。

請求地址

POST /api/2dvh/v1/material/2davatar/model/rebuilding/video

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
materialName	String	True	人物模型素材名稱
videoUrl	String	True	視頻素材下載地址
modelUrl	String	True	已生成的原模型文件下載地址
segmentStyle	Integer	True	背景分割方式：0:不分割,1:綠幕分割,2:普通分割,3:sdk做綠幕分割後處理(視頻合成時gpu後處理)
removeGreenEdge	Boolean	False	當segmentStyle=2時，設置有效，默認爲false，去除人物邊緣綠邊功能
greenParamsRefinethHBgr	Integer	False	當segmentStyle=1或 3時，設置有效, 默認 160，範圍0-255; refine alpha 高閾值 (對于背景爲紅綠藍)，用于調整背景保留程度，值越大背景保留程度越大
greenParamsRefinethLBgr	Integer	False	當segmentStyle=1 或 3時，設置有效, 默認 40， 範圍0-255; refine alpha 低閾值 (對于背景爲紅綠藍)，用于調整人體/物體邊緣保留寬度，值越大保留越多
greenParamsBlurKs	Integer	False	當segmentStyle=1或 3時，設置有效, 默認 3，平滑度; 去噪點的blur係數，大于等于0，平滑度越大越平滑，對邊緣有影響，若邊緣出現黑邊异色可以將該值升高，若邊緣出現內蝕可以該值適當降低
greenParamsColorbalance	Integer	False	當segmentStyle=1 或 3時, 設置有效，默認100, 去綠程度，範圍0-100，取值越大，去綠程度越高
greenParamsSpillByalpha	Double	False	當segmentStyle=1和3時，設置有效, 默認 0.5，去綠色彩平衡，範圍[-1.0 ～ 1.0]，0 ~ 1 是减少偏色，-1 ~ 0 是增强色彩,小于0.5黃色會偏色，大于0.5青藍色會偏色，若使用藍幕分割，則默認值需要改爲 0.0
greenParamsSamplePointBgr	int[]	False	當segmentStyle=1 或 3時，設置有效，采樣顔色，由三個數值組成，各自取值範圍0-255，例如[0, 255, 0] ，若使用藍幕分割，則默認值需要改爲 [255, 0, 0]
videoCrfQuality	Integer	False	視頻編碼質量的參數crf, 參數越小質量越好但文件越大，默認23，允許範圍0-51，建議14-28
assetStart	Float	False	裁剪視頻素材起始時間（秒）
assetEnd	Float	False	裁剪視頻素材終止時間（秒）
assetScale	Float	False	視頻素材縮放比例(默認1.0)
actionChange	Object	False	動靜切換參數
- support	Boolean	True	是否支持素材動作切換
- staticRangeStart	Float	True	靜態素材開始時間（秒）
- staticRangeEnd	Float	True	靜態素材結束時間（秒）
- dynamicRangeStart	Float	True	動態素材開始時間（秒）
- dynamicRangeEnd	Float	True	動態素材結束時間（秒）
- gap	Integer	False	切出點最大間隔幀數（默認75）
actionEdit	Object	False	動作列表相關參數，此組參數support=true時有效
- support	Boolean	True	是否支持支持動作編輯，true支持。
- videoPath	String	True	動態素材文件地址
- gap	Integer	False	切出點最大間隔幀數（默認25）
- actionList	Array	True	動作列表
-   - name	String	True	動作名稱
-   - clipRangeStart	Float	True	開始時間（秒）
-   - clipRangeEnd	Float	True	結束時間（秒）
-   - description	String	False	動作的文字描述

請求樣例

{
  "materialName": "2d任務A",
  "videoUrl": "https://xxx.oss-cn-hangzhou.aliyuncs.com/xxx/audio1.mp4",
  "modelUrl": "https://xxx.oss-cn-hangzhou.aliyuncs.com/xxx/model1.zip",
  "assetStart": 0.0,
  "assetEnd": 120.0,
  "assetScale": 1.0,
  "segmentStyle": 1,
  "devStage2Config": 0,
  "stage1Template": 0,
  "greenParamsRefinethHBgr": 167,
  "greenParamsRefinethLBgr": 17,
  "greenParamsBlurKs": 7,
  "segmentGreenUseGpu":false,
  "greenParamsColorbalance": 97,
  "greenParamsSpillByalpha": 0.3,
  "greenParamsSamplePointBgr": [
    7,
    275,
    7
  ],
  "videoCrfQuality": 21
}

參數說明

通常情况下，默認參數即可適配大部分場景，但因場景表現不同出現效果問題時，參數也需要針對調整，下面就一些典型場景提供對應的參數建議。

1）通用場景參數（默認）

此場景爲適配大多數場景參數，即上述提供的默認參數取值。

2）數字人畫面不清晰調整參數

方法1：將視頻編碼質量參數（videoCrfQuality）調小，當設置值爲14時，數字人素材與原始人物素材清晰度對齊，此方法可能會輕微增大素材大小；

方法2：合成視頻或創建直播的輸入請求中適當添加銳化sharp值，具體可參考 json 定義說明中 beautify 對象下的 sharpen 取值調大；

方法3：選擇4k版本訓練數字人，但更新時不支持修改分辨率

3）人物邊緣出現黑邊且有輕微反綠調整參數（出現頻率高，尤其是白衣服場景易出現）

請參考下面的參數進行人物模型更新（rebuilding），同時調低背景保留程度與人物邊緣保留寬度，此方法主要適配綠幕分割場景。參考取值如下：

{
  "materialName": "534",
  "segmentStyle": 1,
  "removeGreenEdge": false ,
  "assetScale": 1,
  "greenParamsRefinethHBgr": 90,
  "greenParamsRefinethLBgr": 10,
  "greenParamsBlurKs": 3,
  "greenParamsColorbalance": 100,
  "greenParamsSpillByalpha": -0.3,
  "greenParamsSamplePointBgr": [
    0,
    275,
    0
  ],
  "videoCrfQuality": 21,
  "videoUrl": "https://xxx/materials/33/demo_20230228104258028_20230720185601860.mp4"
}

5）人物邊緣有綠邊或整體泛綠調整參數

可以調小去綠平衡參數，參數越小去綠力度越高，也更容易偏色，例如將檸檬黃色摳除綠元素而變成橙色，建議最小設爲-0.3。此方法可增强色彩，適合畫面中沒有黃色時，同時支持綠幕分割與普通分割。參考取值如下：

{
  "materialName": "534",
  "segmentStyle": 2,
  "removeGreenEdge": true ,
  "greenParamsSpillByalpha": -0.3,
  "videoCrfQuality": 21,
  "videoUrl": "https://xxx/materials/33/demo_20230228104258028_20230720185601860.mp4"
}

6）人物說話臉頰幅度大且在臉頰或脖子位置出現灰邊調整參數

此種情况發生原因爲初始素材分割結果與驅動後的數字人臉頰邊緣不匹配，需要選擇綠幕分割後處理（segmentStyle=3）方式訓練，主要適合綠幕分割處理的數字人。

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	False	任務id

響應樣例

{
    "code": 0,
    "message": "success",
    "data": 1
}

創建圖片綠幕分割效果預覽任務

接口描述

圖片綠幕分割效果預覽

請求地址

POST /api/2dvh/v1/material/2davatar/model/green/segment/image/create

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
materialName	String	True	圖片綠幕分割效果預覽任務名稱
url	String	True	圖片素材下載地址
param	String	True	圖片綠幕分割效果預覽任務需要傳入正確的param信息，其中包括各類參數（該參數爲json轉義後的字符串），請參考下面的參數說明和 json 示例

param參數說明

字段	類型	必填	描述
greenParamsRefinethHBgr	Integer	False	默認 160，範圍70-220。refine alpha 高閾值 (對于背景爲紅綠藍)，用于調整背景保留程度，值越大背景保留程度越大
greenParamsRefinethLBgr	Integer	False	默認 40， 範圍10-80。refine alpha 低閾值 (對于背景爲紅綠藍)，用于調整人體/物體邊緣保留寬度，值越大保留越多
greenParamsBlurKs	Integer	False	默認 3，範圍：1-24。平滑度; 去噪點的blur係數，大于等于0，平滑度越大越平滑，對邊緣有影響，若邊緣出現黑邊异色可以將該值升高，若邊緣出現內蝕可以該值適當降低。
greenParamsColorbalance	Integer	False	默認100, 去綠程度，範圍0-100，取值越大，去綠程度越高
greenParamsSpillByalpha	Double	False	默認 0.5，去綠色彩平衡，範圍[-1.0 ～ 1.0]，0 ~ 1 是减少偏色，-1 ~ 0 是增强色彩,小于0.5黃色會偏色，大于0.5青藍色會偏色，若使用藍幕分割，則默認值需要改爲 0.0
greenParamsSamplePointBgr	int[]	False	設置有效，采樣顔色，由三個數值組成，各自取值範圍0-255，例如[0, 255, 0] ，若使用藍幕分割，則默認值需要改爲 [255, 0, 0]
greenParamsSampleBackground	object	False	背景參數，請參考下面的參數說明和 json 示例

greenParamsSampleBackground參數說明

字段	類型	必填	描述
color	int[]	False	默認 [0,255,0], rgb顔色值，範圍0-255

請求樣例

{
  "materialName": "534",
  "url": "https://xxx/materials/33/demo_20230228104258028_20230720185601860.mp4",
  "param": "{\"green_params_refineth_h_bgr\":230,\"green_params_refineth_l_bgr\":70,\"green_params_blur_ks\":3,\"green_params_colorbalance\":100,\"green_params_spill_byalpha\":0,\"green_params_sample_point_bgr\":[0,255,0],\"green_params_sample_background\":{\"color\":[0,100,255]}}"
}

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	False	任務信息
- id	Long	True	任務id
- url	String	True	圖片地址

響應樣例

{
  "code": 0,
  "message": "success",
  "data": 1
}

視頻綠幕分割效果預覽

接口描述

視頻綠幕分割效果預覽

請求地址

POST /api/2dvh/v1/material/2davatar/model/green/segment/video/create

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
materialName	String	True	視頻綠幕分割效果預覽任名稱
url	String	True	基礎base視頻素材下載地址 ，基礎視頻時長要求必須在6min以上
param	String	True	視頻綠幕分割效果預覽任務需要傳入正確的param信息，其中包括各類參數（該參數爲json轉義後的字符串），請參考下面的參數說明和 json 示例

param參數說明

字段	類型	必填	描述
greenParamsRefinethHBgr	Integer	False	默認 160，範圍70-220。refine alpha 高閾值 (對于背景爲紅綠藍)，用于調整背景保留程度，值越大背景保留程度越大
greenParamsRefinethLBgr	Integer	False	默認 40， 範圍10-80。refine alpha 低閾值 (對于背景爲紅綠藍)，用于調整人體/物體邊緣保留寬度，值越大保留越多
greenParamsBlurKs	Integer	False	默認 3，範圍：1-24。平滑度; 去噪點的blur係數，大于等于0，平滑度越大越平滑，對邊緣有影響，若邊緣出現黑邊异色可以將該值升高，若邊緣出現內蝕可以該值適當降低
greenParamsColorbalance	Integer	False	默認100, 去綠程度，範圍0-100，取值越大，去綠程度越高
greenParamsSpillByalpha	Double	False	默認 0.5，去綠色彩平衡，範圍[-1.0 ～ 1.0]，0 ~ 1 是减少偏色，-1 ~ 0 是增强色彩,小于0.5黃色會偏色，大于0.5青藍色會偏色，若使用藍幕分割，則默認值需要改爲 0.0
greenParamsSamplePointBgr	int[]	False	設置有效，采樣顔色，由三個數值組成，各自取值範圍0-255，例如[0, 255, 0] ，若使用藍幕分割，則默認值需要改爲 [255, 0, 0]
greenParamsSampleBackground	object	False	背景參數，請參考下面的參數說明和 json 示例

greenParamsSampleBackground參數說明

字段	類型	必填	描述
color	int[]	False	默認 [0,255,0], rgb顔色值，範圍0-255

請求樣例

{
  "materialName": "534",
  "url": "https://xxx/materials/33/demo_20230228104258028_20230720185601860.mp4",
  "param": "{\"green_params_refineth_h_bgr\":230,\"green_params_refineth_l_bgr\":70,\"green_params_blur_ks\":3,\"green_params_colorbalance\":100,\"green_params_spill_byalpha\":0,\"green_params_sample_point_bgr\":[0,255,0],\"green_params_sample_background\":{\"color\":[0,100,255]}}"
}

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	False	任務id

響應樣例

{
  "code": 0,
  "message": "success",
  "data": 1
}

創建視頻人物換臉任務（內部測試）

接口描述

根據用戶上傳的視頻內容和模板圖片調用算法能力進行視頻人物換臉處理，最終返回處理後的視頻文件和縮略圖供用戶下載。

請求地址

POST /api/2dvh/v1/material/face/swap/create

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
facePhotoUrl	String	True	換臉使用的模板面部圖片
videoUrl	String	True	換臉使用的原始視頻文件
materialName	String	True	換臉任務名稱

請求樣例

{
  "facePhotoUrl": "facePhotoUrl",
  "videoUrl": "videoUrl",
  "materialName": "materialName"

}

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	False	任務id

響應樣例

{
  "code": 0,
  "message": "success",
  "data": 1
}

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	False	任務id

響應樣例

{
    "code": 0,
    "message": "success",
    "data": 1
}

內容預熱（口水話/開播脚本適用）（直播場景適用）

接口描述

針對口水話場景，開播脚本場景，提前進行文本請求/語音請求，得到一個id，在直播開播時直接使用，可在直播場景下提升開播/回復速度。

請求地址

POST /api/2dvh/v1/material/voice/content/repository/create

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
materialName	String	True	快速問答庫名稱
param	String	True	快速問答庫json，請參考下面的參數說明和 json 示例
thumbnailUrl	String	False	縮略圖Url

param參數說明

字段	類型	必填	描述
type	String	True	需填值"quick_response"或"startup_script"。 "quick_response"表示在互動數字人場景中的口水話功能中使用。 "startup_script"表示在直播場景中的開播脚本中使用。
desc	String	False	描述
digital_role	Object	False	數字人
- face_feature_id	String	True	數字人face feature id
- name	String	True	數字人名稱
tts_config	Object	True	tts配置
- qid	String	False	有text必填
- name	String	False	發音人名稱
- pitch_offset	Float	False	音調，數值越大越尖銳，越低越低沉，支持範圍 [-60, 60]
- speed_ratio	Float	False	語速，數值越大語速越慢，支持範圍 [0.5, 2]
- volume	Integer	False	音量，數值越大聲音越大，支持範圍 [1, 400]
voice_content	Array	True	適用于數字人脚本和口水詞的文本及音頻預熱。
- tts_query	Object	False	預熱內容的請求文本。TTS文本和音頻文件只支持一個，同時存在時TTS優先。預熱內容要麽全部是TTS請求，要麽全部是音頻請求，不能混用。
-   - content	String	False	預熱內容的文本內容
-   - ssml	Boolean	False	是否使用ssml請求
- audio	String	False	預熱內容的音頻接管文件地址。TTS文本和音頻文件只支持一個，同時存在時TTS優先。預熱內容要麽全部是TTS請求，要麽全部是音頻請求，不能混用。

請求樣例

{
  "materialName": "534",
  "url": "https://xxx/materials/33/demo_20230228104258028_20230720185601860.jpg",
  "param": "{\"type\":\"quick_response\",\"desc\":\"123\",\"digital_role\":{\"face_feature_id\":\"1510a3ae060e4d7ea523684eb72b3447_s1test\",\"name\":\"小李\"},\"tts_config\":{\"qid\":\"EAdUVf:AEA_Z10Mqp9GYwDGPMTSiszE7NKMqrCg\",\"name\":\"xiaoxuan\",\"pitch_offset\":0,\"speed_ratio\":1,\"volume\":400},\"voice_content\":[{\"tts_query\":{\"content\":\"感謝你的提問，這個問題我想一下回答你。\",\"ssml\":false},\"audio\":\"\"},{\"tts_query\":{\"content\":\"這是一個好問題，我需要仔細思考一下，才能給出一個準確的答案。\",\"ssml\":false},\"audio\":\"\"},{\"tts_query\":{\"content\":\"好的，這位同學，請稍等。\",\"ssml\":false}}]}"
}

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	False	任務id

響應樣例

{
  "code": 0,
  "message": "success",
  "data": 1
}

素材預熱（前景，背景，數字人資源適用）（直播場景&視頻直播場景適用）

接口描述

用戶可通過此接口提前將視頻合成的素材上傳到paas平臺，平臺做素材預熱，可提升視頻合成速度。

注：目前不支持取消及重新生成。

請求地址

POST /api/2dvh/v1/material/file/warming

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
materialName	String	True	素材預熱任務名稱
param	String	True	素材預熱任務json爲預熱內容數組，請參考下面的參數說明和 json 示例

param參數說明

字段	類型	必填	描述
fileId	String	True	素材文件ID
fileUrl	String	True	素材文件URL

請求樣例

{
  "materialName": "XX場景預熱",
  "param": "[{\"fileId\":\"9b158cc9-8e42-4d09-b928-49dd9941d921\",\"fileUrl\":\"https://xxx/xxx.png\"},{\"fileId\":\"9b158cc9-8e42-4d09-b928-49dd9941d922\",\"fileUrl\":\"https://xxx/xxx.jpg\"}]"
}

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	False	任務id

響應樣例

{
  "code": 0,
  "message": "success",
  "data": 134
}

獲取指定任務信息

接口描述

根據用戶傳入的任務ID查詢任務的對應信息，以及當前的任務所處狀態。

請求地址

POST /api/2dvh/v1/task/info

請求頭

Content-Type: application/json

請求參數

JSON數組格式，數組中對象的字段定義如下：

字段	類型	必填	描述
ids	Long[]	True	任務id列表

請求樣例

{
    "ids": [7,27]
}

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	False	任務信息
- id	Long	True	任務id
- materialId	Integer	True	素材 id
- materialName	String	True	素材名稱
- algoType	Integer	True	任務類型（11:TTS音色模型生成,12:人物形象模型生成,14:視頻合成,20:視頻人物換臉,18:人物形象模型更新，25:音色轉換， 32:圖片綠幕分割預覽，33:視頻綠幕分割預覽，41:TTS V3音色模型生成 ，42:口水話(快速答覆庫)，43:文件預熱 )
- algoSubType1	String	True	人物模型：模型規格：2K/4K，視頻合成：使用人物模型規格：2K/4K
- algoSubType2	String	False	視頻合成：結果物格式：webm/mp4
- algoSubType3	String	False	視頻合成：結果物幀率
- status	Integer	True	任務狀態,0:未開始，1:Dispatcher隊列等待中，2:算法正在處理，3:已取消，5:已完成，9:异常
- extendParam	String	False	擴展參數
- productParam	String	True	任務結果json串，不同任務格式不同。
- startTime	String	True	算法開始時間（yyyy-MM-dd HH:mm:ss）
- endTime	String	True	算法截止時間（yyyy-MM-dd HH:mm:ss）

case1： 視頻合成

字段	類型	必填	描述
duration	Integer	True	合成視頻時長（單位：毫秒）
lastFrameIndex	Integer	True	視頻結尾幀
algoSubType1	String	True	視頻合成：使用人物模型規格：2K/4K
algoSubType2	String	True	視頻合成：結果物格式：webm/mp4
algoSubType3	String	True	視頻合成：結果物幀率
thumbPath	String	True	縮略圖下載地址（7天有效）
videoPath	String	True	視頻下載地址（7天有效）

case1 返回樣例：

{
    "code": 0,
    "message": "success",
    "data": [
        {
            "id": 913318,
            "materialId": 854513,
            "materialName": "913288",
            "productParam": "{\"duration\": 880, \"thumbPath\": \"https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/download/116/xxxx/thumb.png\", \"videoPath\": \"https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/download/116/xxxx/video.mp4\"}",
            "extendParam": null,
            "startTime": "2024-05-27 16:38:54",
            "endTime": "2024-05-27 16:39:03",
            "status": 5,
            "message": "{\"time_info\": {\"parse_json\": {\"avg\": 15, \"end\": \"2024-05-27 16:38:52.913\", \"sum\": 15, \"start\": \"2024-05-27 16:38:52.897\"}, \"preprocess\": {\"avg\": 342, \"end\": \"2024-05-27 16:38:56.134\", \"sum\": 342, \"start\": \"2024-05-27 16:38:55.792\"}, \"postprocess\": {\"avg\": 380, \"end\": \"2024-05-27 16:39:02.351\", \"sum\": 380, \"start\": \"2024-05-27 16:39:01.971\"}, \"main_process\": {\"avg\": 5837, \"end\": \"2024-05-27 16:39:01.971\", \"sum\": 5837, \"start\": \"2024-05-27 16:38:56.134\"}, \"audio_process\": {\"avg\": 123.91666412353516, \"sum\": 2974}, \"video_process\": {\"avg\": 9.47826099395752, \"sum\": 218}, \"wait_srt_stream\": {\"avg\": 0, \"sum\": 0}, \"send_task_response\": {\"start\": \"2024-05-27 16:39:02.775\"}, \"receive_task_from_agent\": {\"start\": \"2024-05-27 16:38:52.897\"}, \"st_mobile_change_package\": {\"avg\": 1832, \"end\": \"2024-05-27 16:38:54.745\", \"sum\": 1832, \"start\": \"2024-05-27 16:38:52.913\"}}, \"video_info\": {\"fps\": 25, \"format\": \"mp4\", \"digital_type\": \"2K\", \"last_frame_index\": 22}}",
            "algoType": 14,
            "algoId": "8216eaea6xxxxxx2e0798d21",
            "algoSubType1": "2K",
            "algoSubType2": "mp4",
            "algoSubType3": "25",
            "isDelete": 0
        }
    ]
}

case2： 人物形象模型生成

字段	類型	必填	描述
thumbPath	String	True	基礎視頻生成人物模型縮略圖下載地址（7天有效）
multi	Array	True	模型結果
- width	String	True	寬度
- width	String	True	高度
- pkgPath	String	True	人物形象下載地址 （7天有效）,多視頻人物模型生成時無此字段返回
- thumbPath	String	True	視頻生成人物模型縮略圖下載地址（7天有效）
- faceFeatureId	String	True	ff id
- userJson	String	True	訓練參數
- avatarResultJson	String	True	訓練結果

case2 返回樣例：

{
    "code": 0,
    "message": "success",
    "data": [
        {
            "id": 908438,
            "materialId": 850297,
            "materialName": "蘇xxx",
            "productParam": "{\"multi\": [{\"common\": {\"pkgPath\": \"https://dwg-aigc-paas.oss-cn-hangzhou.x.com/x/116/xxxx/input_source/2/xx.zip\", \"userJson\": \"https://dwg-aigc-paas.oss-cnxxxx/input_source/2/xxx.json\", \"thumbPath\": \"https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/download/116/xxx/input_source/2/xxx.png\", \"faceFeatureId\": \"xxxxx\"}, \"origin\": {\"pkgPath\": \"https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/download/116/2bd5e869e94d4995967428fa7ad7cf49_s1/input_source/0/xxx.zip\", \"userJson\": \"https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/download/116/xxx/input_source/0/xxx.json\", \"thumbPath\": \"https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/download/116/xxx/input_source/0/xxx.png\", \"faceFeatureId\": \"2bd5e869e94dxxxxxa7ad7cf49_s1_0\"}, \"videoUrl\": \"https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/xxxxB.mp4\"}], \"thumbPath\": \"https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/download/116/xxx/input_source/0/xxx.png\"}",
            "extendParam": null,
            "startTime": "2024-05-22 18:14:21",
            "endTime": "2024-05-22 21:57:19",
            "status": 5,
            "message": "{}",
            "algoType": 12,
            "algoId": "2bd5exxxxxa7ad7cf49_s1",
            "algoSubType1": "4K",
            "algoSubType2": "multi",
            "algoSubType3": "normal",
            "isDelete": 0
        }
    ]
}

case3： （多視頻）人物形象模型生成(/model/multi/create接口結果)

字段	類型	必填	描述
thumbPath	String	True	基礎視頻生成人物模型縮略圖下載地址（7天有效）
multi	Array	False	多視頻人物模型生結果，內容爲數組
- videoUrl	String	True	原始視頻文件URL
- orgin	Object	True	原始口型人物模型對象 （stage1Template參數爲0）
-   - thumbPath	String	True	人物模型縮略圖下載地址（7天有效）
-   - pkgPath	String	True	人物模型下載地址 （7天有效）
-   - faceFeatureId	String	True	Face Feature Id
-   - userJson	String	True	User Json 信息
-   - avatarResultJson	String	True	Avatar Result Json 信息
- common	Object	True	通用口型人物模型對象 （stage1Template參數爲1 ）
-   - thumbPath	String	True	人物模型縮略圖下載地址（7天有效）
-   - pkgPath	String	True	人物模型下載地址 （7天有效）
-   - faceFeatureId	String	True	Face Feature Id
-   - userJson	String	True	User Json 信息
-   - avatarResultJson	String	True	Avatar Result Json 信息

case3 productParam 返回樣例：

{
	"multi": [{
		"common": {
			"pkgPath": "https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/download/xxx47_s1_input_source_2_result.zip",
			"userJson": "https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/download/ss_user.json",
			"thumbPath": "https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/xxlt.png",
			"faceFeatureId": "8c19c600a75addd9e666eca06413f47_s1_1",
                         "avatarResultJson": "https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/xxlt.Json"
		},
		"origin": {
			"pkgPath": "https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/download/aa_0_result.zip",
			"userJson": "https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/bbuser.json",
			"thumbPath": "https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/download/xx0_result.png",
			"faceFeatureId": "8c19c600a75a4f323e666eca06413f47_s1_0",
                         "avatarResultJson": "https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/xxlt.Json"
		},
		"videoUrl": "https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/xx.mp4"
	}],
	"thumbPath": "https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/xx.png"
}

case4： 人物形象模型更新

字段	類型	必填	描述
thumbPath	String	True	人物模型縮略圖下載地址（7天有效）
pkgPath	String	True	人物模型下載地址 （7天有效）
modelInfo	String	True	人物模型：模型規格：2K/4K

case4 返回樣例：

{
    "code": 0,
    "message": "success",
    "data": [
        {
            "id": 890212,
            "materialId": 833961,
            "materialName": "KURUMI",
            "productParam": "{\"pkgPath\": \"https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/download/116/xxxx/xxx.zip\", \"userJson\": \"https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/download/116/xxxx/xxxx.json\", \"modelInfo\": \"2K\", \"thumbPath\": \"https://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/download/116/xxx/xxxx.png\"}",
            "extendParam": null,
            "startTime": "2024-05-10 10:51:35",
            "endTime": "2024-05-10 11:50:24",
            "status": 5,
            "message": "{}",
            "algoType": 18,
            "algoId": "cut_bf9c19046exxxxxb9af791587_s1",
            "algoSubType1": "2K",
            "algoSubType2": null,
            "algoSubType3": "normal",
            "isDelete": 0
        }
    ]
}

case5： TTS音色模型生成（舊）（不建議使用）

字段	類型	必填	描述
taskId	String	True	對應任務的ID
voice	Object	True	聲音信息
- id	String	True	聲音ID
- name	String	True	發音人名稱
- gender	Integer	True	發音人性別。0 = Not known。1 = Male。2 = Female。9 = Not applicable
- language	String	True	發音人語言。zh-CN中文普通話，en-US美式英文
- vendor_id	Integer	True	聲音供應商ID
taskStatus	Integer	True	任務狀態。1 = 排隊中。2 = 任務進行中。3 = 已取消。5 = 已完成。 9 = 异常。
msg	String	True	任務狀態描述信息。
stage	String	True	任務子步驟。preprocess：數據預處理。label：數據標注。training：模型訓練。deployment：部署階段。
stageStatus	Integer	True	階段狀態。1 = 排隊中。2 = 任務進行中。5 = 已完成。 9 = 异常。
sampleAudioUrl	String	False	示例音頻的地址 （7天有效）
tenant	String	True	任務所屬租戶
updatedTime	String	True	任務信息更新時間RFC3339格式。
modelUrl	String	False	任務成功時返回模型下載地址，僅內網可用。暫不對外提供

case6： 視頻人物換臉

字段	類型	必填	描述
thumbPath	String	True	縮略圖下載地址 （7天有效）
pkgPath	String	True	人物形象下載地址 （7天有效）

case7： TTS -Qid音色模型生成

字段	類型	必填	描述
taskId	String	True	對應任務的ID
voice	Object	True	聲音信息
- qid	String	True	聲音QID
- name	String	True	發音人名稱
- gender	Integer	True	發音人性別。0 = Not known。1 = Male。2 = Female。9 = Not applicable
- languages	String	True	發音人支持的語言列表。zh-CN中文普通話，en-US美式英文，僅當任務完成時返回
taskType	String	True	聲音訓練算法類型
taskStatus	Integer	True	任務狀態。1 = 排隊中。2 = 任務進行中。3 = 已取消。5 = 已完成。 9 = 异常。
msg	String	True	任務狀態描述信息。
stage	String	True	任務子步驟。preprocess：數據預處理。label：數據標注。training：模型訓練。deployment：部署階段。
stageStatus	Integer	True	階段狀態。1 = 排隊中。2 = 任務進行中。5 = 已完成。 9 = 异常。
sampleAudioUrl	String	False	示例音頻的地址 （7天有效）
tenant	String	True	任務所屬租戶
updatedTime	String	True	任務信息更新時間RFC3339格式。

extendParam中人物形象模型參數信息

字段	類型	必填	描述
faceFeatureId	String	True	Face Feature Id

case7 返回樣例：

{
    "code": 0,
    "message": "success",
    "data": [
        {
            "id": 206216,
            "materialId": 1990411,
            "materialName": "TTS_yunynsent",
            "productParam": "{\"msg\":\"task is finished\",\"stage\":\"deployment\",\"voice\":{\"qid\":\"VQ1fQv:AEAygt1ixxxxxxdRPNLE11kg1TLXWSzMxNExLTksK\",\"name\":\"TTS6_yunyxxxxxen_consent\",\"gender\":1,\"languages\":[\"en-US\",\"zh-CN\",\"af-ZA\",\"am-ET\",\"ar-EG\",\"ar-SA\",\"az-AZ\",\"bg-BG\",\"bn-BD\",\"bn-IN\",\"bs-BA\",\"ca-ES\",\"cs-CZ\",\"cy-GB\",\"da-DK\",\"de-AT\",\"de-CH\",\"de-DE\",\"el-GR\",\"en-AU\",\"en-CA\",\"en-GB\",\"en-IE\",\"en-IN\",\"es-ES\",\"es-MX\",\"et-EE\",\"eu-ES\",\"fa-IR\",\"fi-FI\",\"fil-PH\",\"fr-BE\",\"fr-CA\",\"fr-CH\",\"fr-FR\",\"ga-IE\",\"gl-ES\",\"he-IL\",\"hi-IN\",\"hr-HR\",\"hu-HU\",\"hy-AM\",\"id-ID\",\"is-IS\",\"it-IT\",\"ja-JP\",\"jv-ID\",\"ka-GE\",\"kk-KZ\",\"km-KH\",\"kn-IN\",\"ko-KR\",\"lo-LA\",\"lt-LT\",\"lv-LV\",\"mk-MK\",\"ml-IN\",\"mn-MN\",\"ms-MY\",\"mt-MT\",\"my-MM\",\"nb-NO\",\"ne-NP\",\"nl-BE\",\"nl-NL\",\"pl-PL\",\"ps-AF\",\"pt-BR\",\"pt-PT\",\"ro-RO\",\"ru-RU\",\"si-LK\",\"sk-SK\",\"sl-SI\",\"so-SO\",\"sq-AL\",\"sr-RS\",\"su-ID\",\"sv-SE\",\"sw-KE\",\"ta-IN\",\"te-IN\",\"th-TH\",\"tr-TR\",\"uk-UA\",\"ur-PK\",\"uz-UZ\",\"vi-VN\",\"zh-HK\",\"zh-TW\",\"zu-ZA\"]},\"taskId\":\"tts6-xxx-xxxx-xxx-xx-789308\",\"tenant\":\"0\",\"taskType\":\"TTS6\",\"taskStatus\":5,\"stageStatus\":5,\"updatedTime\":\"2024-05-29T09:41:51.373802578Z\",\"sampleAudioUrl\":\"\"}",
            "extendParam": null,
            "startTime": "2024-05-29 17:38:31",
            "endTime": "2024-05-29 17:41:51",
            "status": 5,
            "message": "{\"tts resp msg\": \"task is finished\"}",
            "algoType": 41,
            "algoId": "f627-a980-78aba9c20308",
            "algoSubType1": null,
            "algoSubType2": null,
            "algoSubType3": null,
            "isDelete": 0
        }
    ]
}

case8： 文件預熱(失敗信息，預熱成功文件不展示)

字段	類型	必填	描述
fileWarmingDetails	Array	False	失敗文件信息
- fileId	String	True	文件ID
- warmingResult	String	True	文件預熱失敗原因

case8 返回樣例：

{
    "code": 0,
    "message": "success",
    "data": {
      "fileWarmingDetails": [
        {
          "fileId": "f627-a980-78aba9c20308",
          "warmingResult": "download error"
        },
        {
          "fileId": "xde37-a980-78aba9c20308",
          "warmingResult": "download error"
        }
      ]
    }
}

獲取賬戶任務信息

接口描述

根據用戶的賬戶ID查詢其賬戶下某算法類型下全部任務的對應信息，以及當前的任務所處狀態，任務列表支持分頁。

請求地址

POST /api/2dvh/v1/task/listByAccount

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
algoType	Integer	True	任務類型（11:TTS音色模型生成,12:人物形象模型生成,14:視頻合成,20:視頻人物換臉,18:人物形象模型更新，25:音色轉換， 32:圖片綠幕分割預覽，33:視頻綠幕分割預覽，41:TTS V3音色模型生成，42:口水話(快速答覆庫)，43:文件預熱 ）
pageNo	int	False	當前頁碼 (默認 1)
pageSize	int	False	每頁條數 (默認 10)
sortName	String	False	排序字段名
sortValue	String	False	排序順序: asc, desc

請求樣例

{
  "algoType": 12,
  "pageSize": 10,
  "pageNo": 1
}

響應元素

字段	類型	必填	描述
code	Number	True	0 - 成功, 其他- 异常
message	String	True	异常詳細信息
data	Object	False	data object ，异常時通常爲空
- pagination	Pagination	True	分頁信息(參照通用數據結構說明)
- result	Object	True	任務列表（參照下面說明）

任務列表

字段	類型	必填	描述
id	Long	True	任務id
algoType	Integer	True	任務類型（11:TTS音色模型生成,12:人物形象模型生成,14:視頻合成,20: 視頻人物換臉,18:人物形象模型更新，25:音色轉換， 32:圖片綠幕分割預覽，33:視頻綠幕分割預覽，41:TTS V3音色模型生成，42:口水話(快速答覆庫)，43:文件預熱 ）
algoSubType1	String	True	人物模型：模型規格：2K/4K，視頻合成：使用人物模型規格：2K/4K
algoSubType2	String	False	視頻合成：結果物格式：webm/mp4
algoSubType3	String	False	視頻合成：結果物幀率
status	Integer	True	任務狀態 0:未開始，1:Dispatcher隊列等待中，2:算法正在處理，3:已取消，5:已完成，9:异常
productParam	String	True	任務結果json串，包含視頻地址videoPath，視頻時長duration，截圖地址thumbPath
startTime	String	True	算法開始時間（yyyy-MM-dd HH:mm:ss）
endTime	String	True	算法截止時間（yyyy-MM-dd HH:mm:ss）

響應樣例

{
  "code": 0,
  "message": "success",
  "data": {
    "pagination": {
      "pageNo": 1,
      "numberPages": 1,
      "numberRecords": 2,
      "pageSize": 2,
      "startIndex": 0
    },
    "result": [
      {
        "id": 27,
        "algoType": 12,
        "algoSubType1": "4K",
        "algoSubType2": null,
        "algoSubType3": null,
        "productParam": "\"{\\\"duration\\\":1234,\\\"thumbPath\\\":\\\"https://oss-cn-hangzhou.aliyuncs.com/dwg-aigc-paas/materials/a8610d001aaa412ab2e0433fc848b48f/thumb.jpg\\\",\\\"videoPath\\\":\\\"https://oss-cn-hangzhou.aliyuncs.com/dwg-aigc-paas/materials/a8610d001aaa412ab2e0433fc848b48f/output.mp4\\\"}\"",
        "startTime": "2023-02-17 16:53:26",
        "endTime": "2023-02-18 10:03:21",
        "status": 5
      },
      {
        "id": 7,
        "algoType": 12,
        "algoSubType1": "4K",
        "algoSubType2": null,
        "algoSubType3": null,
        "productParam": "{}",
        "startTime": "2023-02-17 16:56:26",
        "endTime": "2023-02-17 17:43:19",
        "status": 9
      }
    ]
  }
}

獲取賬戶任務信息詳情

接口描述

查詢賬戶下某算法類型下全部任務的對應信息，以及當前的任務所處狀態，原始輸入內容，返回結果物等信息詳情，任務列表支持分頁。

請求地址

POST /api/2dvh/v1/task/listWithQueue

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
userId	Long	False	用戶id,默認爲當前登錄賬戶id
algoType	Integer	True	任務類型（11:TTS音色模型生成（舊）,12:人物形象模型生成,14:視頻合成,20: 視頻人物換臉,18:人物形象模型更新，25:音色轉換， 32:圖片綠幕分割預覽，33:視頻綠幕分割預覽，41:TTS Qid音色模型生成 ）
status	Integer	True	任務狀態 (0:未開始，1:Dispatcher隊列等待中，2:算法正在處理，3:已取消，5:已完成，9:异常, -1: 全部 )
key	String	False	任務ID/角色名稱查詢(精確匹配)
pageNo	int	False	當前頁碼 (默認 1)
pageSize	int	False	每頁條數 (默認 10)
sortName	String	False	排序字段名
sortValue	String	False	排序順序: asc, desc

請求樣例

{
  "algoType": 12,
  "pageSize": 10,
  "pageNo": 1
}

響應元素

字段	類型	必填	描述
code	Number	True	0 - 成功, 其他- 异常
message	String	True	异常詳細信息
data	Object	False	data object ，异常時通常爲空
- pagination	Pagination	True	分頁信息(參照通用數據結構說明)
- result	Object	True	任務列表（參照下面說明）

任務列表

字段	類型	必填	描述
id	Long	True	任務id
algoType	Integer	True	任務類型（11:TTS音色模型生成,12:人物形象模型生成,14:視頻合成,20: 視頻人物換臉,18:人物形象模型更新，25:音色轉換， 32:圖片綠幕分割預覽，33:視頻綠幕分割預覽，41:TTS V3音色模型生成，42:口水話(快速答覆庫)，43:文件預熱
materialId	Long	True	模型id
materialName	String	True	素材名稱
queueInfo	String	False	排隊信息
status	Integer	True	任務狀態 0:未開始,1:Dispatcher隊列等待中,2:算法正在處理,3:已取消,5:已完成,9:异常
productParam	String	True	任務結果json串，包含視頻地址videoPath，視頻時長duration，截圖地址thumbPath
extendParam	String	False	擴展參數，人物形象模型生成時包含faceFeatureId
algoSubType1	String	True	人物模型：模型規格：2K/4K，視頻合成： 使用人物模型規格：2K/4K
algoSubType2	String	False	視頻合成：結果物格式：webm/mp4
algoSubType3	String	False	視頻合成：結果物幀率
taskInfo	String	True	任務初始參數及原始文件
algoId	String	True	算法任務id
message	String	False	錯誤信息
submitTime	String	True	算法提交時間（yyyy-MM-dd HH:mm:ss）
startTime	String	False	算法開始時間（yyyy-MM-dd HH:mm:ss）
endTime	String	False	算法截止時間（yyyy-MM-dd HH:mm:ss）
owner	Long	True	任務所屬賬戶
ownerPhone	String	True	賬戶手機號碼

響應樣例

{
  "code": 0,
  "message": "success",
  "data": {
    "pagination": {
      "pageNo": 1,
      "numberPages": 1,
      "numberRecords": 2,
      "pageSize": 2,
      "startIndex": 0
    },
    "result": [
      {
        "id": 8833,
        "materialId": 8122,
        "materialName": "Mario_4_talk.mp4_sensetime-segment_type_綠幕分割",
        "productParam": "{\"pkgPath\": \"https://dwg-aigc-paas-test.oss-cn-hangzhou.aliyuncs.com/download/8/b6ecebc8233b47809dedd6731c052d15_s1/b6ecebc8233b47809dedd6731c052d15_s1_result.zip\", \"thumbPath\": \"https://dwg-aigc-paas-test.oss-cn-hangzhou.aliyuncs.com/download/8/b6ecebc8233b47809dedd6731c052d15_s1/b6ecebc8233b47809dedd6731c052d15_s1_result.png\", \"faceFeaturePath\": \"https://dwg-aigc-paas-test.oss-cn-hangzhou.aliyuncs.com/download/8/b6ecebc8233b47809dedd6731c052d15_s1/b6ecebc8233b47809dedd6731c052d15_s1_face_feature.zip\"}",
        "extendParam": "{\"faceFeatureId\": \"b6ecebc8233b47809dedd6731c052d15_s1\"}",
        "startTime": "2023-06-07 23:31:50",
        "endTime": "2023-06-08 05:19:29",
        "status": 5,
        "message": "{}",
        "algoType": 12,
        "algoId": "b6ecebc8233b47809dedd6731c052d15_s1",
        "algoSubType1": "4K",
        "algoSubType2": null,
        "algoSubType3": null,
        "submitTime": "2023-06-07 17:34:40",
        "ownerPhone": "18311096857",
        "owner": 8,
        "queueInfo": null,
        "taskInfo": "{\"create2DAvatarModel\": {\"videoUrl\": \"https://ailab-storage-eus.oss-us-west-1.aliyuncs.com/31_trim_result/Mario_4_talk.mp4?OSSAccessKeyId=LTAI5tE2Hq2BAqr8EBzxmSrR&Expires=37686060051&Signature=C1L%2FxpHD%2FW155s%2BuhTocyVvsUfo%3D\", \"accountId\": 8, \"assetScale\": 1.0, \"existTaskId\": 0, \"firstCreate\": true, \"materialName\": \"Mario_4_talk.mp4_sensetime-segment_type_綠幕分割\", \"segmentStyle\": 1}}"
      },
      {
        "id": 9093,
        "materialId": 8258,
        "materialName": "wu0609_sensetime-segment_type_綠幕分割",
        "productParam": null,
        "extendParam": null,
        "startTime": "2023-06-09 10:56:38",
        "endTime": null,
        "status": 2,
        "message": "{}",
        "algoType": 12,
        "algoId": "5f6006acb891496f93bfeeff601201fe_s1",
        "algoSubType1": "4K",
        "algoSubType2": null,
        "algoSubType3": null,
        "submitTime": "2023-06-09 10:56:36",
        "ownerPhone": "18311096857",
        "owner": 8,
        "queueInfo": null,
        "taskInfo": "{\"create2DAvatarModel\": {\"videoUrl\": \"http://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/wanxing_0606/zhuzong.mp4\", \"accountId\": 8, \"assetScale\": 1.0, \"existTaskId\": 0, \"firstCreate\": true, \"materialName\": \"wu0609_sensetime-segment_type_綠幕分割\", \"segmentStyle\": 1}}"
      },
      {
        "id": 8528,
        "materialId": 7908,
        "materialName": "Claire_3_talk.mp4_sensetime-segment_type_綠幕分割",
        "productParam": "{\"pkgPath\": \"https://dwg-aigc-paas-test.oss-cn-hangzhou.aliyuncs.com/download/8/1907b913f78845168529bad59f36a43f_s1/1907b913f78845168529bad59f36a43f_s1_result.zip\", \"thumbPath\": \"https://dwg-aigc-paas-test.oss-cn-hangzhou.aliyuncs.com/download/8/1907b913f78845168529bad59f36a43f_s1/1907b913f78845168529bad59f36a43f_s1_result.png\", \"faceFeaturePath\": \"https://dwg-aigc-paas-test.oss-cn-hangzhou.aliyuncs.com/download/8/1907b913f78845168529bad59f36a43f_s1/1907b913f78845168529bad59f36a43f_s1_face_feature.zip\"}",
        "extendParam": "{\"faceFeatureId\": \"1907b913f78845168529bad59f36a43f_s1\"}",
        "startTime": "2023-06-06 02:32:13",
        "endTime": "2023-06-06 20:17:19",
        "status": 9,
        "message": "{\"errorMsg\": \"Algorithm heart beat is overtime!!!\"}",
        "algoType": 12,
        "algoId": "1907b913f78845168529bad59f36a43f_s1",
        "algoSubType1": "4K",
        "algoSubType2": null,
        "algoSubType3": null,
        "submitTime": "2023-06-05 20:41:43",
        "ownerPhone": "18311096857",
        "owner": 8,
        "queueInfo": null,
        "taskInfo": "{\"create2DAvatarModel\": {\"videoUrl\": \"https://ailab-storage-eus.oss-us-west-1.aliyuncs.com/online_videos/Claire_3_talk.mp4?OSSAccessKeyId=LTAI5tE2Hq2BAqr8EBzxmSrR&Expires=1689391554&Signature=pMSBmAlawZ7h2sxjUO8Dk%2B1dHRg%3D\", \"accountId\": 8, \"assetScale\": 1.0, \"existTaskId\": 0, \"firstCreate\": true, \"materialName\": \"Claire_3_talk.mp4_sensetime-segment_type_綠幕分割\", \"segmentStyle\": 2}}"
      },
      {
        "id": 9161,
        "materialId": 8317,
        "materialName": "Eddie_3_talk_trim_sensetime_0_綠幕分割",
        "productParam": null,
        "extendParam": null,
        "startTime": null,
        "endTime": null,
        "status": 1,
        "message": "{}",
        "algoType": 18,
        "algoId": "1667070933254279169",
        "algoSubType1": "4K",
        "algoSubType2": null,
        "algoSubType3": null,
        "submitTime": "2023-06-09 15:28:48",
        "ownerPhone": "18311096857",
        "owner": 8,
        "queueInfo": "8/9",
        "taskInfo": "{\"rebuild2DAvatarModelVideo\": {\"assetEnd\": 120.0, \"modelUrl\": \"https://dwg-aigc-paas-test.oss-cn-hangzhou.aliyuncs.com/download/8/ba80636d8a77423083af66174375a130_s1/ba80636d8a77423083af66174375a130_s1_result.zip\", \"videoUrl\": \"http://dwg-aigc-paas.oss-cn-hangzhou.aliyuncs.com/wanxing_0606/Eddie_3_talk_trim.mp4.mp4\", \"accountId\": 8, \"assetScale\": 1.0, \"assetStart\": 60.0, \"existTaskId\": 0, \"firstCreate\": true, \"materialName\": \"Eddie_3_talk_trim_sensetime_0_綠幕分割\", \"segmentStyle\": 1}}"
      }
    ]
  }
}

取消任務

接口描述

支持用戶對于進行中的任務進行取消任務的操作，取消成功後任務狀態將置爲已取消。

請求地址

GET /api/2dvh/v1/task/cancel

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
id	Long	True	任務id

請求樣例

http://xxx/api/2dvh/v1/task/cancel?id=1

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	False	值爲空

響應樣例

{
    "code": 0,
    "message": "success",
    "data": null
}

删除任務

接口描述

支持用戶對于非進行中的任務進行删除任務的操作，删除後任務信息將不再保存。

請求地址

DELETE /api/2dvh/v1/task/del

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
id	Long	True	任務id

請求樣例

http://xxx/api/2dvh/v1/task/del/id

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	False	值爲空

響應樣例

{
    "code": 0,
    "message": "success",
    "data": null
}

重啓任務

接口描述

支持用戶對于异常的的任務進行重啓任務的操作，重啓後任務ID保持不變。

請求地址

GET /api/2dvh/v1/task/restart

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
id	Long	True	task id

請求樣例

http://xxx/api/2dvh/v1/task/restart?id=1

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	False	任務id

響應樣例

{
    "code": 0,
    "message": "success",
    "data": 2
}

查詢任務各階段耗時信息

接口描述

查詢任務各階段耗時信息，當前僅支持視頻合成。

請求地址

GET /api/2dvh/v1/task/phase/cost

請求頭

Content-Type: application/json

請求參數

字段	類型	必填	描述
id	Long	True	任務id

請求樣例

https://xxx/api/2dvh/v1/task/phase/cost?id=1

響應元素

字段	類型	必填	描述
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Array	False	值爲空
- phase	String	True	算法階段：asset_download:素材下載 parse_json:json解析時間 st_mobile_change_package:加載數字人資源 preprocess:前處理時間，準備各類資源 main_process:音視頻處理 postprocess:ffmpeg視頻後處理 result_upload:結果上傳
- startTime	String	True	階段開始時間（yyyy-MM-dd HH:mm:ss）
- endTime	String	True	階段完成時間（yyyy-MM-dd HH:mm:ss）
- costTime	String	True	耗時（毫秒）
- callCount	Integer	False	階段重複次數，該值爲空表示階段無重複

響應樣例

{
  "code": 0,
  "message": "success",
  "data": [
    {
      "id": 291340,
      "phase": "asset_download",
      "startTime": "2023-11-01 16:41:17",
      "endTime": "2023-11-01 16:41:17",
      "costTime": 0
    },
    {
      "id": 291340,
      "phase": "parse_json",
      "startTime": "2023-11-01 16:41:17",
      "endTime": "2023-11-01 16:41:18",
      "costTime": 124
    },
    {
      "id": 291340,
      "phase": "st_mobile_change_package",
      "startTime": "2023-11-01 16:41:18",
      "endTime": "2023-11-01 16:41:20",
      "costTime": 2242
    },
    {
      "id": 291340,
      "phase": "preprocess",
      "startTime": "2023-11-01 16:41:20",
      "endTime": "2023-11-01 16:41:21",
      "costTime": 1238
    },
    {
      "id": 291340,
      "phase": "main_process",
      "startTime": "2023-11-01 16:41:21",
      "endTime": "2023-11-01 16:41:25",
      "costTime": 3692
    },
    {
      "id": 291340,
      "phase": "result_upload",
      "startTime": "2023-11-01 16:41:25",
      "endTime": "2023-11-01 16:41:25",
      "costTime": 189
    },
    {
      "id": 291340,
      "phase": "postprocess",
      "startTime": "2023-11-01 16:41:25",
      "endTime": "2023-11-01 16:41:25",
      "costTime": 457
    }
  ]
}

賬單查詢服務（非語音類）

接口描述

賬單查詢服務。單次範圍最大1000條，超過1000條將不予查詢，請縮小查詢範圍再次嘗試。

請求地址

POST /api/assist/bill/list

請求參數

字段	類型	必填	描述
owner	Long	True	任務所屬賬戶
algoGroup	Integer	True	任務組（11:TTS音色模型生成,12:人物形象模型生成,14:視頻合成,17:互動直播, 44:視頻直播）
algoType	Integer	True	任務類型（11:TTS音色模型生成,12:人物形象模型生成,14:視頻合成,17:互動直播, 44:視頻直播）
billStartTime	String	True	賬單開始時間（格式爲"YYYY-MM-DD HH:MM:SS"）
billEndTime	String	True	賬單結束時間 （格式爲"YYYY-MM-DD HH:MM:SS"）
pageNo	int	False	當前頁碼 (默認 1)
pageSize	int	False	每頁條數 (默認 10)
sortName	String	False	排序字段名
sortValue	String	False	排序順序: asc, desc

請求樣例

{
  "owner": 41 ,
  "algoType": "14",
  "algoGroup": "14",
  "billStartTime": "2024-12-04 00:00:00",
  "billEndTime": "2025-01-02 23:59:59",
  "pageSize": 10,
  "pageNo": 1,
  "sortName": "",
  "sortValue": ""
}

響應元素

字段	類型	必填	說明
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	True	成功與否，成功是1 ，錯誤返回null
- pagination	Pagination	True	分頁信息(參照通用數據結構說明)
- result	Object	True	賬單列表（參照下面說明）
- usedSum	String	True	當前頁總用量

賬單列表

字段	類型	必填	描述
id	Long	True	任務id
owner	Long	True	任務所屬賬戶
algoType	Integer	True	任務類型（11:TTS音色模型生成,12:人物形象模型生成,14:視頻合成,17:互動直播, 44:視頻直播）
billingValue	Integer	True	計費值
billingUnit	Integer	True	計費單位 （1:時長 單位:毫秒,2：時長 單位：秒,3：單位：數量)
billingTime	String	True	計費時間，格式爲"YYYY-MM-DD HH:MM:SS"
taskId	Long	True	任務id
taskName	String	True	任務名稱
algoId	String	True	算法任務id
status	Integer	True	3:已取消,5:已完成,9:异常
taskIsDelete	String	True	任務是否被删除（0:未删除, 1:已删除）
startTime	String	True	算法開始時間（yyyy-MM-dd HH:mm:ss）
endTime	String	True	算法截止時間（yyyy-MM-dd HH:mm:ss）
resultFile	String	False	結果文件路徑
resultThumb	String	False	結果縮略圖路徑
algoSubType1	String	True	人物模型：模型規格：2K/4K，視頻合成： 使用人物模型規格：2K/4K
algoSubType2	String	False	視頻合成：結果物格式：webm/mp4
algoSubType3	String	False	視頻合成：結果物幀率
algoSubType4	String	False	子類型4
message	String	False	任務信息

響應樣例

{
  "code": 0,
  "message": "success",
  "data": {
    "pagination": {
      "pageNo": 1,
      "numberPages": 1,
      "numberRecords": 3,
      "pageSize": 10,
      "startIndex": 0
    },
    "result": [
      {
        "id": 601057,
        "owner": 41,
        "billingValue": 30,
        "billingUnit": 2,
        "billingTime": "2024-12-27 15:03:09",
        "taskId": 20989677953,
        "taskName": null,
        "algoId": "db1fb10d0007485b8f7f41e6ebd41be7",
        "algoType": 17,
        "status": 5,
        "taskIsDelete": 0,
        "startTime": "2024-12-27 15:02:39",
        "endTime": "2024-12-27 15:03:09",
        "resultFile": null,
        "resultThumb": null,
        "message": "客戶主動關閉",
        "algoSubType1": null,
        "algoSubType2": null,
        "algoSubType3": null,
        "algoSubType4": null
      },
      {
        "id": 601056,
        "owner": 41,
        "billingValue": 1,
        "billingUnit": 2,
        "billingTime": "2024-12-27 14:58:33",
        "taskId": 20989677950,
        "taskName": null,
        "algoId": "980f8051b5a9499592cd34530fd90cbf",
        "algoType": 17,
        "status": 5,
        "taskIsDelete": 0,
        "startTime": "2024-12-27 14:58:32",
        "endTime": "2024-12-27 14:58:33",
        "resultFile": null,
        "resultThumb": null,
        "message": "客戶主動關閉",
        "algoSubType1": null,
        "algoSubType2": null,
        "algoSubType3": null,
        "algoSubType4": null
      },
      {
        "id": 601055,
        "owner": 41,
        "billingValue": 2,
        "billingUnit": 2,
        "billingTime": "2024-12-27 14:58:27",
        "taskId": 20989677949,
        "taskName": null,
        "algoId": "787c8923f67c447fbed38df345551789",
        "algoType": 17,
        "status": 5,
        "taskIsDelete": 0,
        "startTime": "2024-12-27 14:58:26",
        "endTime": "2024-12-27 14:58:28",
        "resultFile": null,
        "resultThumb": null,
        "message": "客戶主動關閉",
        "algoSubType1": null,
        "algoSubType2": null,
        "algoSubType3": null,
        "algoSubType4": null
      }
    ],
    "usedSum": "0.55",
    "usedModel2kSum": null,
    "usedModel4kSum": null
  }
}

賬單查詢服務（語音類）

接口描述

語音賬單查詢服務。

請求地址

POST /api/assist/bill/voice/list

請求參數

字段	類型	必填	描述
owner	Long	True	任務所屬賬戶
algoType	Integer	True	任務組（30: "ASR", 31: "TTS"）
billStartTime	String	True	賬單開始時間（格式爲"YYYY-MM-DD HH:MM:SS"）
billEndTime	String	True	賬單結束時間 （格式爲"YYYY-MM-DD HH:MM:SS"）
algoSubType1	String	True	PAAS_HTTP,PAAS_WS,PAAS_VIDEO_2D,PAAS_VIDEO_MIX,PAAS_LIVE
algoSubType2	String	True	ASR5, TTS3, TTS4, TTS5, TTS7, TTS8
statRange	String	True	統計範圍 1：日賬單 ,2: 月賬單
pageNo	int	False	當前頁碼 (默認 1)
pageSize	int	False	每頁條數 (默認 10)
sortName	String	False	排序字段名
sortValue	String	False	排序順序: asc, desc

請求樣例

{
  "owner": 41,
  "algoType": "30",
  "billStartTime": "2024-12-04 00:00:00",
  "billEndTime": "2025-01-03 23:59:59",
  "statRange": 1,
  "algoSubType1": "",
  "algoSubType2": "",
  "pageSize": 10,
  "pageNo": 1,
  "sortName": "",
  "sortValue": ""
}

響應元素

字段	類型	必填	說明
code	Integer	True	0 - 成功, 其他 - 异常
message	String	True	异常詳細信息
data	Object	True	成功與否，成功是1 ，錯誤返回null
- pagination	Pagination	True	分頁信息(參照通用數據結構說明)
- result	Object	True	賬單列表（參照下面說明）

賬單列表

字段	類型	必填	描述
id	Long	True	任務id
owner	Long	True	任務所屬賬戶
algoType	Integer	True	任務類型（11:TTS音色模型生成,12:人物形象模型生成,14:視頻合成,17:互動直播, 44:視頻直播）
billingValue	Integer	True	計費值
billingUnit	Integer	True	計費單位 （1:時長 單位:毫秒,2：時長 單位：秒,3：單位：數量)
billingDate	String	True	計費日期，格式爲"YYYY-MM-DD"
billingMonth	String	False	計費月份
algoSubType1	String	True	PAAS_HTTP,PAAS_WS,PAAS_VIDEO_2D,PAAS_VIDEO_MIX,PAAS_LIVE
algoSubType2	String	True	ASR5, TTS3, TTS4, TTS5, TTS7, TTS8

響應樣例

{
  "code": 0,
  "message": "success",
  "data": {
    "pagination": {
      "pageNo": 1,
      "numberPages": 1,
      "numberRecords": 4,
      "pageSize": 10,
      "startIndex": 0
    },
    "result": [
      {
        "id": 13635,
        "owner": 260,
        "billingValue": 0.0045,
        "billingUnit": 3,
        "billingDate": "2024-12-27",
        "billingMonth": null,
        "algoSubType1": "PAAS_VIDEO_MIX",
        "algoSubType2": "TTS5",
        "algoType": 31
      },
      {
        "id": 13631,
        "owner": 260,
        "billingValue": 0.0347,
        "billingUnit": 3,
        "billingDate": "2024-12-27",
        "billingMonth": null,
        "algoSubType1": "PAAS_VIDEO_2D",
        "algoSubType2": "TTS5",
        "algoType": 31
      },
      {
        "id": 12441,
        "owner": 260,
        "billingValue": 0.0347,
        "billingUnit": 3,
        "billingDate": "2024-12-06",
        "billingMonth": null,
        "algoSubType1": "PAAS_VIDEO_2D",
        "algoSubType2": "TTS5",
        "algoType": 31
      },
      {
        "id": 12433,
        "owner": 260,
        "billingValue": 0.0347,
        "billingUnit": 3,
        "billingDate": "2024-12-06",
        "billingMonth": null,
        "algoSubType1": "PAAS_VIDEO_2D",
        "algoSubType2": "TTS3",
        "algoType": 31
      }
    ]
  }
}

任務完成回調參數

使用API時，系統將通過填寫的接口回調地址，返回任務狀態等信息，若需要任務回調功能，則需聯繫管理員在創建賬戶時提供接口回調地址。 如果用戶配置了AuthKey將返回鑒權信息timestamp和signature，具體參考<HTTP回調事件通知>。

提供的接口實現中HTTP Method爲POST，Content-Type應爲application/json。

字段	類型	必填	描述
taskId	Integer	True	任務 id
materialId	Integer	True	素材 id
materialName	String	True	素材名稱
algoType	Integer	True	任務類型（11:TTS音色模型生成,12:人物形象模型生成,14:視頻合成,20: 視頻人物換臉,18:人物形象模型更新，25:音色轉換， 32:圖片綠幕分割預覽，33:視頻綠幕分割預覽，41:TTS V3音色模型生成，42:口水話(快速答覆庫)，43:文件預熱
algoSubType1	String	True	人物模型：模型規格：2K/4K，視頻合成：使用人物模型規格：2K/4K
algoSubType2	String	False	視頻合成：結果物格式：webm/mp4
algoSubType3	String	False	視頻合成：結果幀率
status	Integer	True	狀態 3:已取消，5:已完成，9:异常
taskResult	String	False	報錯信息

以上即爲平臺可以提供的全部算法能力。