顯示具有 深度學習 標籤的文章。 顯示所有文章
顯示具有 深度學習 標籤的文章。 顯示所有文章

2022年4月4日 星期一

人工智慧玩轉算法交易替你找出投資潛力股!

 專為投資而打造的人工智慧為你找出潛力股!

專為投資而打造的人工智慧為你找出潛力股!
 

隨著科技的進步,人工智慧可以做到的事也越來越多。只要有充分的數據,再透過機器學習和演算法,AI 就能夠在短時間內做到許多事情。近年來,許多投資公司也藉由 AI 來建議投資人最適合的投資組合或是直接作為「AI 操盤手」。

DeepMind 前員工打造專為投資的人工智慧

根據外媒《CNBC》報導指出,三名 DeepMind 的前員工正在訓練一台機器,希望能透過 AI 在股票以及加密貨幣上漲之前,就能搶先發現這些潛力股

這三名員工 Martin Schmid、Rudolf Kadlec 和 Matej Moravcik 都曾在 IBM 工作,並於 2017 年開發了一款名為 DeepStack 的人工智慧 ,成為第一個能夠在無限注德州撲克中擊敗職業玩家的人工智慧

而他們想將其中的部分概念應用於金融市場,於是他們離開了Alphabet 旗下的人工智慧實驗室 DeepMind,隨後成立了 EquiLibre Technologies。

人工智慧不打牌改操盤

雖然他們不是第一個嘗試用 AI 人工智慧 找到股市必勝法則的人,但他們採取的方法與競爭對手略有不同。傳統的選股人工智慧會根據歷史趨勢「猜測」市場接下來會發生什麼;但 Equilibre 團隊以極其複雜的演算法而聞名,因此無需大量資訊也可成功解決問題。

他們將博弈理論與人工直覺相結合,以獲得優於其他基於電腦或人工交易的操作優勢。Schmid 表示,與其讓人工智慧玩撲克,不如讓它玩算法交易(algorithmic trading)。他也補充說明,公司也正在對於加密貨幣進行研究和開發。

他們使用一種稱為強化學習(Reinforcement learning)的技術來訓練人工智慧系統來買賣股票並獲利。Schmid 表示,他並不擔心監管機構會限制這項技術,因為其他公司也早已經在做類似的事情。「我們只想做比現有演算法更好的演算法。」

EquiLibre Technologies 目前已經獲得了許多投資者的資助,Schmid 表示,公司目前已經籌集了捷克有史以來規模最大的種子輪融資,但拒絕透露確切數字。


本文轉載自科技報橘(原標題:DeepMind 員工為打造「AI 操盤手」齊出走!目標讓 AI 能找出潛力飆股、加密貨幣),僅反映專家作者意見,不代表本站立場。首圖為示意圖,與本文無關,來源:Unsplash

責任編輯/Ruthy

 

相關文章:

【機器學習懶人包】 10種演算法圖解-從監督式到非監督式學習

AI 人工智慧、ML 機器學習、深度學習、Python 是什麼? 看這一篇就對了!

元宇宙也吃得到大麥克!麥當勞申請「McMetaverse」等10項虛擬餐廳商標

「超能力」具現化?臉書推手腕 AR 感測器 讓你隔空操縱介面

Python連續兩年霸榜,蟬聯今年度的程式語言冠軍!

人工智慧擬真肌膚,讓人在元宇宙也能也有觸覺!(上)

為什麼Meta元宇宙的人物下半身都不見了?

2022年3月20日 星期日

人工智慧語音助理項鍊超神!你都不必出聲!

人工智慧語音助理項鍊怎麼做到無聲交流的!?

人工智慧語音助理項鍊怎麼做到無聲交流的!?

圖書館內喊「嗨 SIRI」 太尷尬?讓無聲人工智慧語音助理幫助你

直接開口詢問、指示人工智慧 SIRI,進而解決己身需求,已是 3C 智慧產品廣泛使用的日常風景。然而,若是在安靜的環境中呢?想像一下,如果你在靜謐的圖書館或是針落有聲的會議室裡,開口詢問:「嘿 Siri,明天天氣如何?」似乎有點尷尬。

當你亟需向你的人工智慧助理下指令,卻遇到上述需要保持安靜、無法說話的情況怎麼辦?

拯救你的無聲尷尬!透過下巴動作就能辨識的語音助理項鍊 SpeeChin

不用擔心!為了拯救你的無聲尷尬,康乃爾大學資訊科學助理教授 Cheng Zhang 和博士生  Ruidong Zhang,發明了一款項鍊型的人工智慧語音助理「SpeeChin」。這款項鍊配備了紅外線鏡頭、微處理器、電池和藍牙模組,項鍊外盒配有可提高穩定性的機翼造型平衡器,亦於項鍊盒底部配置了一枚硬幣以平衡配重。

SpeeChin 特性如同一般項鍊,使用銀鍊掛在脖子上,其紅外線鏡頭裝置於 3D 列印的項鍊盒上方,使鏡頭穩定指向佩戴者的下巴。SpeeChin 能夠基於下巴運動軌跡,捕捉「頸部和臉部皮膚變形圖像」,進而辨識無聲語言。目前的實驗結果顯示,SpeeChin 已能辨識簡單的英文和中文單詞。

已可辨識中英文!移動偵測問題仍待解決

在最初的實驗裡,研究人員測量了 10 名英文使用者及 10 名中文使用者,共 20 位參與者的下巴基線,接著使用差分圖像訓練 SpeeChin 辨識簡單指令,應用機器學習演算法將辨識結果傳到配對的智慧型手機,就像用另一種方式溝通的 Siri。隱私問題也不必擔憂,SpeeChin 只會對準佩戴者的下巴,不會拍到使用者的臉。

實驗方式為:10 位英文使用者無聲說出 54 條指令,包括數字、互動、呼叫語音助理、標點和導航,10 位中文參與者的 44 條指令也一樣。最後實驗結果顯示,SpeeChin 的英文/中文命令辨識能力平均準確率分別為 90.5% 和 91.6%。

此外,研究人員還要求其中 6 名參與者在行走時默念 10 個中文和英文片語,然而因為參與者頭部以不可預測的方式移動,所以最後成功率較低。顯示移動偵測的準確度是尚待解決的問題。

為什麼無聲語音辨識要做成項鍊的形式呢?研究人員認為:項鍊是人們習慣的裝飾品,至於耳掛式設備則可能會有不太舒服的佩戴體驗。雖然人們可能會想「我的手機就是語音辨識設備了啊」,但難免還是會遇到無法出聲的人或場合,此時人工智慧無聲語音辨識的研究就能派上用場

 

相關文章:

元宇宙也有翻譯蒟蒻了!Meta推全球語言都可翻譯的人工智慧

Google提出Android隱私沙盒,標榜保護用戶資料安全

白帽SEO、黑帽SEO,到底差在哪?

RWD 和 AWD 的差異與優缺點

人工智慧有望解決能源危機,就靠控制核融合!

Meta和Google等科技巨頭究竟會如何面對網軍及假新聞?

網頁RWD和AWD想做SEO哪個有利?

2022年2月14日 星期一

人工智慧無違和自由切換各語言為電影配音!

 人工智慧化身配音員替電影配音,無違和自由切換各語言!

人工智慧化身配音員替電影配音,無違和自由切換各語言!

Netflix 的多國語言配音惹議,遭批「失去電影原味」

《魷魚遊戲》從開播第一個月就登上 Netflix 收視率最高的連續劇,讓 Netflix 大增 438 萬名用戶;開播後 28 天,就有超過 1.1 億用戶收看,是為 Netflix 史上最熱門影集。Netflix 的全球化佈局,證明各國影劇都有潛力在全球市場賣座。

而許多世界馳名的影劇都會放送各國配音的版本,這也卻引來不少影迷批評「失去原味」,無法做到毫無違和感的情況。

推薦閱讀:還在與他人共享 Netflix 帳號嗎?小心被人工智慧抓到!

Deepdub 用人工智慧「保留演員原本聲音」配音

以色列新創公司 Deepdub 創立於 2019 年,旨在要以先進的人工智能,為創作者提供最佳的傳播平台為目標;致力於提供觀眾絕佳的娛樂體驗、並縮小語言障礙和文化差距。

為了解決問題,Deepdub 除了參與實際配音的過程外,還支援了翻譯、改編和混音等任務。它提供了一連串完整的專業 人工智慧 AI 應用與技術,以幫助配音工作的監督,並根據需求隨時進行更正。

只需演員 3 分鐘音檔,即可架構出模型

在傳統的配音過程可能需要 15 到 20 週才能將 2 小時的電影轉換為另一種語言,但透過 Deepdub,只需要約 4 週的時間就能完成相同的工作;且它只需要學習演員幾分鐘的聲音,就能做出聽起來與原始版本如出一徹的配音版本。

人工智慧 Deepdub 會運用2到3分鐘的原始演員的語音資料建立一個模型,將原始聲音的特徵轉化為主要目標語言,Deepdub 表示,人工智慧聲音的轉化還可以包含大喊大叫等複雜的聲音特性。

串流平台毋需再投資於「製作新的原創內容」以迎合各國

Deepdub 目前正與許多好萊塢工作室合作,隨著串流媒體的競爭日益激烈,對配音內容的需求也不斷增長,能夠輕鬆地轉換影劇語言,完全幫助了串流平台幫助自家產品的發展延伸性,而無需再投資於製作新的原創內容,簡單覆蓋全球受眾

公司表示,對觀眾來說,在可以以母語配音來收看他們最喜歡的電影和影劇且不會失去任何體驗的條件下,絕對能增加在觀看影視時所能得到的滿足感。

推薦閱讀:砸重金請大咖卻拍出雷片!好萊塢開始用人工智慧拍電影?


本文轉載自科技報橘(原標題:以色列新創 Deepdub 用 AI 自動配音!簡單轉換各國語言,看劇再也不會因為配音出戲了),僅反映專家作者意見,不代表本站立場。本文轉載自達內教育科技報之版本

相關文章:

經典老動漫變高清!人工智慧拯救渣畫質,開發者還在 Github 貢獻程式碼

元宇宙也吃得到大麥克!麥當勞申請「McMetaverse」等10項虛擬餐廳商標

【糖友福音】加拿大人工智慧新創 Scanbo 免扎針血糖儀,一分鐘驗出

【必勝客無人化】人工智慧把關,以色列機器人做一個披薩只需1.2 分鐘!

Spotify靠人工智慧穩居音樂串流平台龍頭!

人工智慧醫療快狠準找出罹患大腸癌的大腸息肉!

以色列靠AI人工智慧將軍事戰力再升級!(上)

2022年1月24日 星期一

Line推出兩項在地化中文全新人工智慧服務!

 Line人工智慧新應用服務立足台灣!將在台推出兩項中文版應用!

Line人工智慧新應用服務立足台灣!將在台推出兩項中文版應用!

人工智慧「接地氣」!雲端助理 LINE Clova 立足台灣,發展在地化應用

LINE 看好 Fintech 與 人工智慧  AI 領域的發展,最近幾年積極投入研究發展人工智慧  AI 領域 應用、區塊鏈等雲端技術,也陸續將研發結果整合至通訊服務中。

過去在 LINE 開發者大會「LINE TAIWAN TECHPULSE」中,LINE 台灣就宣布引進 LINE Clova,完成 Clova 服務的在地化目標,並完整介紹其人工智慧技術與企業解決方案。而目前即將在地化的中文 CLOVA 人工智能服務有哪些?答案包含「Clova Note」及「Clova Chatbot」兩大產品線,特別引人矚目!

不怕會議開太久!落落長發言,Clova Note 全都轉換成文字

Clova Note 可以應用在聽打逐字稿、製作會議記錄,以及將語音訊息轉換成文字訊息等較消磨耐心的工作上,其具備的語音辨識技術(Speech Recognition)和說話者辨別技術(Speaker Diarization)能夠精準將聲音轉換成文字檔案。

過去 LINE Clova 的研發主力多為日文、韓文,如今 LINE 廣招中文工程師,將集聲學模型、發音模型、語音模型三項技術與機器學習於一身的 NEST 模型應用於人工智慧解決方案 Clova Note,不但擅長辨識日常對話與長篇幅的語句,還有在噪音環境中精準優秀的辨識能力。Clova Note 預計今年就會在台灣市場推出。

不怕不會寫程式!不需代碼就能架構的 Clover Chatbot 對話機器人

許多企業會使用 LINE 官方帳號作為品牌客服服務的主要平台。LINE 台灣服務企劃部平台事業發展負責人吳元豪表示,訓練人機對話系統工程浩大且過程繁複,因此 LINE 為需要大量降低人工作業的用戶,開發出「Chatbot Builder」平台,用以架構對話機器人架構。用戶只需要準備機器人需要回答的問題、答案與訓練資料就可以製作專屬的 Clova Chatbot 對話機器人模型來應用於 LINE 官方帳號,它最大的優勢,就是應用人工智慧技術來訓練模型,從而省略撰寫程式碼的過程與成本。

LINE 更計劃於 2022 年第一季推出「帳號移動健檢」功能,運用 Clova Chatbot 的人工智慧方案,串接官方帳號後端系統,自動比對使用者個資與用戶資訊,以求快速精準地幫助用戶解決問題。

相關文章:

Google 為保護隱私,棄Cookie 卻改用人工智慧?

FLoC取代Cookie爆4大爭議,Google提出新解「主題取代群組」

人工智慧導入 LINE 服務:LINE BRAIN 計劃 2020 在台啟動

Line Clova 登台確定!讓人工智慧幫你接電話、訂餐廳

Google地圖結合人工智慧推出的新功能!讓你省油錢又省時!

人工智慧GPT-3最強寫手的新技能(上)

想要人工智慧畫出你心目中的美景?給它文字吧!

2021年12月20日 星期一

由人工智慧幫助你邁向死亡! (下)

 人工智慧定義你的生存意志!若你想自我了結,未來它將取代醫生助你邁向死亡!

由人工智慧定義你的生存意志!若你想自我了結,未來它將取代醫生助你邁向死亡!

 

本文為下篇,上篇請看此連結

 AI自殺艙會帶來哪些影響?技術、倫理、法律界各持不同觀點

尼奇克會將石棺計畫印在自己創辦的非營利組織「解脫國際」(Exit International)發行的刊物中,並且免費提供給讀者,只要讀者年滿 50 歲就可以得到設計圖、自行用 3D 列印出該自殺機器,如此輕易就可取得「死亡門票」的方式,各界如何看待?

演算法觀察機構:AI 恐削弱人類決定的自主權

讓人工智慧來決定人類的生死,只會削弱、不會增加人類對於 AI 的自主權

對此,關注人工智慧倫理議題的非營利組織「演算法觀察(Algorithmwatch)」政策及倡議團隊負責人穆勒(Angela Müller)指出:科技最終為人類開發,而人工智慧也是倚賴過去所學習的資料累積來做決定,而這兩者隱含的偏見和歧視,無形中都會影響 AI 的決定,「我擔心依賴它(AI)只會削弱、而不是增加我們的自主權」。

對此,尼奇克也只好承認當前的 人工智慧應用 與技術仍存者取多限制,上有無法解決的問題。但是他也沒有放棄,打算在「石棺」剛推行時與瑞士的醫師合作,確保每位石棺的用戶都經過醫界的專業判斷,以避免爭議;待此 AI 人工智慧應用發展完成後,就採用人工智慧與醫師並行的「雙軌制」,消弭外界疑慮之餘也不斷優化 AI 的判斷力。

 

倫理研究所主任:過度美化自殺、恐引發自殺率

「像石棺這樣的機器會美化自殺,並增加心靈較脆弱或是心理疾病患者的自殺率。」美國喬治城大學(Georgetown University)甘迺迪倫理研究所(Kennedy Institute of Ethics)的主任 Daniel Sulmasy 認為如此集結最新人工智慧科技、富有設計感外觀的 AI 自殺機器根本就是「美化自殺」,恐引發自殺風潮。

法律專家們各持不同看法

尼奇克委託的法律顧問——瑞士聖加侖大學(University of St Gallen)的法律教授赫里曼(Daniel Huerlimann)表示:石棺在瑞士並無違法疑慮。

赫里曼教授指出此石棺並不在瑞士法律所定義的「醫療器材」之內,因此並不會受到《瑞士醫療器材法》(Swiss Therapeutic Products Act)的規範。除此之外,它也沒有違反氮氣、危險化學物質或武器等相關法律的嫌疑。面對這樣的結果,尼奇克沾沾自喜地表示:「這樣的結果,讓我們確認沒有遺漏任何法律問題……這表示在瑞士的法律下,無論是安樂死診所想要引入石棺、或瑞士人民想自產自用,都沒有問題。」

畢竟赫里曼是尼奇克所委託的法律顧問,看法可能受制於此。看看第三方的法律、醫學專家如何解釋:

維金格(Kerstin Noelle Vkinger)教授身兼醫師、律師及瑞士蘇黎世大學 (University of Zurich)的法學院教授。她的看法是:「醫療器材會受管制,是因為他們必須要比其他產品更安全⋯⋯一項產品不會因為無異於健康,就可以免於受這些安全要求的規範⋯⋯」

儘管外界的風聲不一,尼奇克仍硬著心,計畫要在瑞士的一間安樂死診所中開始做實驗,且已有 6 位志願者要參與實驗。尼奇克信心滿滿說實驗過程不會有任何意外:「等到我們看到幾個成功案例後,大家就會感到舒服多了。」關於法律問題與爭議的部分,尼奇克則說:等到有人用過石棺並提起訴訟後,這些爭議才可能有解有解。

石棺帶領你「優雅邁向理想之地」?答案只有用戶清楚、且幾無反悔機會

尼奇克誇下海口說:用戶可隨著石棺到心目中的理想之地「優雅地邁向死亡」。

但是尼奇克是否能保證:死後真的會去到他口中的「理想之地」?一時的自殺,或許可暫時解脫;但是死後會去哪裡,恐怕才是最大問題。

一時的自殺,或許可暫時解脫;但是死後會去哪裡,恐怕才是最大問題

珍惜生命,自殺不能解決問題,生命一定可以找到出路。若須諮商或相關協助,可撥衛福部專線「1925」、生命線專線「1995」或張老師服務專線「1980」。

 

相關文章:

人工智慧過招,你的草圖也能變成栩栩如生的風景圖

人工智慧:貓是液體!NVIDIA 的 AI 創造人臉超逼真,但合成的貓都是液態

模特兒要失業了?人工智慧「虛擬超模」試衣 棚拍 擺Pose都超專業

AI讓形象照「動起來」成視訊替身!NVIDIA會議救星Vid2Vid Cameo

Google地圖結合人工智慧推出的新功能!讓你省油錢又省時!

人工智慧醫療快狠準找出罹患大腸癌的大腸息肉!

特斯拉設計超高效人工智慧AI晶片!

由人工智慧幫助你邁向死亡! (上)

 人工智慧定義你的生存意志!若你想自我了結,未來它將取代醫生助你邁向死亡!

由人工智慧定義你的生存意志!若你想自我了結,未來它將取代醫生助你邁向死亡!

當醫療用人工智慧助人恢復健康時⋯⋯這位醫生卻開發自殺用AI!

到目前為止,很多醫療界與和AI 人工智慧工程師聯手推出各式各樣的人工智慧應用,都是為了要救活病人、降低死亡率,像是日前獲 FDA 批准的內視鏡 AI ,可及早預防與醫治大腸癌、還有 PTT 創辦人杜奕瑾因逝母遺憾,而打造的人工智慧敗血症即時預測 AI

當眾多醫用 AI 在為人類解決問題時⋯⋯有「死亡醫師」之稱的澳洲醫師尼奇克(Philip Nitschke)卻反其道而行,開發了讓人工智能「鑑定」用戶是否該安樂死人工智慧應用,並搭配可自行 3D 列印的輔助自殺(assisted suicides)裝置——「石棺(Sarco)」,介紹如以下影片所示:

瑞士安樂死條件太龜毛?他竟讓 AI 來定義你是否「該死」

AI 自殺裝置「石棺(Sarco)」的樣品 ,首次公開於 2018 年荷蘭的阿姆斯特丹喪葬展上,引發不小爭議。之後經過三年的研發,他打算帶著「進化版」的石棺 AI 人工智慧輔助自殺系統前進瑞士,期待可在第一個通過安樂死合法的國家派上用場。

安樂死原因有哪些?瑞士接受輔助自殺的死者中「25%無罹患絕症」

而瑞士當前的法律僅允許人們在「特定條件」下接受輔助自殺,執行前亦需經過心理狀態評估等程序,才有機會拿到處方箋、並由醫生或醫療單位協助自殺。

當然心理狀態的評估標準見仁見智,在瑞士,每年通過協助自殺而過世的人群當中,有四分之一的人其實並沒有罹患絕症,純粹只是「厭倦了生活」。像是 2014 年通過安樂死而過世的英國退休藝術教師,選擇自殺的原因竟只是「厭倦了充斥著電子郵件、電視、電腦和超市快餐的現代世界」

他讓 AI 取代醫師決定你生死,讓「找死」的過程更民主?

即便如此,尼奇克仍主觀地認為,瑞士有很多醫師不願意開「死亡處方箋」給無病痛的人:例如對活著感到厭倦的長輩等,而他發明的石棺可解決問題,宣稱可「讓死亡的過程更加『民主化』(democratising)⋯⋯」尼奇克說道:「所有理性的成年人都應享有決定要在何時結束生命的權利,不該是被掌握在其他人手上⋯⋯」

只要 AI 說「yes」,你就可一鍵墜入陰間

所以尼奇克在一開始研發人工智慧應用「石棺」時,就沒有打算要讓其他醫護人員參與;他把評估用戶心理狀態的重責大任交給冷冰冰的機器:用戶只要通過人工智慧給的測驗後,就能拿到啟用石棺(自殺)的啟動碼、藉此躺入石棺。

躺入石棺後,用戶可輕易按按鈕、或是比手勢等來啟動自殺程序。啟動後石棺就開始調整艙內氮氣、氧氣比例,用戶就會漸漸失去意識而死亡。他也指出:用戶在啟動石棺後若反悔,可按下緊急停止鈕以獲得重生機會。但是若反悔時,意識已薄弱到失去按下按鈕的力氣呢?

 

下篇請看此連結

 

相關文章:

人工智慧過招,你的草圖也能變成栩栩如生的風景圖

人工智慧:貓是液體!NVIDIA 的 AI 創造人臉超逼真,但合成的貓都是液態

模特兒要失業了?人工智慧「虛擬超模」試衣 棚拍 擺Pose都超專業

AI讓形象照「動起來」成視訊替身!NVIDIA會議救星Vid2Vid Cameo

Google地圖結合人工智慧推出的新功能!讓你省油錢又省時!

人工智慧醫療快狠準找出罹患大腸癌的大腸息肉!

特斯拉設計超高效人工智慧AI晶片!

2021年12月5日 星期日

連編舞都難不倒人工智慧!讓它為你編舞吧!(下)

 人工智慧又有新技能了!這回的新身分是專業編舞家!讓它為你編舞吧!

人工智慧又有新技能了!這回的新身分是專業編舞家!讓它為你編舞吧!


本文為下篇,上篇請看此連結

 

與其他人工智慧應用相比:FACT編舞能力一流

把FACT 的功能,對每個指示性指標,與其他的人工智慧應用進行比較:

如上表所示,FACT 與三種最先進的編舞人工智慧應用(Li et alDancenetDance Revolution)相比,FACT 模型生成的動作更逼真,與輸入音樂的相關性更好,並且在以不同的音樂為條件時更多樣化。*注意的是 Li et al生成的運動是不連續的,使得平均運動特徵距離異常高。

Google 還透過使用者研究,評估音樂與動作的相關性:讓每位使用者觀看 10 個影片,片中有一個 FACT 模型與一個隨機對照模型所生成的編舞結果然後讓使用者選擇哪個模型生成的舞步比較能夠與音樂同步。使用者共有 30 名,包含專業舞者以及很少跳舞的人。

結果顯示:81% 的使用者喜歡 FACT 模型生成的結果勝於 「Li et al.」的;跟 Dancenet 相比,71% 的人喜歡 FACT 勝過 Dancenet;跟 Dance Revolution 比較, 77% 的人也更喜歡 FACT。。有趣的是,75% 的參與者喜歡 AIST++ 未配對的舞蹈動作勝於透過 FACT 所生成的。這並不奇怪,因為最初的舞蹈紀錄具有很強的表現力。

定性結果

如下圖所示,與先前 DanceNet(左)與 Li et. al.(中)相較之下,使用 FACT 模型(右)生成的 3D 舞蹈更逼真,並且與音樂的相關性更好。



使用 FACT 人工智慧模型生成更多 3D 舞蹈:









人工智慧發展下一步:為每首歌生成逼真舞蹈

Google開發了一個人工智慧模型,可以學習音頻與動作對應的關係,還可以基於音樂,生成的高質量 3D 動作序列。由於從音樂生成 3D 動作是一個新興的研究領域,Google 希望此項研究成果能為未來跨模組「音頻-3D 動作」的生成鋪道。

透過這項研究,Google 還發布了迄今為止最大的 3D 人類舞蹈資料庫「AIST++」——具有多視角、多種舞蹈形式、跨模態的 3D 動作數據集,不僅對 3D 動作生成研究有幫助,一般來說,也對人類理解研究幫助。Google 將在 GitHub 中發布代碼,並在此處發布經過訓練的模型。

雖然此項結果給了這個「基於音樂來生成 3D 動作」的議題一個有希望的方向,但還有更多的東西需要探索:像是Google 所使用的方法是基於運動學的、並沒有將舞者和地板間的身體互動考慮進去。因此,若進行全局平移的話,會導致如腳滑動和浮動的假影。因此,接下來的方向是要探索如何為每首音樂來生成多個逼真的舞蹈。

 

相關文章:

油價漲免驚!Google Maps 用人工智慧規劃「最省油路線」

人類又輸了?工程師需花數月設計出IC晶片,AI六小時就搞定!

人工智慧幫你診斷皮膚疾病!Google AI鏡頭變身皮膚科幫手

生物學最大謎團被人工智慧 破解!DeepMind 攻克「蛋白質折疊」奧秘

人工智慧讓你不懂代碼也能成為寫程式達人!(上)

以色列靠AI人工智慧將軍事戰力再升級!(上)

人工智慧GPT-3成為超強寫手勝過人類(上)

 

2021年11月29日 星期一

連編舞都難不倒人工智慧!讓它為你編舞吧!(中)

人工智慧又有新技能了!這回的新身分是專業編舞家!讓它為你編舞吧!

人工智慧又有新技能了!這回的新身分是專業編舞家!讓它為你編舞吧!


上篇請看此連結

 

人工智慧編舞一把罩:FACT 模型

Google 運用上述的 AIST 資料庫,培訓 FACT 模型由音樂生成 3D 舞蹈。這個模型先用動作轉換器和音頻轉換器,分別對一段音樂和一個短的(2 秒)種子動作(seed motion)進行編碼。之後再將嵌入碼連接、發送到跨模型轉換器,該轉換器學習兩種模型之間的對應關係,並生成 N 個未來的動作序列。

然後使用這些序列以自我監督的方式訓練模型。在測試時,Google 將此模型用於自回歸框架,其中所預測的動作則作為下一個生成步驟的輸入。因此,FACT 模型能夠一個框架接著一個框架地,生成長時間的舞蹈動作。

 

FACT 網絡接收音樂片段 (Y) 和 2 秒的種子運動序列 (X),然後生成與輸入音樂相關的長期未來動作。|圖片出處:Google AI Blog

Google 用三指標評估 FACT 的性能

Google 依據以下所述之三個指標,評估人工智慧 FACT 的性能:

動作品質:我們計算 AIST++ 資料庫中的「真實舞蹈動作序列」與 40 個「模型生成的動作序列」之間的 Frechet 起始距離(FID),每個序列具有 1200 幀鏡頭(20 秒)。我們將基於幾何和動力學特徵的 FID 分別表示為 FIDg 和 FIDk

生成多樣性:之前的工作(指深度慣性姿勢捕捉」:從少許的慣性量測中學習而重建人體姿勢)類似:Google 從 AIST++ 測試集中的 40 個「模型生成動作特徵空間」中,計算平均歐氏距離,用以評估模型生成各式舞蹈動作的能力。,接著再比較幾何特徵空間 (Dist g ) 和動力學特徵空間 (Dist k )。

Google 使用不同的音樂,來生成四個不同的編舞版本:Break、Ballet Jazz、Krump 和 Middle Hip-hop(右),但有兩秒是相同的 Hip-hop 舞蹈動作(左),這些相同的動作被稱為「種子動作」。|圖片出處:Google AI Blog

運動-音樂相關:由於沒有合適的指標來衡量輸入音樂(音樂節拍)與所生成的 3D 動作(動作節拍)之間的相關性。所以 Google 提出了一種新的「節拍對齊分數 (BeatAlign)」作為指標。

上圖中顯示 FACT 所生成的舞蹈動作的動作速率(藍色曲線)、動作節拍(綠色虛線),及音樂節拍(橙色虛線)。通過從動作速率曲線中找到局部最小值,來提升動作節拍。|圖片出處:Google AI Blog

 

下篇請看此連結

 

相關文章:

油價漲免驚!Google Maps 用人工智慧規劃「最省油路線」

人類又輸了?工程師需花數月設計出IC晶片,AI六小時就搞定!

人工智慧幫你診斷皮膚疾病!Google AI鏡頭變身皮膚科幫手

生物學最大謎團被人工智慧 破解!DeepMind 攻克「蛋白質折疊」奧秘

人工智慧讓你不懂代碼也能成為寫程式達人!(上)

以色列靠AI人工智慧將軍事戰力再升級!(上)

人工智慧GPT-3成為超強寫手勝過人類(上)