Google 運用上述的 AIST 資料庫,培訓 FACT 模型由音樂生成 3D 舞蹈。這個模型先用動作轉換器和音頻轉換器,分別對一段音樂和一個短的(2 秒)種子動作(seed motion)進行編碼。之後再將嵌入碼連接、發送到跨模型轉換器,該轉換器學習兩種模型之間的對應關係,並生成 N 個未來的動作序列。
Google正在進行一種人工智慧研究,開發稱它為「FACT (Full-Attention Cross-modal Transformer)」的模型,它會模仿、理解舞蹈動作,而且可以提升個人的編舞才能。Google 研究團隊為了訓練該模型,也隨之發布一個大規模、多模態的 3D 舞蹈動作資料庫「AIST++」,包含長達 5.2 小時的 1408 個 3D 舞蹈動作序列,涵蓋 10 種舞蹈類型。都包含了已知相機位置的多視角影片,可生成逼真流暢的 3D 舞蹈動作。
Google 提到:雖然隨著音樂節拍編排出動作,是人類的本能;然而舞蹈是「需要練習」的藝術形式。專業的舞者都需要經過大量的、包含各式各樣舞步的曲目來訓練,才有編舞能力。這樣的訓練,對人類來說已不容易;對 ML(Maching Learning,機器學習)來說更是難上加難。因為要使用人工智慧來實現編舞,需要生成動力複雜度高的連續動作,同時還要捕捉動作與配樂間的非線性關係。
人工智慧如何學舞?Google修正AIST舞蹈資料庫成教材
Google 從現有的 AIST 舞蹈影片資料庫(一組帶有音樂伴奏的舞蹈影片,但無任何 3D 信息)生成 3D 動作資料庫。AIST 包含 10 種舞蹈類型:Old School(地板舞 Breaking、機械舞 Popping、鎖舞 Locking 和 Waack)以及 New School(Middle Hip-Hop、LA-style Hip-Hop、House、Krump、Street Jazz 和 Ballet Jazz),雖然包含了許多舞者的多視角影片,但鏡頭都沒有經過校準。 Google 依研究人員的需求,根據常用的 SMPL 3D模型參數,修復 AIST 影片的拍攝校準正後的數值和 3D 人體動作,重建為「AIST++ 數位資料庫」,包含與音樂搭配的各種 3D 動作,並將上述十種舞蹈均勻地呈現在動作中、以每分鐘節拍 (BPM) 為單位涵蓋各種音樂節奏。每種舞蹈類型都含 85% 的基本動作和 15% 的進階動作(舞者自由設計的更長編舞)。
Google 依研究人員的需求,根據常用的 SMPL 3D 模型參數,修復 AIST 影片的拍攝校準正後的數值,以及 3D 人體動作,重建為「AIST++」數位資料庫。重建後的「AIST++」包含與音樂搭配的各種 3D 動作,並將上述十種舞蹈均勻地呈現在動作中、以每分鐘節拍 (BPM) 為單位涵蓋各種音樂節奏。每種舞蹈類型都含 85% 的基本動作和 15% 的進階動作(舞者自由設計的更長編舞)。
既然是以「節能減碳」為前提,當然,開車並非長久之計。所以Google Map 也為騎自行車的用戶設計了輕便版的 lite 導航;也協助全球 300 多個城市(包括台灣台北市)中的用戶更易找到共享單車或機車。
借助人工智慧應用與技術,交通堵塞降二成
Google 一直持續尋找讓整個城市的交通更順暢的方法。在先前的研究中,Google 就將人工智慧應用在優化紅綠燈的效率上;目前 Google 仍持續在以色列進行這項研究,用於預測路況、改善交通號誌的變換時機。而該項研究成果顯示:當地居民的耗油量、還有堵在十字路口的時間,全都因此減少了 10%-20%,未來預計這項研究將會擴展到里約熱內盧和其他城市。
Google 執行長皮查伊(Sundar Pichai)說道,這些新功能都是促進大家實踐環境永續的選擇。從個人來看也許沒什麼,但是但愈多人都在使用時,對環保就會產生較大的正面迴響,為全球暖化提供解決問題方案。Google 會持續探索產品中的各種可能性,迎向永續發展的未來。