7月4日，天娛數科（002354.SZ）與專注3D視覺+AI的高科技半導體企業銀牛微電子簽署戰略合作協議，并宣布共同投資4000萬成立合資公司。
(資料圖片僅供參考)
天娛數科總經理徐德偉出席簽約儀式并發表講話，提到：“將以合資公司為主體，把天娛數科在元宇宙、虛擬數字人領域的應用場景優勢與銀牛微電子在3D視覺芯片領域的技術優勢與相結合，共同研發面向元宇宙應用場景的3D深度視覺模組，實現虛擬數字人低成本、短周期、批量化生產制作與低延遲、高精度、沉浸式互動體驗，不斷降低元宇宙進入門檻，不斷豐富元宇宙應用場景。”
為進一步了解天娛數科與銀牛微電子成立合資公司后的產品計劃，記者與徐德偉進行了深入交流。
Q：您在簽約儀式上提到，與銀牛共同成立的合資公司將共同研發3D視覺感知產品，請問具體的產品規劃是什么？
A：目前，我們規劃了3款產品，包括便攜式3D深度相機、桌面式3D攝像機和數字人3D數據采集系統，分別應用在虛擬數字人掃描與自動化建模、虛擬數字人全身深度視覺捕捉驅動、人體動作3D數據采集3個領域。
Q：合作開發的第一款產品會是什么呢？
A：第一款產品，我們會把研發重點放在便攜式3D深度相機這個產品上，主要應用于虛擬數字人掃描與自動化建模。天娛數科在虛擬人的打造和運營上有豐富的經驗，以往行業內要完成一個虛擬人的構建從掃描到建模，需要很長的周期和很高的成本，很難實現大規模的批量化生產。在2020年我們決定切入虛擬數字人賽道時，我們和很多企業、科研機構交流、合作過，當時大部分需要2到3個月的周期才能完成一個超寫實的虛擬數字人，建模成本更是從幾十萬到上百萬不等。在過去1年多時間里，我們基于自研的Meta-Surfing元享智能云平臺，通過對數字人生成、數字人驅動、數字人交互三個核心功能模塊算法的不斷優化，通過軟件系統的投入，已經大幅縮短了制作周期與制作成本，但距離完美的消費級ToC應用還有一定差距，主要原因是傳統的相機掃描采集到的都是2D數據，需要花大量的算力和時間轉換成3D數據。
銀牛的3D視覺芯片采集的天然就是3D數據，芯片本身還具備AI算力，他們的3D視覺芯片與我們的元享軟件平臺結合后，會彌補這最后的一點差距，通過軟硬結合，真正實現虛擬人短周期、低成本、批量化生成，從而降低元宇宙的門檻，提供給C端用戶工具化、標準化、易用型的可交付產品與解決方案。
Q：研發桌面式3D攝像機是出于哪些考慮？
A：虛擬人生成核心環節主要涉及建模、驅動和渲染三大技術。第一階段通過便攜式3D深度相機我們實現了虛擬人掃描、建模自動化，那么第二階段我們希望變革驅動環節。
我們把虛擬人的發展劃分了三個階段，1.0階段是靜態虛擬數字人階段，只能展示，不能互動；2.0是動態虛擬數字人階段，進行展示時可以與現實人互動，但需要中之人操縱，也就是雙簧式，需要現實人一對一搭配數字人；3.0是智能數字人階段，通過自學習，數字人完全可以替代現實人在一些領域獨立工作。
1.0階段是通過傳統CG或體積視頻技術建模的，是不可控體數字人，無法實時互動，應用場景比較狹窄；2.0階段主要是基于慣性動作捕捉、光學動作捕捉及實時渲染技術，打造出可控體數字人，應用在虛擬主播、虛擬偶像上，雖然有一些應用，但不完美，動作容易失調、面部表情不到位、互動能力差、沉浸體驗感不好。針對這些問題，我們計劃推出可以實現3D深度視覺捕捉驅動的桌面式3D攝像機。
通過3D攝像機和深度傳感器能獲取人體的三維形狀和姿勢信息，甚至是骨骼結構追蹤。對于人臉識別、姿態、動作識別、手勢識別，它的準確性和細節捕捉能力都非常強。
因此，相較于慣性動作捕捉、光學動作捕捉、光慣混合動捕方式，視覺捕捉更加靈活方便，無需額外的佩戴設備，對于C端更加適用，而且經過AI數據修正，可以獲得更高精度、更穩定、高質量數據，而且還可以在攝像頭的視野范圍內進行采集拍攝，有更大的活動空間和范圍。
Q：第三階段將推出什么產品，人體動作3D數據采集有什么意義？
A：產品研發的第三階段，我們的目標是打造一個應用于人物表情、形態及行為特征數據采集的數字人3D數據采集系統，形成我們特有的數據庫，用來訓練數字人表情和動作，這是我們為實現3.0智能數字人階段做的數據基礎設施。
ChatGPT出現后，虛擬人聊天等智能交互體驗有了飛躍提升，但虛擬人作為AIGC典型多模態應用，整個生成式AI技術在虛擬人動作和表情生成領域相對滯后。我們看到一個AI驅動的數字人，或許能和你聊天，但是來來回回就那幾個動作。AI技術的成熟度、算法迭代離不開數據，特別是大量、高精度、高質量的3D數據庫。
未來，我們會有一個較大規模的基于3D深度攝像機的人體復雜行為數據庫，經過數據喂養、深度學習算法提取,AI數字人的動作也會像語言交互體驗一樣趨于自然、流暢，而且是自學習的，屆時虛擬數字人才能真正擺脫“中之人”驅動，完成全面的AI進化。
Q：最后一個問題，為什么選擇和銀牛微電子合作？
A：選擇銀牛作為合作伙伴是經過深思熟慮的。銀牛是一家集3D雙目視覺處理和人工智能芯片設計能力于一體的高科技半導體企業。在3D深度視覺、復雜SoC設計、低功耗、光學、嵌入式系統軟件、邊緣計算等方面具有10年以上的深厚經驗。全球最早從事芯片上3D深度感知引擎研發的企業之一以色列公司Inuitive也是銀牛的子公司。加上多年來在泛機器人領域的應用探索，銀牛自研的集成3D視覺感知、AI、SLAM的系統級芯片已經應用在在眾多前沿應用領域的產品中，3D和AI能力已經得到了驗證。我們認為，虛擬人就是元宇宙世界里的關鍵，它需要3D視覺感知能力，需要AI能力。3D視覺+AI的模式，將賦予虛擬人和各類智能設備“人眼”和“人腦”。選擇和銀牛合作對天娛數科來說，是跟我們在元宇宙場景和虛擬人方面進行軟硬件結合的最佳選擇。（CIS）
