GAITC2022智媒專題論壇｜沈浩：計算重塑媒介的延伸

　　11月27日，在2022全球人工智能技術大會上，由CAAI智能傳媒專委會、中國傳媒大學媒體融合與傳播國家重點實驗室、新浪AI媒體研究院聯合支持的“融合與發展”新智者·智能媒體專題論壇在線上舉行。中國傳媒大學媒體融合與傳播國家重點實驗室大數據中心首席科學家沈浩教授分享了《計算重塑媒介的延伸》，在他看來，當人們探索媒介，智能與物質世界的融合延伸時，人類對局限性的理解將打破，將開啟新的視野。

　　圖注：沈浩教授-“融合與發展”新智者·智能媒體專題論壇

　　以下是沈浩分享實錄，內容經編輯略有刪減:

　　沈浩：在線的朋友們大家好，非常高興參加這樣的智能媒體專題論壇。

　　我今天演講主題是《計算重塑媒介的延伸》，這個話題實際上就是說媒介最早是人的延伸，但是今天的計算讓人進一步延伸。這個延伸可以有充分的想象，是我們智能媒體驅動下的媒介延伸，也許是虛擬數字人，也許是元宇宙。但是作為媒體融合與國家重點實驗室，我們主要承擔著關于思考媒介的未來媒體形態，媒介的服務模式，媒體的智能信息處理與國際傳播問題。

　　前段時間參加了非常小規模的人工智能與國際傳播論壇，當時參加這個論壇大家會思考說人工智能和國際傳播有什么樣的關系。

　　為了應景當時找了三個叫做“化身”或者“數字人”，他可以用多種語言，從口唇、姿勢、形態，最重要的是自然語言生成，即直接用文本生成一段視頻，這段視頻幫助我們解讀了想表達的內容。所以在科學和藝術融合時代，媒介是一種可穿戴設備，未來可穿戴設備可能是一種媒介。

　　1964年麥克·盧漢在《理解媒介》時特別關注到了媒介是人身體的延伸，這句話對于麥克·盧漢來講，大家說他瘋言瘋語。但是他提出的媒介即信息，那什么是信息?實際上這里還有一個趣事：他當時提到，媒介即按摩。

　　所以，今天信息減少和排除事物不確定性度量，如果你進到屋里但是是黑燈狀態，那打開燈后你才能找到你的東西，這時候電燈給了你決策，因此電燈是不是媒介?今天當你受傷或者失戀了，聽首歌也許就撫慰了你受傷的心靈，這個時候媒介是不是就是按摩?所以麥克·盧漢的媒介信息論和媒介技術論，技術在驅動媒介方面發揮重要作用。

　　當然，今天最重要的是計算。計算的核心要素是數據算法和算力，數據已經成為重要的生產要素。前段時間中央電視臺的央視新聞做了關于“數字人”的采訪，當時我在今日頭條包括學習強國進行解讀之后，幾個小時大概有四十幾萬的點擊量，說明大家非常關注媒介延伸以及數字人。

　　很多場景下都會做一個數字人和媒介重塑融合延伸的方式�；�于這個方式你會發現，在制作這樣方式中大家可能更想的是：最好是你沈老師出現，包括形象、語音等。相信大家知道只要我們給出草本或者腳本，選擇你的化身也就是演員，然后不同的背景無論是圖片或者是視頻就自動合成從文本到視頻的生成。

　　而且這樣的“化身人”可以讀200多種語言或語種，還可以選擇不同身份的人，這其實是我們人工智能在自然語言處理、自然語言生成和自然語言理解上有了極大的進步。

　　這也是一個令人興奮的時代，是大數據時代，人工智能和數據科學讓我們越來越多地觀察到人類社會的復雜行為模式。當下是科技聚合時代，不僅是人工智能還包括區塊鏈、北斗、NFT、5G、元宇宙。今天，主要關注在媒體，所以課題主要關注虛擬數字人和媒體融合視角。

　　比如，今天開一個騰訊會議，大家都希望能開一個具有沉浸感的會議調劑一下，這件事其實已經出現了。當我走入這樣的環境中可以看到我身旁可能是賣的NFT，也可能將來是媒體融合數字博物館，也許是其他可能的影視等分享。

　　舉個例子可以在這看出來，比如我搭建這樣一個環境，只要在這這上傳視頻、音頻或者可能實現交互方式，有人來這一起欣賞、購買等等模式。從這個角度來講，不光可以坐這開會，也可以體驗新的交互模式。

　　最近有一些從文本到視頻，甚至文本到圖片的頂級算法叫穩定創新。這六張圖真的是沈老師畫的，但不是我畫的，我只要給出關鍵詞就可以生成這樣的圖片。特別像這張大圖，當時我輸入的是三個宗教，基督教、伊斯蘭教和佛教，結果生成中間張圖，可以看到既有基督教的特色也有伊斯蘭教的服飾，甚至也有佛教的表情，當然不同的人有不同的解讀。

　　從這個角度，我們的藝術家很難創作出這樣一種寓意，但是當一個老人在車上玩手機時會生成這樣的圖片。人工智能直接從文本到圖像、視頻，已經進入我們的藝術領域。

　　今天已經可以把各種圖像、視頻抓幀包括語言圖像等等都可以變成相量化，當把我們的手寫或者服裝變成嵌入相量，包括把表情變成相量時，通過科技聚合在一起一定會產生化學反應。這種反應可能是媒體融合的特征也是媒體融合需要最關注的特點。當然這個特點對于我們學校，對于國家媒體融合與傳播來源講實際上是建立在新文科、新工科，特別具有交叉學科特點。

　　就是對于傳統的硬科學，大數據和人工智能與今天的人文社會科學融合，這個時候就可以產生有組織的科研創新。所以計算和傳播可能在重塑我們的媒介觀。

　　這里用了虛幻引擎(metahuman)，可以在象素級上進行數字人的描繪或者生成�，F在最難的是虛幻引擎還不能脫離優異的引擎。同樣我們看到在強大的智能和算力上，英偉達的黃教主實現了和人形象的代言和形象的交流，這一點我們看到數字人已經聚合了智能技術，同時也在聚合媒體融合的形態。

　　所以，我們學校也在一些特定場景、活動中用數字人方式，去表達一些形態，就像學生不能蒞臨現場一樣，比如在疫情期間，我們學校動漫學院利用一個虛擬的元宇宙畢業典禮或者開學典禮。

　　今天，元宇宙是一個熱門話題，但是它是一種數據形態。

　　未來我們每個人可能都希望有個“網絡化身”，這個“化身”在不同的現實物理世界，因世界的價值觀不同可以享受不同生活方式。

　　所以，站在交叉學科和社會科學視角，技術往往遮蔽在文化中，只有當技術產生革命性變革時人們才會意識到技術的重要性。

　　前面兩位專家提到了未來的可能性，不光在現實中，可能未來在無人機，特別是主機和僚機作用中互相的感知連接。未來很多領域這種認知性東西實際上是技術在驅動媒介產業和社會變革。這種社會變革，除了區塊鏈、納米技術、人工智能技術、機器人、人工存儲等等，其實我們看到現在很多時髦概念撲面而來。

　　2002年時，美國提出了科技聚合，當時它提到了納米、信息技術等等。但是今天我特別想說認知科學，如果人工智能能夠涉足認知科學，這種認知問題如何解決，博弈也是種認知，媒體技術具有驚人的潛力來提升我們與世界的互動方式。

　　最早人類因為有一個洞穴的隱喻，不知道外面世界是什么，只能通過投影感知世界。但是今天，我們也許可以創造出一個世界，也許是元宇宙，也許是媒體融合的延伸，也就是計算讓我們媒體的進一步延伸。延伸到了今天我們愿意用元宇宙方式去探討，當我們探索媒介和智能與物質世界的融合創新、融合延伸時，我們的認知局限性理解將會打破。

　　特別是智能技術，所以，希望開拓新的視野。從最小的叫做智能地去除背景技術到智能地擦除和合成技術，這些對于媒體來講都是小兒科。甚至對于視頻的融合采集和智能編輯技術也已經非常地方便。只要在算力達到的情況下，我們就可以給受眾，甚至抖音里面的剪影，包括微博視頻等都有這類技術出現。

　　視覺是人工智能創新最典型的要點和突出點，除了我們拿到圖像去構建圖像的相量化、預項量模型以外，現在我們對于圖像的反向搜索，對于圖像的事實審核問題就非常重要了。

　　隨著我們對于輿論戰、認知戰的認知，需要更多地對網上包括社交媒體上出現的大量的圖像和視頻進行事實的審核和追蹤。同樣道理，通過一個帶有計算機視覺的攝像頭就可以很容易的快速地捕捉停車場的占位和空位。過去我們需要大量的設備傳感器電子和人力，今天一個攝像頭就可以感知并做到這一點。

　　從這一點來講，隨著攝像頭技術、視覺技術以及追蹤能力的進步，我們可以以一張照片大概算出具體的人群是什么，很多場景都會用這樣的算法來捕捉可能人數的感知。

　　對于圖像修復技術，無論是從舊相片、破損相片還是黑白照片的著色都有了很好的能力，甚至現在很多媒體都將過去的視頻或者圖像進行了相應的著色和升頻能力，甚至達到8倍的升頻技術。從靜態到2D、3D，讓清明上河圖活躍起來，讓特殊場景下的一些圖片變得動態這也是可能的應用場景。

　　這樣的技術出來以后，也帶來了很多深度造假，當然深度造假隨著現在的穩定擴散模型出現，深度造假又上了臺階，它既有負向也有正向應用，這塊算法和能力主要關注于如何應用起來更好地服務人們的需要。最典型的是從智能主播的方式，通過虛擬數字人方式呈現。

　　對于媒介來講，借助于智能媒體實際上已經成為了重要的社會使能器，是社會互動的使能器。人們通過智能媒體獲取信息知識，應對未知和恐懼。

　　所以，現在在媒體領域普遍流行的就是創建各種各樣的數字人，也形成了相應的產業鏈。這些產業鏈很重要的關鍵技術就是我們的智能技術，就是我們的智能媒體技術，這里面既包括圖像、視頻、語言、聲音、文字甚至細節上包括自然語言理解和生成，甚至是主體對象的實時追蹤都是很重要的方向。這些領域會滲透到不同的輿論產業，甚至包括新聞傳播。

　　前段時間做了虛擬數字人影響力報告，也得到很重要的大家反饋。通過反饋中知道媒介的延伸使我們更好地了解自己、感知世界，媒介的智能在塑造我們現實世界中起著非常重要的作用。

　　這時候，人類的認知正在迅速地接近使用計算和數據、算法、算力去融合、交互。這個過程中計算和傳播成為未來媒體的核心技術。

　　我特別提到，關于媒體融合與國家重點實驗室，為了建立對國家戰略服務需求，實際上現在我們不僅在信息戰還有輿論戰，最近主要是在認知戰上，認知戰對我們的智能技術使用就更重要了。比如俄烏沖突中人臉識別，把相應陣亡士兵能夠寄回到他的家里，引起認知上的改變。以及各種造假形成對相應的戰爭影響以及在社交媒體上和其他媒體上傳播的問題，都需要我們用更加有效的智能技術來解決。

　　這種智能技術不僅包括我們對物體感知，對社會認知，特別是他們的關系的理解。這種關系需要通過不同的智能技術來解讀，通過智能技術來分析，這種智能技術其實來自于我們的開源情報等網絡搜索，包括人臉。

　　舉個例子，比如特朗普，就需要通過一個帳號獲取他的信息，并且把這個信息提取出來建立我們自己的認知模型。例如通過“大五馬”模型捕捉價值需求等，這是一個多標簽或者分類模型，它包括對語義、文化方面的認知，也包括視覺效果，這個模型能夠快速地對一個人進行分析。

　　既然能分析一個人，就可以分析所有人。我們可以通過GPU加速，可以對更大的社會群體認知產生群體分析。這樣的分析也可以推進我們人工智能創新，推進技術聚合，找到新的思考方式。

　　所有事物都這樣被連接，可計算。如果用一些數學形式的語言來表達，數據、算法和算力構成了我們計算的要素。一個計算可編程是智能，因為人工智能狹義的定義就是一段可編程的智能化程序，這個智能未來和區塊鏈融合，將會產生未來社會的一種模式。

　　也就是把今天的信息互聯網和價值互聯網融合，產生新的數字經濟形態。

　　這個過程中，一個很重要的社會治理就是需要人工智能和數據智能的能力。因此，云計算、大數據、人工智能等自變量里構建未來的區塊鏈，把現在很多新的技術如何融合構建我們可想象的，比如元宇宙這樣的未來形態。

　　技術融合，計算賦能認知不僅僅視為一種技術，更認為人類意識或者認知的延伸。這種延伸中媒體融合不斷創新，進一步推進了技術的融合，擴大視野尋找新的思考方式。

　　最后總結，我們一直在探討，盡管我們有很多的信息，但是如果加上時間，當我們的信息被時間和位置捆綁時，加上Hash捆綁就可以實現自辨真家，無假自證.也就是我們的位置,盡管在國界內有三大運營商，但是如果逃離了國界，那么你在全球地理位置還有北斗衛星。如果北斗可以實現雙向短報文，并且實現全球授時和全球授位時，那么，你發個信息都被我的時間和位置捆綁，那你就是中國的。

　　當然，如果你逃離到未來的元宇宙中，你能夠被我的時間和位置捆綁，如果能夠被我們的關系捆綁，真的無假自證。對于元宇宙的未來和社會治理，我們可能可以看到一種希望的主張，對于全球的空間、時空和我們的人類行為，包括我們的媒體、語言、文字、聲音進行Hash捆綁，都可能產生新的一種價值，這是今天我想表達的。

　　今天我的主題叫做計算重塑媒介的延伸，我們努力將未來變成現實，謝謝大家!