看懂網飛版「三體」！Reka Core登場：挑戰GPT-4、Claude 3

　　AI初創公司Reka最新推出的多模態語言模型Reka Core具備理解圖像、音頻和視頻等多種模式數據內容的驚人能力，是繼谷歌的Gemini Ultra之后的又一個令人矚目的作品，性能上與GPT-4不相上下!

　　多模態語言模型又雙叒叕上新了!

　　近日，由DeepMind、谷歌和Meta的研究人員創立的AI初創公司Reka，推出了他們最新的多模態語言模型——Reka Core。

　　它被譽為該公司「最大、最有能力」的模型，在性能上與GPT-4和Claude3Opus不相上下!

　　Reka的首席科學家兼聯合創始人Yi Tay興奮地表示，過去幾個月，該公司使用了「數千臺***」來開發Reka Core。

　　能夠達到GPT-4或Opus的水平是研究團隊中許多人的目標。

　　從頭開始訓練模型來與OpenAI的GPT-4和Claude3Opus相媲美無疑是一項壯舉。

　　目前Core仍在改進，在后續的時間里，興許會有更多有趣的內容陸續推出!

　　對于這個新推出的模型，網友們叫好聲一片~

　　還有網友看了官方發布的視頻后驚嘆:這莫不就是傳說中的AGI，有點迫不及待了!!!

　　Core是Reka語言模型系列中的第三個成員，由多個來源訓練而成，包括公開數據、授權數據以及涵蓋文本、音頻、視頻和圖像文件的合成數據。

　　它能夠理解圖像、音頻和視頻等多種模式的數據內容。

　　最重要的是，盡管只用了不到一年的時間就完成了訓練，但它的性能卻可以媲美或超越人工智能領域領先的頂級模型。

　　雖然Reka Core的確切參數數量尚未披露，但該公司首席執行官Dani Yogatama認為它是一個「非常龐大的模型」(上一個模型Reka Flash有210億個參數)。

　　Core還支持32種語言和128，000個詞組的上下文窗口，這也就讓該模型在處理長篇文檔方面具備了極強的優勢。

　　可以說，Core是繼谷歌的Gemini Ultra之后第二個涵蓋從文本到視頻等所有數據模式并且能夠提供高質量輸出的模型了。

　　此外，Yogatama還表示，研究團隊正在訓練Core以進一步提高其性能，同時也在開發下一個版本，并且表示該公司沒有開源該技術的計劃。

　　技術細節

　　訓練數據

　　訓練數據由公開可用和專有/許可數據集組成，其中包括包括文本、圖像、視頻和音頻剪輯，獲取數據的截止日期為2023年11月。

　　雖然并未對語料庫的內容進行嚴格意義上的分類，但預訓練數據中大約25%的數據是與代碼相關的，30%的數據是與STEM相關。

　　其中約有25%的數據是網絡爬取獲得的并且約10%的數據跟數學相關。

　　總體混合率一般遵循優先考慮獨特標記的原則，但會根據數量有限的小規模消融產生的信號進行人工調整

　　預訓練數據中大約15%是明確的多語言數據，由32種不同的語言按分層加權組成。

　　除了這些明確加權的語言之外，為了讓大多數語言都有基準性能，研究團隊還在包含110種語言的維基百科上進行訓練。

　　模型架構

　　Reka模型架構是一個模塊化的編碼器-解碼器架構，支持文本、圖像、視頻 和音頻輸入。目前，我們的模型僅支持文本輸出。

　　模型主要使用Pytorch在Nvidia ***上進行訓練。

　　研究團隊表示，盡管訓練過程學習率非常高，但損失峰值很少，因此模型預訓練過程相對比較順利。

　　后訓練(Post-Training)

　　經過預訓練后，模型使用強正則化技術對多個epoch進行指令調整。

　　對于SFT，研究團隊使用混合數據集進行訓練，其中包括他們的專有數據和公開數據。

　　SFT之后，使用RLHF方法進行對齊。

　　此外，在后訓練過程中，研究人員還考慮了工具使用、函數調用和網絡搜索等內容。

　　性能亮點

　　在業界公認的關鍵評估指標方面，Core與OpenAI、Anthropic和谷歌的模型相比具有很強的競爭力。

　　考慮到它的模型大小和性能，從總體成本的角度來看，Core能帶來巨大的價值。

　　Core擁有強大功能的同時，部署也十分靈活，由此開啟了大量新的應用案例。

　　在視頻感知測試中，Core的表現遠遠超過其唯一的競爭對手Gemini Ultra(59.3分對54.7分)。

　　同時，在針對圖像任務的MMMU基準測試中，Core以56.3的得分緊隨GPT-4(56.8)、Claude3Opus(59.4)、Gemini Ultra(59.4)和 Gemini Pro1.5(58.5)之后。

　　即使在其他基準測試中，Core也能媲美行業領先模型。

　　例如，在知識任務的MMLU測試中，它獲得了83.2分，緊隨GPT-4、Claude3Opus和Gemini Ultra之后。

　　在推理的GSM8K基準測試和編碼的HumanEval測試中，它分別以92.2分和76.8分擊敗了GPT-4。

　　下表總結了Core與目前市場上領先模型的比較。

　　模型能力

　　1. 多模態（圖像和視頻）理解

　　Core 不僅僅是一個前沿的大型語言模型，它對圖像、視頻和音頻具有強大的上下文理解能力，是僅有的兩個商用綜合多模態解決方案之一。

　　2.128K上下文窗口

　　Core能夠攝取并精確準確地調用更多信息。

　　3. 推理能力

　　Core在語言或者數學方面具有出色的推理能力，使其適用于需要精密分析的復雜任務。

　　4. 編碼和代理工作流

　　Core是頂級代碼生成器。它的編碼能力與其他功能相結合時，可以增強代理工作流程的能力。

　　5. 支持多種語言

　　Core是在32種語言的文本數據上進行的預訓練，因此，它能說流利的英語以及好幾種亞洲和歐洲的語言。

　　6. 部署靈活性

　　與Reka其他型號的模型(Flash和Edge)一樣，Core可通過API、本地或設備部署，以滿足客戶和合作伙伴的部署限制。