奧特曼投資的安全團(tuán)隊(duì) 被OpenAI悄悄招募了

　　在OpenAI首席科學(xué)家伊利亞·蘇茨克維(Ilya Sutskever)宣布離職8天后，OpenAI悄悄招募了一整個(gè)安全相關(guān)的團(tuán)隊(duì)。

　　這個(gè)團(tuán)隊(duì)名叫「Indent」，是一家位于美國(guó)加利福尼亞州的數(shù)據(jù)安全初創(chuàng)公司。5月23日，Indent的聯(lián)合創(chuàng)始人、CEO阿福德·馬丁(Fouad Matin)在X上宣布自己將加入OpenAI負(fù)責(zé)安全相關(guān)的工作。

　　圖片來(lái)自X

　　雖然雙方并未宣布細(xì)節(jié)，但I(xiàn)ndent這家公司大概率將全部并入OpenAI。Indent在其網(wǎng)站上宣布，“經(jīng)過(guò)仔細(xì)考慮，我們做出了一個(gè)非常艱難的決定，Indent將在未來(lái)幾個(gè)月內(nèi)關(guān)閉”，“7月15日之后服務(wù)將停止使用”。

　　值得一提的是，OpenAI CEO 薩姆·奧爾特曼(Sam Altman)，曾在2021年參與了Indent 560萬(wàn)美元的種子輪融資，雙方算是老相識(shí)了。

　　近期OpenAI風(fēng)波不斷，其中備受關(guān)注的是在伊利亞·蘇茨克維離職后引發(fā)的連鎖反應(yīng)，OpenAI負(fù)責(zé)安全的超級(jí)團(tuán)隊(duì)的聯(lián)合主管簡(jiǎn)·雷克(Jan Leike)也宣布離職。兩人共同領(lǐng)導(dǎo)的超級(jí)對(duì)齊團(tuán)隊(duì)去年7月才剛剛成立，現(xiàn)在已經(jīng)分崩離析。

　　然而，仔細(xì)一看就會(huì)發(fā)現(xiàn)，Indent團(tuán)隊(duì)的加入雖然是對(duì)安全團(tuán)隊(duì)新鮮血液的補(bǔ)充，但與超級(jí)對(duì)齊團(tuán)隊(duì)卻毫無(wú)關(guān)系。

　　Indent團(tuán)隊(duì)的加入更加明確了一件事：薩姆·奧爾特曼正在把OpenAI變成一家徹頭徹尾的商業(yè)化公司。

　　1.Indent是誰(shuí)？

　　先介紹一下Indent這家公司。

　　Indent成立于2018年，從事數(shù)據(jù)安全相關(guān)業(yè)務(wù)，它所提供的服務(wù)也很簡(jiǎn)單——自動(dòng)化處理訪問(wèn)權(quán)限的審批流程。

　　比如，當(dāng)工程師需要查看生產(chǎn)服務(wù)器日志或客戶支持需要敏感系統(tǒng)的管理員權(quán)限時(shí)，他們可以使用Indent的應(yīng)用程序請(qǐng)求訪問(wèn)權(quán)限，而無(wú)需IT部門的幫助。審閱者可以通過(guò)Slack收到消息并直接從那里批準(zhǔn)，然后一旦時(shí)間到期，訪問(wèn)權(quán)限就會(huì)自動(dòng)撤銷。

　　Indent為公司中的每個(gè)人提供按需訪問(wèn)控制，讓他們可以在需要時(shí)訪問(wèn)自己需要的內(nèi)容。

　　這項(xiàng)看似簡(jiǎn)單的服務(wù)解決了一個(gè)重要的需求——隨著團(tuán)隊(duì)規(guī)模的擴(kuò)大，越來(lái)越多的員工需要訪問(wèn)越來(lái)越多的服務(wù)，而這些服務(wù)的審批可能需要幾天、幾周甚至幾個(gè)月的時(shí)間。當(dāng)然可以簡(jiǎn)化審批流程，但最簡(jiǎn)單的方法往往不是最正確的方法，因?yàn)檫@可能帶來(lái)安全問(wèn)題。如果涉及到關(guān)鍵業(yè)務(wù)，在幾個(gè)小時(shí)內(nèi)回復(fù)客戶還是幾天內(nèi)回復(fù)客戶將會(huì)帶來(lái)完全不同的結(jié)果。

　　許多公司至少使用幾十個(gè)應(yīng)用程序來(lái)處理不同團(tuán)隊(duì)的關(guān)鍵服務(wù)、協(xié)作或客戶數(shù)據(jù)，每個(gè)應(yīng)用程序都有幾十個(gè)不同的潛在角色或子權(quán)限，這很容易失控。

　　而Indent，就是為團(tuán)隊(duì)提供最簡(jiǎn)單、最安全的方式來(lái)實(shí)現(xiàn)民主化的訪問(wèn)管理和問(wèn)責(zé)制度。

　　2023年，在大模型興起之后，Indent將數(shù)據(jù)安全的業(yè)務(wù)順勢(shì)拓展到了大模型領(lǐng)域。

　　2024年3月，Indent聯(lián)合創(chuàng)始人、CEO阿福德·馬丁發(fā)表了一篇文章《價(jià)值百萬(wàn)美元的人工智能工程問(wèn)題》。

　　他提到，模型權(quán)重、偏差和訓(xùn)練它們所用的數(shù)據(jù)是人工智能皇冠上的明珠，是公司最寶貴的資產(chǎn)。對(duì)于開(kāi)發(fā)定制模型或微調(diào)現(xiàn)有模型的公司來(lái)說(shuō)，他們會(huì)在工程時(shí)間、計(jì)算能力和訓(xùn)練數(shù)據(jù)收集上投入數(shù)百萬(wàn)美元。

　　但是，大語(yǔ)言模型存在泄露的風(fēng)險(xiǎn)。他以Llama舉例，Meta一開(kāi)始并沒(méi)有考慮將Llama完全開(kāi)源，而是做出一些限制。然而，有人卻將其泄露在了4chan 網(wǎng)站上。Meta不得不順?biāo)�推舟，將Llama完全開(kāi)源了。

　　因此，Indent針對(duì)性地提出了模型權(quán)重、訓(xùn)練數(shù)據(jù)、微調(diào)數(shù)據(jù)的安全解決方案。

　　2.與Altman淵源頗深

　　Indent與OpenAI雙方的淵源由來(lái)已久。

　　Indent有兩位聯(lián)合創(chuàng)始人，阿福德·馬丁(Fouad Matin)擔(dān)任CEO，丹·吉萊斯皮(Dan Gillespie)擔(dān)任CTO。

　　阿福德·馬丁是一位工程師、隱私倡導(dǎo)者，也是街頭服飾愛(ài)好者，他之前在 Segment 公司從事數(shù)據(jù)基礎(chǔ)設(shè)施產(chǎn)品的工作。2016年，他與別人共同創(chuàng)立了 VotePlz，這是一個(gè)非黨派的選民注冊(cè)和投票率非營(yíng)利組織。他熱衷于幫助人們找到令人滿意的工作，此前他創(chuàng)立了一家通過(guò) YC W16 計(jì)劃的推薦招聘公司。

　　丹·吉萊斯皮是*個(gè)非谷歌員工管理 Kubernetes 發(fā)布的人，并且自項(xiàng)目早期以來(lái)一直是定期貢獻(xiàn)者。作為他進(jìn)入 K8s 的起點(diǎn)，他是一家協(xié)作部署工具的聯(lián)合創(chuàng)始人兼 CTO(YC W16)，在那里他構(gòu)建了 Minikube。他的公司被 CoreOS 收購(gòu)，后來(lái) CoreOS 成為了 RedHat 的一部分，隨后又成為IBM的一部分。

　　通過(guò)履歷可以看出，兩人早年間與YC關(guān)系緊密。而薩姆·奧爾特曼在2011年投入了創(chuàng)業(yè)孵化器YC，并2014年擔(dān)任YC總裁，直到2019年擔(dān)任OpenAI CEO。

　　2021年12月21日，Indent宣布獲得560萬(wàn)美元的種子輪融資，領(lǐng)投方包括Shardul Shah(Index Ventures合伙人)、Kevin Mahaffey(Lookout 首席技術(shù)官)和Swift Ventures，而跟投方的豪華陣容中，就包括薩姆·奧爾特曼以及他的弟弟杰克·奧爾特曼(Jack Altman)。

　　圖片來(lái)自Indent網(wǎng)站

　　雙方緊密的關(guān)系，以及日后Indent涉足大模型安全領(lǐng)域，為Indent并入OpenAI做好了鋪墊。

　　3.Indent并非加入超級(jí)對(duì)齊

　　將Indent一整個(gè)團(tuán)隊(duì)招募至麾下，是OpenAI對(duì)于超級(jí)對(duì)齊團(tuán)隊(duì)的補(bǔ)充嗎?答案是否定的，因?yàn)檫@是兩個(gè)完全不同的團(tuán)隊(duì)。

　　OpenAI的安全團(tuán)隊(duì)實(shí)際上一共有三個(gè)：安全系統(tǒng)團(tuán)隊(duì)（Safety Systems)、準(zhǔn)備團(tuán)隊(duì)（Preparedness)、超級(jí)對(duì)齊團(tuán)隊(duì)（Superalignment)。

　　三個(gè)團(tuán)隊(duì)的分工為：安全系統(tǒng)團(tuán)隊(duì)關(guān)注當(dāng)前模型的部署風(fēng)險(xiǎn)，專注于減少對(duì)現(xiàn)有模型和ChatGPT等產(chǎn)品的濫用;準(zhǔn)備團(tuán)隊(duì)專注于前沿模型的安全評(píng)估;超級(jí)對(duì)齊團(tuán)隊(duì)專注于協(xié)調(diào)超級(jí)智能，為在更遙遠(yuǎn)的未來(lái)?yè)碛械某��?jí)智能模型的安全性奠定基礎(chǔ)。

　　圖片來(lái)自O(shè)penAI網(wǎng)站

　　安全系統(tǒng)團(tuán)隊(duì)是一個(gè)相對(duì)成熟的團(tuán)隊(duì)，分為四個(gè)子系統(tǒng)：安全工程、模型安全研究、安全推理研究、人機(jī)交互，匯集了一支多樣化的專家團(tuán)隊(duì)，包括工程、研究、政策、人工智能協(xié)作和產(chǎn)品管理等領(lǐng)域的專家。OpenAI表示這種人才組合已被證明非常有效，使OpenAI能夠接觸到從預(yù)訓(xùn)練改進(jìn)和模型微調(diào)到推理時(shí)監(jiān)控和緩解的廣泛解決方案范圍。

　　準(zhǔn)備團(tuán)隊(duì)對(duì)前沿人工智能風(fēng)險(xiǎn)的研究遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到需要達(dá)到的水平。為了彌補(bǔ)這一差距并系統(tǒng)化安全思維，OpenAI在2023年12月發(fā)布了一個(gè)名為“準(zhǔn)備框架”的初始版本，它描述了OpenAI跟蹤、評(píng)估、預(yù)測(cè)和防范日益強(qiáng)大的模型帶來(lái)的災(zāi)難性風(fēng)險(xiǎn)的過(guò)程。

　　圖片來(lái)自O(shè)penAI

　　OpenAI還表示將成立一個(gè)專門的團(tuán)隊(duì)來(lái)監(jiān)督技術(shù)工作，并建立安全決策的運(yùn)營(yíng)結(jié)構(gòu)。準(zhǔn)備團(tuán)隊(duì)將推動(dòng)技術(shù)工作，以檢查前沿模型能力的極限、進(jìn)行評(píng)估并綜合報(bào)告。OpenAI正在創(chuàng)建一個(gè)跨職能的安全咨詢小組，以審查所有報(bào)告并同時(shí)將其發(fā)送給領(lǐng)導(dǎo)層和董事會(huì)。雖然領(lǐng)導(dǎo)層是決策者，但董事會(huì)有權(quán)推翻決定。

　　超級(jí)對(duì)齊團(tuán)隊(duì)是2023年7月5日剛剛成立的新團(tuán)隊(duì)，旨在在2027年之前用科學(xué)與技術(shù)來(lái)引導(dǎo)和控制比人類聰明得多的人工智能系統(tǒng)。OpenAI宣稱會(huì)用公司20%的計(jì)算資源投入這項(xiàng)工作。

　　關(guān)于超級(jí)對(duì)齊還沒(méi)有明確可行的解決方案。OpenAI的研究方法是，用已經(jīng)對(duì)齊的小模型來(lái)監(jiān)督大模型，然后通過(guò)逐步擴(kuò)大小模型的規(guī)模來(lái)逐步對(duì)齊超級(jí)智能，并對(duì)整個(gè)流程進(jìn)行壓力測(cè)試。

　　OpenAI超級(jí)對(duì)齊團(tuán)隊(duì)由伊利亞·蘇茨克維和簡(jiǎn)·雷克共同領(lǐng)導(dǎo)，但兩人現(xiàn)在已經(jīng)離職。據(jù)媒體報(bào)道，在兩人離職后，超級(jí)對(duì)齊團(tuán)隊(duì)已經(jīng)分崩離析。

　　Indent團(tuán)隊(duì)并非加入超級(jí)團(tuán)隊(duì)。根據(jù)Indent團(tuán)隊(duì)在X上發(fā)布的信息，他們加入的是OpenAI的準(zhǔn)備團(tuán)隊(duì)，負(fù)責(zé)前沿模型的準(zhǔn)備到客戶的數(shù)據(jù)管理。

　　圖片來(lái)自X

　　這意味著OpenAI正在加大前沿模型的投入。

　　近期在法國(guó)巴黎舉辦的VivaTech峰會(huì)上，OpenAI開(kāi)發(fā)者體驗(yàn)主管Romain Huet展示的PPT里，透露了OpenAI的下一款新模型“GPT Next”將在2024年晚些時(shí)候發(fā)布。

　　圖片為OpenAI在VivaTech分享的PPT，來(lái)自X

　　OpenAI接下來(lái)的工作重心，很可能就在這款新模型的能力與安全上。

　　4.OpenAI的“原罪”

　　超級(jí)團(tuán)隊(duì)的解散、Indent團(tuán)隊(duì)的加入，如果把一系列相關(guān)事件串在一起，只能得出一個(gè)結(jié)論：OpenAI正在加速追求模型的落地與商業(yè)化。

　　這一點(diǎn)，在超級(jí)對(duì)齊團(tuán)隊(duì)主管簡(jiǎn)·雷克的離職聲明中已經(jīng)公開(kāi)化了。

　　簡(jiǎn)·雷克認(rèn)為應(yīng)該把更多的帶寬花在為下一代模型做準(zhǔn)備上，包括安全、監(jiān)控、準(zhǔn)備、對(duì)抗穩(wěn)健性、超一致性、機(jī)密性、社會(huì)影響和相關(guān)主題，但過(guò)去幾個(gè)月他的團(tuán)隊(duì)“卻為計(jì)算資源苦苦掙扎”——連最初承諾的20%的計(jì)算資源也不能滿足了。

　　他認(rèn)為，OpenAI的安全文化與流程已經(jīng)不再受重視，而光鮮的產(chǎn)品備受青睞。

　　圖片來(lái)自X

　　對(duì)此，在OpenAI總裁格雷格·布羅克曼(Greg Brockman)長(zhǎng)篇大論的回應(yīng)里有這么一句話：

　　我們認(rèn)為這樣的(越來(lái)越強(qiáng)大的)系統(tǒng)將對(duì)人們非常有益和有幫助，并且有可能安全地交付它們，但這需要大量的基礎(chǔ)工作。這包括在訓(xùn)練時(shí)它們連接到什么的周到考慮，解決可擴(kuò)展監(jiān)督等難題的解決方案，以及其他新型的安全工作。在我們朝著這個(gè)方向構(gòu)建時(shí)，我們還不確定何時(shí)能達(dá)到我們的安全標(biāo)準(zhǔn)來(lái)發(fā)布產(chǎn)品，如果這導(dǎo)致發(fā)布時(shí)間表推遲，那也沒(méi)關(guān)系。

　　圖片來(lái)自X

　　前面提到，OpenAI在成立超級(jí)對(duì)齊團(tuán)隊(duì)時(shí)，把引導(dǎo)與控制比人類聰明得多的超級(jí)智能系統(tǒng)的時(shí)間表設(shè)立在了2027年。格雷格·布羅克曼的回應(yīng)相當(dāng)于更改了這一時(shí)間表——“如果延遲發(fā)布，也沒(méi)有關(guān)系”。

　　需要強(qiáng)調(diào)的是，OpenAI并非不重視安全，但顯然它對(duì)安全的重視需要加上一個(gè)條件——一切安全都要以可落地的模型、可商業(yè)化的產(chǎn)品作為前提。顯然，在資源相對(duì)有限的前提下，即使是OpenAI也要做一個(gè)取舍。

　　而薩姆·奧爾特曼傾向選擇做一個(gè)更純粹的商人。

　　安全與商業(yè)化是矛盾的嗎?對(duì)于世界上其他的所有公司，這并非一個(gè)矛盾。但OpenAI就是那一個(gè)例外。

　　2023年3月，在GPT-4發(fā)布后，埃隆·馬斯克曾發(fā)出過(guò)靈魂拷問(wèn)：“我很困惑，我捐贈(zèng)了一億美元的非營(yíng)利性組織，怎么就變成了一個(gè)市值300億美元的營(yíng)利組織?”

　　在OpenAI宮斗事件發(fā)生時(shí)，外界已經(jīng)或多或少猜測(cè)到了矛盾的導(dǎo)火索就是由此產(chǎn)生。今年3月8日，調(diào)查結(jié)果出爐后，OpenAI在官方通告中除了表示薩姆·奧爾特曼回歸之外，還宣布了公司會(huì)對(duì)治理結(jié)構(gòu)做出重要改進(jìn)，包括“采用一套新的公司治理準(zhǔn)則”、“加強(qiáng) OpenAI 的利益沖突政策”等。

　　只是，直到OpenAI的超級(jí)團(tuán)隊(duì)的解散，我們也沒(méi)有等到新的政策。這可能才是很多離職員工對(duì)OpenAI失望的原因吧。