虎博科技發(fā)布開源大模型TigerBot 效果逼近OpenAI的96%

　　摘要：經(jīng)過3個(gè)月的“隱蔽模式”研發(fā)，虎博科技很自豪的發(fā)布并開源自研的大模型TigerBot，在經(jīng)典公開NLP語料測試中，表現(xiàn)逼近OpenAI同等大小模型的96%，并在推理式問答等個(gè)別領(lǐng)域超越。這只是第一版MVP。

　　引言：2022年年底，ChatGPT的發(fā)布震撼了整個(gè)人工智能領(lǐng)域。這種震撼在虎博公司創(chuàng)始人陳燁心中，也是他在人工智能領(lǐng)域從業(yè)20年以來從未有過的。“此等一生難遇一次的大機(jī)遇，是吾輩之幸事!”

　　認(rèn)知：與其說認(rèn)知，陳燁更相信內(nèi)心深處的那種年少時(shí)的沖動(dòng);他認(rèn)為，推進(jìn)人類文明的技術(shù)變革往往源于本能，直覺和偶然性，基于自由的創(chuàng)新精神。這次大模型的突破，將會(huì)是顛覆式的長周期的;過早和過于理性的探討產(chǎn)品、應(yīng)用、場景和商業(yè)化或許是沒有必要的。大模型技術(shù)正如一門新興學(xué)科，未來的可能性超過我們每個(gè)人的想象，我們正處在洶涌創(chuàng)新的初期。而這種原創(chuàng)的突破，正是令陳燁和團(tuán)隊(duì)最興奮的。

　　技術(shù)路徑：TigerBot 是一個(gè)多語言多任務(wù)的大規(guī)模語言模型(LLM)。根據(jù) OpenAI InstructGPT 論文在公開 NLP 數(shù)據(jù)集上的自動(dòng)評測，TigerBot-7B 達(dá)到 OpenAI 同樣大小模型的綜合表現(xiàn)的 96%，并且這只是我們的 MVP。我們在 GPT和BLOOM 基礎(chǔ)上，在模型架構(gòu)和算法上做了如下優(yōu)化：

　　1. 指令完成監(jiān)督微調(diào)的創(chuàng)新算法以獲得更好的可學(xué)習(xí)型(learnability);

　　2. 運(yùn)用 ensemble 和 probabilistic modeling 的方法實(shí)現(xiàn)更可控的事實(shí)性(factuality)和創(chuàng)造性(generativeness);

　　3. 在并行訓(xùn)練上，我們突破了 deep-speed 等主流框架中若干內(nèi)存和通信問題，使得在千卡環(huán)境下數(shù)月無間斷;

　　4. 對中文語言的更不規(guī)則的分布，從 tokenizer 到訓(xùn)練算法上做了更適合的算法優(yōu)化。

　　執(zhí)行：虎博團(tuán)隊(duì)在大模型研發(fā)上致敬了硅谷90年代經(jīng)典的“車庫創(chuàng)業(yè)”模式，團(tuán)隊(duì)開始只有5個(gè)人，coding & coke, day & night;而創(chuàng)始人本人正是 chief coder & chief scientist。我們擁抱開源，在公開文獻(xiàn)和全世界最優(yōu)秀的開源模型和代碼基礎(chǔ)上，用一個(gè)月時(shí)間實(shí)現(xiàn)了自研的全棧代碼，當(dāng)時(shí)模型表現(xiàn)達(dá)到OpenAI可比模型的八成。這給了陳燁和團(tuán)隊(duì)很大的信心，并開始在事實(shí)性、創(chuàng)造性和思維鏈這些底層研究上不斷突破，形成了算法，工程，數(shù)據(jù)的高效率迭代節(jié)奏;粗略統(tǒng)計(jì)，陳燁帶領(lǐng)團(tuán)隊(duì)在過去3個(gè)月時(shí)間內(nèi)實(shí)驗(yàn)次數(shù)超過3000次，也就是每天至少三次實(shí)驗(yàn)。據(jù)悉，虎博內(nèi)部已經(jīng)迭代出同等大小表現(xiàn)優(yōu)于OpenAI的模型。

　　開源：我們擁抱開源，因?yàn)橄嘈趴茖W(xué)創(chuàng)新無國界無階層。雖然這次發(fā)布產(chǎn)品依然只是我們的MVP，我們很自豪將我們階段性成果開源給大模型社區(qū)：

　　1. 模型：TigerBot-7B-sft, TigerBot-7B-base (表現(xiàn)優(yōu)于同等可比的OpenAI和BLOOM)，TigerBot-180B-research (或是迄今最大的Chat LLM);

　　2. 代碼：基本訓(xùn)練和推理代碼，包括雙卡推理 180B 模型的量化和推理代碼;

　　3. 數(shù)據(jù)：預(yù)訓(xùn)練 100G(或是業(yè)內(nèi)最大質(zhì)量最優(yōu)之一的開源預(yù)訓(xùn)練數(shù)據(jù))， 監(jiān)督微調(diào) 1G 或 100 萬條數(shù)據(jù)。

　　想要使用Tigerbot開源模型的開發(fā)者可以登錄https://github.com/TigerResearch/TigerBot

　　生態(tài)：陳燁認(rèn)為大模型是人工智能時(shí)代的基礎(chǔ)設(shè)施，而生態(tài)的發(fā)展能反哺大模型的能力。因此，虎博也發(fā)布開源大模型應(yīng)用開發(fā)的全套API ：

　　1. (chat, plugin, finetune) API’s, 讓用戶能在半小時(shí)內(nèi)無代碼的訓(xùn)練和使用專屬于自己的大模型和數(shù)據(jù);

　　2. 領(lǐng)域數(shù)據(jù)：涵蓋金融，法律，百科，廣邀大模型應(yīng)用開發(fā)者，一起打造中國的世界級的應(yīng)用。

　　產(chǎn)品體驗(yàn)地址： https://www.tigerbot.com/chat ，登錄即可申請邀請碼 ，感受逼近OpenAI表現(xiàn)的國產(chǎn)大模型。