科技云報道原創(chuàng)。
在數(shù)據(jù)標注行業(yè)流行著一句話:“有多少智能,就有多少人工”。
由于需要標注的數(shù)據(jù)規(guī)模龐大且成本較高,一些互聯(lián)網(wǎng)巨頭及一些AI公司很少自己設有標注團隊,大多交給第三方數(shù)據(jù)服務公司或者數(shù)據(jù)標注團隊來做。
這也衍生出了專為AI而生的人力密集型的數(shù)據(jù)標注產(chǎn)業(yè)鏈。
例如,眾包平臺Mechanical Turk上的20萬名AI數(shù)據(jù)標注員,就分布在人力成本低廉的非洲和東南亞。印度甚至涌現(xiàn)了不少數(shù)據(jù)標注村,他們?yōu)槊绹?、歐洲、澳洲和亞洲的AI公司服務。
在中國,上百萬名 AI 數(shù)據(jù)標注員分布在貴州、山西、山東、河南等省份的二三線城市,并逐步向人力成本更低的縣城滲透。
但諷刺的是,數(shù)據(jù)標注員正在被自己服務的AI所替代,已經(jīng)有企業(yè)開始采用AI進行數(shù)據(jù)標注。
據(jù)彭博社1月14日報道,蘋果公司將關閉圣地亞哥一個與人工智能業(yè)務相關的121人團隊,這將導致數(shù)據(jù)標注員面臨被解雇的風險。
那么,人工數(shù)據(jù)標注能否真的被AI全面替代,我們又是否會進入“AI訓練AI”的時代呢?
AI自動化標注崛起
訓練一個高效的大模型必不可少的是高質(zhì)量的數(shù)據(jù)。OpenAI正是借助基于人類標注的數(shù)據(jù),才一舉從眾多大模型企業(yè)中脫穎而出,讓ChatGPT成為了大模型競爭中階段性的勝利者。
但同時,OpenAI也因為使用非洲廉價的人工進行數(shù)據(jù)標注,被各種媒體口誅筆伐。
對于數(shù)據(jù)標注,一定需要找到一個新的方法,才能避免大量使用人工標注帶來的包括道德風險在內(nèi)的其他潛在麻煩。
因此,全球各大AI巨頭和大型獨角獸,都在進行數(shù)據(jù)標注自動化的探索。
蘇黎世大學研究發(fā)現(xiàn),ChatGPT平均每個標注成本低于0.003美元,比眾包平臺便宜20倍;在相關性、立場、主題等任務中,ChatGPT也是以4:1的效率優(yōu)勢“碾壓”人類。
來自卡耐基梅隆大學、耶魯大學和加州大學伯克利分校的一組研究人員更是發(fā)現(xiàn):GPT-4在數(shù)據(jù)集標注表現(xiàn)上優(yōu)于他們雇用的最熟練的眾包員工。
這一突破為研究人員節(jié)約了超過50 萬美元和2萬個工時。
論文發(fā)出后,有網(wǎng)友評論稱“這是直接端了平臺工作者的飯碗”。
目前在自動駕駛領域,已經(jīng)有車企開始采用AI進行自動化標注。
例如,特斯拉一直在積極推進自動化標注的進展,從2018至今,特斯拉的標注經(jīng)歷了4個階段:
第1階段(2018):只有純?nèi)斯さ亩S的圖像標注,效率非常低;
第2階段(2019):開始有3D label,但是是單趟的人工的;
第3階段(2020):采用BEV空間進行標注,重投影的精度明顯降低;
第4階段(2021):采用多趟重建去進行標注,精度、效率、拓撲關系都達到了極高的水準。
2022年6月,特斯拉裁撤了200名為特斯拉標注視頻以改進輔助系統(tǒng)的美國員工。
目前,特斯拉的自動標注能力大幅改善,標注10000個不到60秒的視頻,大模型只需要運行一周即可,而同樣的工作量人工標注卻需要幾個月的時間。
在國內(nèi),理想汽車董事長兼CEO李想曾在2023年4月份舉行的一場論壇上表示,當理想汽車使用軟件2.0的大模型,通過訓練的方式進行自動化標定,過去需要用一年做的事情,基本上3個小時就能完成,效率是人的1000倍。
不僅如此,自動化標注工具也在飛速發(fā)展。
國外AI初創(chuàng)公司refuel推出了一個名為Autolabel的開源工具,可以使用市面上主流的大模型來對數(shù)據(jù)集進行標注。
該公司的測試結(jié)果稱,Autolabel的標注效率相比人工標注提高了100倍,成本僅為人工成本的1/7。
國內(nèi)一家名為視智未來的公司也在打造標注大模型。他們表示,有些項目已經(jīng)用GPT交付了,準確率方面達到了80%多,與人工接近。
不得不說,在AI面前,無論成本還是效率,人類可以說是毫無優(yōu)勢。
RLAIF:AI標注訓練方法
話說回來,ChatGPT是怎么搶了數(shù)據(jù)標注員的“飯碗”的?
以往數(shù)據(jù)標注員要干的事情,是將標注好的數(shù)據(jù)用作AI模型的訓練集或評估標準,這個過程叫做RLHF(Reinforcement Learning from Human Feedback),即基于人類反饋的強化學習。
RLHF也是被ChatGPT、Bard和LLaMA等新興大模型帶火的模型訓練方法,它最大的好處就在于能夠?qū)⒛P秃腿祟惖钠脤R,讓大模型給出更符合人類表達習慣的回答。
不過發(fā)布在arXiv的一份論文表明,這份看起來只有人類能做的工作,也能被AI取代。AI取代了RLHF中的“H”,誕生了一種叫做“RLAIF”的訓練方法。
這份由谷歌研究團隊發(fā)布的論文顯示,RLAIF能夠在不依賴數(shù)據(jù)標注員的情況下,表現(xiàn)出能夠與RLHF相媲美的訓練結(jié)果——
如果拿傳統(tǒng)的監(jiān)督微調(diào)(SFT)訓練方法作為基線比較,比起SFT,1200個真人“評委”對RLHF和RLAIF給出答案的滿意度都超過了70%(兩者差距只有2%);另外,如果只比較RLHF和RLAIF給出的答案,真人評委們對兩者的滿意度也是對半分。
具體而言,研究人員主要就“根據(jù)一段文字生成摘要”這一任務,展示了RLAIF的標記方法。
首先是序言(Preamble),用來介紹和描述手頭任務的說明。給定一段文本和兩個可能的摘要,輸出1或2來指示哪個摘要最符合上述定義的連貫性、準確性、覆蓋范圍和整體質(zhì)量。
其次是樣本示例(1-Shot Exemplar)。給到一段文本,接著給到兩個摘要,以及“摘要1更好”的偏好判斷,讓AI學著這個示例對接下來的樣本做標注。
再次就是給出所要標注的樣本(Sample to Annotate),包括一段文本和一對需要標記的摘要。
最后是結(jié)尾,用于提示模型的結(jié)束字符串。
就像人類標注員會給不同的回答打分一樣(比如滿分5分),AI也會依據(jù)偏好給每個摘要打分,這也是AI和人類標注員發(fā)揮作用的關鍵環(huán)節(jié),主要是用于訓練獎勵模型(RM)并生成反饋內(nèi)容。
論文介紹到,為了讓RLAIF方法中AI標注更準確,研究者也加入了其他方法以獲取更好的回答。
譬如為了避免隨機性問題,會進行多次選擇,其間還會對選項的順序進行交換;此外還用到了思維鏈(CoT)推理,來進一步提升與人類偏好的對齊程度。
需要說明的是,谷歌的這篇論文也是第一個證明了RLAIF在某些任務上能夠產(chǎn)生與RLHF相當?shù)挠柧毿Ч难芯?。這意味著不用人類指點,AI也能訓練自己的同類了。
該論文的發(fā)布很快收獲了不少關注。比如有從業(yè)者評論道,等到GPT-5可能就不需要人類數(shù)據(jù)標注員了。
盡管這項工作凸顯了RLAIF的潛力,但依然有一些局限性:
首先,這項研究僅探討了摘要總結(jié)任務,關于其他任務的泛化性還需要進一步研究。
其次,研究人員沒有評估LLM推理在經(jīng)濟成本上是否比人工標注更有優(yōu)勢。
此外,還有一些有趣的問題值得研究,例如RLHF與RLAIF相結(jié)合是否可以優(yōu)于單一的一種方法,使用LLM直接分配獎勵的效果如何,改進AI標注器對齊是否會轉(zhuǎn)化為改進的最終策略, 以及是否使用LLM與策略模型大小相同的標注器可以進一步改進策略(即模型是否可以“自我改進”)。
重人力轉(zhuǎn)向重技術
盡管AI自動化標注技術在快速發(fā)展,但第三方數(shù)據(jù)標注服務商并沒那么樂觀。
河南一家眾包平臺的項目經(jīng)理認為,自動化標注還不能取代60%以上的標注需求,只能作為輔助標注工具處理單一或特定數(shù)據(jù),提升人效。
另一家數(shù)據(jù)標注公司的產(chǎn)品經(jīng)理認為,自動化標注只能過濾簡單的基礎數(shù)據(jù),還不能像人一樣從復雜有爭議的場景中精確識別物體。
如果說簡單的標注可以用AI來完成,那么人工參與的將是難度更高的數(shù)據(jù)篩選和標準工作,這也意味著數(shù)據(jù)標注行業(yè)的門檻將會不斷提高。
作為對照,早在ChatGPT走紅前,OpenAI就組建十幾位博士生來“打標”。
而百度在??诘臄?shù)據(jù)標注基地擁有數(shù)百名專職大模型數(shù)據(jù)標注師,標注師的本科率達到100%,需要具備一定的知識儲備和邏輯分析能力。
不過大家也認同,未來的數(shù)據(jù)標注將從重人力轉(zhuǎn)向重技術的趨勢。
一家眾包平臺的創(chuàng)始人在和同行交流時說,未來不能堆人力,要有研發(fā)能力。也有從業(yè)者認為,人工標注對于泛化仍然極其重要,而RLHF+RLAIF混合方法比任何單一方法都要好。
總之,不是被同行“卷死”,就是被技術“卷死”。數(shù)據(jù)標注公司已做好了隨時裁員的準備,同時向做自動化標注工具的方向發(fā)展。
【關于科技云報道】
專注于原創(chuàng)的企業(yè)級內(nèi)容行家——科技云報道。成立于2015年,是前沿企業(yè)級IT領域Top10媒體。獲工信部權(quán)威認可,可信云、全球云計算大會官方指定傳播媒體之一。深入原創(chuàng)報道云計算、大數(shù)據(jù)、人工智能、區(qū)塊鏈等領域。