新華財(cái)經(jīng)北京6月29日電 在工業(yè)和信息化部科技司的指導(dǎo)下，由中國(guó)工業(yè)互聯(lián)網(wǎng)研究院牽頭成立的通用人工智能與工業(yè)融合創(chuàng)新中心6月28日發(fā)布大模型工業(yè)知識(shí)問(wèn)答測(cè)試結(jié)果，旨在助力人工智能深度賦能制造業(yè)，推動(dòng)工業(yè)經(jīng)濟(jì)高質(zhì)量發(fā)展。

圖：6月2日，中國(guó)工業(yè)互聯(lián)網(wǎng)研究院牽頭成立通用人工智能與工業(yè)融合創(chuàng)新中心，以上為相關(guān)領(lǐng)導(dǎo)、專家、企業(yè)家代表出席通用人工智能與工業(yè)融合創(chuàng)新中心成立儀式。

(相關(guān)資料圖)

參與報(bào)告論證的包括：中國(guó)工程院院士唐立新、王國(guó)棟，外籍院士焦禮成、張大慶、劉江川，ACM\IEEE Fellow 劉云浩、劉劼、張燕詠、楊錚等，共13位業(yè)界頂級(jí)專家。該報(bào)告針對(duì)包括電子設(shè)備制造、裝備制造、鋼鐵等八個(gè)細(xì)分行業(yè)，通過(guò)設(shè)置主觀、客觀、自主認(rèn)知和悖論等多方面問(wèn)題，進(jìn)行大模型測(cè)試。

圖：五位中外院士、八位ACM\IEEE Fellow、13位業(yè)界頂級(jí)專家聯(lián)合論證。

報(bào)告總體顯示，通用大模型在工業(yè)知識(shí)問(wèn)答領(lǐng)域整體處于探索階段，GPT4表現(xiàn)最為優(yōu)異。頭部國(guó)產(chǎn)大模型表現(xiàn)亮眼，整體水平與GPT3.5持平，多措并舉或可實(shí)現(xiàn)趕超。

圖：大模型工業(yè)領(lǐng)域知識(shí)問(wèn)答測(cè)評(píng)綜合結(jié)果

大模型對(duì)八個(gè)細(xì)分行業(yè)的知識(shí)問(wèn)答能力呈現(xiàn)出明顯差異性，其中，電子、裝備、鋼鐵和石化相對(duì)較好，采礦、電力、建材和紡織相對(duì)不足。

圖：大模型在電子、裝備、鋼鐵、采礦行業(yè)表現(xiàn)。

具體到國(guó)產(chǎn)大模型，文心一言、ChatGLM、360智腦在電子行業(yè)中表現(xiàn)優(yōu)異；文心一言、360智腦、ChatGLM在裝備行業(yè)評(píng)分領(lǐng)先；文心一言、ChatGLM、星火大模型在鋼鐵行業(yè)成績(jī)突出；文心一言、360智腦、星火大模型在采礦行業(yè)名列前茅。

圖： 大模型電力、石化、建材、紡織行業(yè)表現(xiàn)。

在電力行業(yè)，文心一言、ChatGLM、天工大模型居于前列；在石化行業(yè)文心一言、360智腦、從容大模型處于領(lǐng)先；在建材行業(yè)，文心一言、星火、ChatGLM評(píng)分較高；紡織行業(yè)ChatGLM、文心一言、360智腦優(yōu)勢(shì)明顯。

圖： 大模型自我知識(shí)盲區(qū)鑒別能力

圖： 大模型對(duì)輸入內(nèi)容的合理性判斷能力

報(bào)告顯示，在模型自我知識(shí)盲區(qū)鑒別能力與抗污染問(wèn)題分析能力方面，GPT4表現(xiàn)出較高的水平，能夠自己主動(dòng)承認(rèn)不理解的問(wèn)題以及識(shí)別出大部分的邏輯謬誤。相較而言，國(guó)產(chǎn)大模型提升空間較大。

下一步，通用人工智能與工業(yè)融合創(chuàng)新中心將在工業(yè)與信息化部科技司的指導(dǎo)下，周期性圍繞大模型知識(shí)能力、魯棒性、安全性等專題開(kāi)展后續(xù)評(píng)估工作，為政府提供決策依據(jù)，為產(chǎn)業(yè)提供賦能導(dǎo)向，為企業(yè)提供轉(zhuǎn)型方法，為用戶提供應(yīng)用參考，助力構(gòu)建通用人工智能賦能制造業(yè)新優(yōu)勢(shì)。

編輯：羅浩

關(guān)鍵詞：