“兩張人眼看上去一模一樣的照片，機器人讀取后為何會攻擊其中一張圖呢？因為不正常的照片中被嵌入了特殊的噪聲，人工智能產(chǎn)品讀取了帶有攻擊性的信息。”“同一張禁止標(biāo)記，被放入了不同信息，人工智能產(chǎn)品讀取一張是正常的停止標(biāo)簽，另一個則是綠燈。”上?？茖W(xué)院直屬單位上海計算機軟件技術(shù)開發(fā)中心主任蔡立志介紹道，以上就是上海市生成式人工智能質(zhì)量檢驗檢測中心(質(zhì)檢中心)所提供的檢測服務(wù)之一。

7月20日下午，走入剛剛成立的上海市生成式人工智能質(zhì)量檢驗檢測中心(質(zhì)檢中心)內(nèi)，深入了解當(dāng)下最火熱的生成式人工智能如何保障可靠可信，為人工智能產(chǎn)業(yè)的健康發(fā)展保駕護航。

防止人工智能“變壞”

做產(chǎn)業(yè)健康診斷師

近年來，隨著生成式人工智能技術(shù)的快速發(fā)展，為經(jīng)濟社會發(fā)展帶來新機遇的同時，也產(chǎn)生了傳播虛假信息、侵害個人信息權(quán)益(換臉侵害明星肖像、合成語音進行詐騙等)、數(shù)據(jù)安全和偏見歧視等問題。

在此背景下，上海首個生成式人工智能質(zhì)檢中心在6月8日正式批籌。該中心由上海計算機軟件技術(shù)開發(fā)中心籌建，上海市人工智能行業(yè)協(xié)會推薦指導(dǎo)，提供人工智能質(zhì)量“一站式”測評服務(wù)，面向生成式人工智能及其涉及的計算機視覺、自然語言處理、AI內(nèi)容生成等領(lǐng)域，打造人工智能測評第三方服務(wù)新模式，聚焦生成式人工智能系統(tǒng)的邏輯推理能力、生成內(nèi)容語義和諧性、功能有效性、性能、安全隱私風(fēng)險等方面，開展系統(tǒng)檢測、風(fēng)險評估、內(nèi)容鑒別等專業(yè)服務(wù)。

人工智能發(fā)展不同于此前的軟件時代，需要不斷開放數(shù)據(jù)，不斷學(xué)習(xí)，才能不斷進步，走得更好。而開源開放也就意味著產(chǎn)生更多潛在的“危險”。蔡立志說：“就像孩子一樣，不正確的教育方式會教壞孩子，我們就是防止人工智能產(chǎn)品‘變壞’，阻止不良數(shù)據(jù)導(dǎo)入等。”

據(jù)悉，上海計算機軟件技術(shù)開發(fā)中心去年就推進了300多個人工智能質(zhì)檢項目，并在業(yè)界取得了良好的口碑。

“與傳統(tǒng)的檢測以發(fā)現(xiàn)不合格為首要任務(wù)不同，在人工智能時代，新設(shè)立的生成式人工智能質(zhì)量檢驗檢測中心不僅僅是守底線，更多的是引導(dǎo)產(chǎn)業(yè)向健康的方向發(fā)展。”上海計算機軟件技術(shù)開發(fā)中心副主任宋俊典解釋說，這就是新型產(chǎn)業(yè)檢測中心的不同之處。

近年來，在上海科學(xué)院的整體部署下，上海軟件中心積極布局并開展了人工智能應(yīng)用、人工智能治理、人工智能測評等技術(shù)研究與第三方技術(shù)服務(wù)。陸續(xù)參與人工智能國際、國家標(biāo)準(zhǔn)的研制，是國家信標(biāo)委SC42人工智能分委會首批單位會員，參與編寫了《中國人工智能標(biāo)準(zhǔn)化白皮書(2021)》，完成了《人工智能 深度合成圖像系統(tǒng)技術(shù)規(guī)范》《人工智能 深度學(xué)習(xí)算法評估規(guī)范》《人工智能 計算機視覺系統(tǒng)測評規(guī)范》等30余項標(biāo)準(zhǔn)研制。

“我們還在牽頭制定多項新標(biāo)準(zhǔn)，生成式只是人工智能的一部分，未來我們還會探索工業(yè)智能質(zhì)檢、智慧醫(yī)療等領(lǐng)域。”蔡立志表示。

給狂飆的生成式人工智能

系上“安全帶”

生成式人工智能的狂飆突進，大模型時代已然降臨。在“百模大戰(zhàn)”越戰(zhàn)越酣之時，大模型其內(nèi)生及衍生安全威脅也愈演愈烈，數(shù)據(jù)泄露、幻想、生產(chǎn)歧視、排斥和有害內(nèi)容等安全問題層出不窮。如何將制約大模型應(yīng)用發(fā)展的“絆腳石”變?yōu)?ldquo;壓艙石”？

以自動駕駛領(lǐng)域而言，自動駕駛需要通過真實世界的數(shù)據(jù)來訓(xùn)練、測試和驗證模型算法的安全性和準(zhǔn)確性，其過程需要大量數(shù)據(jù)支持和復(fù)雜的駕駛環(huán)境。然而，讓汽車通過實際道路測試在道路上可能遇到的每一個場景是不現(xiàn)實的，AIGC(人工智能生產(chǎn)內(nèi)容)正可以用于模擬各種駕駛場景。

在上海市生成式人工智能質(zhì)量檢驗檢測中心(質(zhì)檢中心)內(nèi)，檢測平臺正在進行“自動駕駛魯棒性檢測”。魯棒測試是對各個模塊的功能進行容錯性的測試，檢測AI模型或者系統(tǒng)在異常輸入和苛刻環(huán)境條件下能否保持正常工作。

“自動駕駛包括車道、紅綠燈檢測等模塊，我們基于視覺去攻擊自動駕駛系統(tǒng)的感知算法，針對每一個模塊進行仿真檢測。”質(zhì)檢中心檢測工程師馬澤宇說。

自動駕駛正快速在上海發(fā)展，如《浦東新區(qū)無駕駛?cè)酥悄芫W(wǎng)聯(lián)汽車創(chuàng)新應(yīng)用規(guī)定》以及相關(guān)實施細則的落實，上海浦東新區(qū)自動駕駛汽車已迎來了無人化階段，眾多企業(yè)正在加速產(chǎn)品的研發(fā)。業(yè)界專家認為，在人工智能領(lǐng)域建立質(zhì)檢中心，正是為了給狂飆的生成式人工智能系上“安全帶”。

截止到2023年7月8日，中國國內(nèi)推出了近100個大模型，如何客觀地評價、比較大模型及其他AIGC模型的性能，成為大模型應(yīng)用的關(guān)鍵一環(huán)。7月10日，國家網(wǎng)信辦等國家七部委聯(lián)合發(fā)文《生成式人工智能服務(wù)管理暫行辦法》，自2023年8月15日起施行，管理辦法明確了AIGC服務(wù)提供者的責(zé)任，包括信息源可信責(zé)任、生成內(nèi)容合法合規(guī)責(zé)任、申報安全評估及算法備案責(zé)任。管理辦法的落地亟需專業(yè)的第三方機構(gòu)提供人工智能質(zhì)量檢驗檢測服務(wù)。

據(jù)悉，新建立的質(zhì)檢中心將參考國內(nèi)外人工智能測評標(biāo)準(zhǔn)和前沿技術(shù)，建立人工智能檢驗檢測評價指標(biāo)體系等。“要讓企業(yè)的人工智能研發(fā)工作平穩(wěn)可持續(xù)發(fā)展，為人工智能產(chǎn)品的安全性保駕護航，讓老百姓在使用人工智能產(chǎn)品時用得放心，用得安心。”蔡立志說。