近些年來,隨著人工智能(AI,Artificial Intelligence),尤其是非具身式AI技術(shù)的快速發(fā)展與應(yīng)用的發(fā)展,如生成式大語(yǔ)言模型的出現(xiàn)(DeepSeek、豆包等),使得AI火爆起來。人工智能(AI)系統(tǒng)的性能優(yōu)劣直接影響到其應(yīng)用效果和社會(huì)影響。為此下述將簡(jiǎn)要介紹AI系統(tǒng)的相關(guān)指標(biāo)參數(shù),為了客觀評(píng)估AI系統(tǒng)的特性與能力,考核指標(biāo),涵蓋技術(shù)性能、用戶體驗(yàn)、倫理合規(guī)等三個(gè)層面(其指標(biāo)層面及參數(shù)種類包括但并不限于),適用于不同應(yīng)用場(chǎng)景的評(píng)估需求。這些指標(biāo)及參數(shù)不僅幫助開發(fā)者優(yōu)化模型,還能為用戶提供參考。其重要性表現(xiàn)在:一是推動(dòng)技術(shù)優(yōu)化。通過評(píng)估指標(biāo)可以定位系統(tǒng)的優(yōu)勢(shì)與不足,為技術(shù)迭代提供方向。二是保障公平與透明。指標(biāo)體系的公開化有助于衡量AI系統(tǒng)是否偏向特定群體或數(shù)據(jù)分布。三是滿足多樣化應(yīng)用需求。不同應(yīng)用場(chǎng)景下對(duì)AI系統(tǒng)的需求各異,需要通過多維指標(biāo)體系來適配。
欲具體了解人工智能(AI)系統(tǒng)介紹的請(qǐng)進(jìn)入。
一、技術(shù)性能指標(biāo)的參數(shù)
人工智能(AI)系統(tǒng)的性能參數(shù)是AI最核心的考核指標(biāo),通常可包含以下幾維度,并可以看出各維度均采用是統(tǒng)計(jì)學(xué)的參數(shù):
1、模型準(zhǔn)確性
模型準(zhǔn)確性是衡量AI模型基于數(shù)據(jù)做出預(yù)測(cè)或決策的能力指標(biāo)。它使用于評(píng)估AI模型性能常用指標(biāo),可用于比較不同模型的性能或評(píng)估特定模型對(duì)于給定任務(wù)的有效性。模型準(zhǔn)確性可以從下述四個(gè)方面來考量,每個(gè)方面又有相關(guān)的指標(biāo)參數(shù)來度量:
一是分類任務(wù)方面。可選用的相關(guān)參數(shù)包括:準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1分?jǐn)?shù)(F1-Score)、ROC曲線下面積(AUC-ROC)、混淆矩陣等。這些指標(biāo)參數(shù)的含義、計(jì)算及特點(diǎn)可詳見下表1-1-1。
表 1-1-1:關(guān)于分類任務(wù)方面的指標(biāo)參數(shù)
二是回歸任務(wù)方面。可選用的相關(guān)參數(shù)包括:均方誤差(MSE)、平均絕對(duì)誤差(MAE)、決定系數(shù)(R2值)等。這些指標(biāo)參數(shù)的含義、計(jì)算及特點(diǎn)詳見下表1-1-2。
表 1-1-2:關(guān)于回歸任務(wù)方面的指標(biāo)參數(shù)
三是生成任務(wù)方面。主要用于自然語(yǔ)言處理(NLP)類模型和計(jì)算機(jī)視覺(CV)處理類模型等。可選用的相關(guān)參數(shù)包括:BLEU(Bilingual Evaluation Understudy)分?jǐn)?shù)、ROUGE(Recall-Oriented Understudy for Gisting Evaluation)分?jǐn)?shù)、困惑度(Perplexity)、基于R的約束圖像描述評(píng)價(jià)(CIDEr)、IS(Inception Score)、FID(Fréchet Inception Distance)、峰值信噪比(PSNR)、結(jié)構(gòu)相似性(SSIM)等。這些指標(biāo)參數(shù)的含義、計(jì)算及特點(diǎn)詳見下表1-1-3。
表 1-1-3:關(guān)于生成任務(wù)方面的指標(biāo)參數(shù)
四是檢測(cè)任務(wù)方面。目標(biāo)檢測(cè)(Object Detection)任務(wù)是找出圖像中所有感興趣的目標(biāo)(物體),確定它們的類別和位置,是計(jì)算機(jī)視覺領(lǐng)域的核心問題之一。主要包括平均精度均值(mAP,mean Average Precision)和交并比(IoU)等參數(shù)。其含義及特點(diǎn)詳見下表1-1-4。
表 1-1-4:關(guān)于檢測(cè)任務(wù)方面的指標(biāo)參數(shù)
2、效率與資源消耗指標(biāo)
人工智能(AI)系統(tǒng)是一個(gè)資源(硬件利用率、數(shù)據(jù)吞吐量、能效比、時(shí)延等)消耗巨大的系統(tǒng),因此,建立起提高效率、降低消耗考核指標(biāo)至關(guān)重要。在評(píng)估AI系統(tǒng)的效率和資源消耗時(shí),通常需要結(jié)合硬件性能、算法優(yōu)化、任務(wù)需求和實(shí)際場(chǎng)景進(jìn)行綜合考量。其關(guān)鍵考核指標(biāo)包括以下幾個(gè)方面:
一是計(jì)算效率方面。關(guān)于AI系統(tǒng)的效率計(jì)算方面的指標(biāo)參數(shù)常選用:每秒浮點(diǎn)運(yùn)算次數(shù)(FLOPS)、計(jì)算密度(Ops/Watt)、硬件利用率(%)等,它們的釋義詳見下表1-2-1。
表 1-2-1:關(guān)于AI系統(tǒng)的效率計(jì)算方面的指標(biāo)參數(shù)
二是任務(wù)執(zhí)行效率和算法效率方面。任務(wù)執(zhí)行效率的指標(biāo)參數(shù)常選用:推理/訓(xùn)練時(shí)間、吞吐量(QPS/TPS)、延遲(Latency)、響應(yīng)時(shí)間(RT)和并發(fā)數(shù)等;算法效率的指標(biāo)參數(shù)常選用:收斂速度、計(jì)算復(fù)雜度(包含時(shí)間復(fù)雜度和空間復(fù)雜度)等。該指標(biāo)方面參數(shù)的釋義詳見下表1-2-2。
表 1-2-2:關(guān)于AI系統(tǒng)的任務(wù)執(zhí)行效率和算法效率方面的指標(biāo)參數(shù)
三是資源消耗方面。該方面的指標(biāo)參數(shù)應(yīng)包括:硬件占有率、顯存占用率、模型復(fù)雜度(參數(shù)量)、通信開銷、能耗、碳排量等。這些參數(shù)的釋義詳見下表1-2-3。
表 1-2-3:關(guān)于AI系統(tǒng)的資源消耗方面的指標(biāo)參數(shù)
四是可擴(kuò)展性與靈活性方面。該方面主要是指模型優(yōu)化方面的性能參數(shù),常選用的有:模型壓縮率、精度損失(%)、多節(jié)點(diǎn)效率(加速比)、橫向擴(kuò)展效率、容錯(cuò)開銷等。這些參數(shù)的釋義詳見下表1-2-4。
表 1-2-4:關(guān)于AI系統(tǒng)的可擴(kuò)展性與靈活性方面的指標(biāo)參數(shù)
對(duì)于選擇上述效率與資源消耗指標(biāo)參數(shù)需與實(shí)際業(yè)務(wù)強(qiáng)關(guān)聯(lián)。例如自動(dòng)駕駛系統(tǒng)需嚴(yán)控延遲與功耗;推薦系統(tǒng)則更關(guān)注吞吐量和硬件成本;模型優(yōu)化方面通常需權(quán)衡效率與資源消耗(如量化壓縮以犧牲少量精度換取更低的計(jì)算開銷)。建議結(jié)合動(dòng)態(tài)監(jiān)控(如實(shí)時(shí)資源看板)與長(zhǎng)期成本分析(如TCO模型)進(jìn)行綜合評(píng)估。下表1-2-5給出了典型應(yīng)用場(chǎng)景的參數(shù)指標(biāo)的差異比較。
表 1-2-5:典型應(yīng)用場(chǎng)景的參數(shù)指標(biāo)的差異
欲更多了解英偉達(dá)(NVIDIA)GPU性能參數(shù)介紹的請(qǐng)進(jìn)入。
二、用戶體驗(yàn)性能指標(biāo)的參數(shù)
人工智能(AI)系統(tǒng)的用戶體驗(yàn)(UX,User Experience)即用戶在使用AI系統(tǒng)過程中建立起來的一種主觀感受。從中能反映出AI系統(tǒng)的智能程度和接受程度,特別適用于通用人工智能(AGI)。通常,對(duì)于評(píng)價(jià)人工智能(AI)系統(tǒng)用戶體驗(yàn)的指標(biāo)可以從下述四個(gè)維度來考量,每個(gè)維度又分為相關(guān)方面指標(biāo)的參數(shù):
1、核心效率指標(biāo)
核心效率指標(biāo)反映的是AI系統(tǒng)所具有的特性和能力維度的指標(biāo)。其評(píng)價(jià)參數(shù)可包括以下三個(gè)方面:一是響應(yīng)速度方面,常采用響應(yīng)時(shí)間、吞吐量等參數(shù),可見前述。二是任務(wù)完成能力方面,常采用任務(wù)完成率、首次解決問題率、復(fù)雜任務(wù)支持度等參數(shù)。三是準(zhǔn)確性方面,常采用技術(shù)準(zhǔn)確率、用戶感知準(zhǔn)確率、錯(cuò)誤率等參數(shù)。下表2-1給出了這些相關(guān)指標(biāo)參數(shù)簡(jiǎn)介。
表 2-1:關(guān)于核心效率指標(biāo)的相關(guān)參數(shù)
2、交互質(zhì)量指標(biāo)
交互質(zhì)量指標(biāo)反映的是AI系統(tǒng)所具有的與用戶打交道的能力維度的指標(biāo)。其評(píng)價(jià)參數(shù)可包括以下三個(gè)方面:一是自然交互能力方面,常采用意圖識(shí)別率、上下文理解度、輸出可理解性、容錯(cuò)性與恢復(fù)能力等參數(shù)。二是交互友好性方面,常采用界面響應(yīng)速度、用戶操作流程簡(jiǎn)化度、個(gè)性化推薦相關(guān)性等參數(shù)。三是多模態(tài)體驗(yàn)性方面,常采用跨模態(tài)一致性、多模態(tài)響應(yīng)速度等參數(shù)。下表2-2給出了這些相關(guān)指標(biāo)參數(shù)的簡(jiǎn)介。
表 2-2:關(guān)于交互質(zhì)量指標(biāo)的相關(guān)參數(shù)
3、用戶主觀感受指標(biāo)
用戶主觀感受指標(biāo)反映的是用戶對(duì)AI系統(tǒng)使用后的真是評(píng)價(jià)維度的指標(biāo)。其評(píng)價(jià)參數(shù)可包括以下兩個(gè)方面:一是滿意度量化方面,常采用用戶滿意度(CSAT)、凈推薦值(NPS)和費(fèi)力度(CES)、A/B測(cè)試結(jié)果對(duì)比等參數(shù)。二是情感與信任方面,常采用情感識(shí)別準(zhǔn)確率、信任度、可解釋性評(píng)分等參數(shù)。下表2-3給出了這些相關(guān)指標(biāo)參數(shù)的簡(jiǎn)介。
表 2-3:關(guān)于用戶主觀感受指標(biāo)的相關(guān)參數(shù)
4、長(zhǎng)期使用指標(biāo)
長(zhǎng)期使用指標(biāo)反映是用戶對(duì)AI系統(tǒng)使用的迷戀和耐久程度維度的指標(biāo)。其評(píng)價(jià)參數(shù)可包括以下兩個(gè)方面:一是用戶留存活躍度方面,常采用用戶留存率、功能滲透率、活躍度、轉(zhuǎn)化率等參數(shù)。二是系統(tǒng)進(jìn)化能力方面,常采用迭代響應(yīng)速度、個(gè)性化適配度、系統(tǒng)可擴(kuò)展性等參數(shù)。下表2-4給出了這些相關(guān)指標(biāo)參數(shù)的簡(jiǎn)介。
表 2-4:關(guān)于長(zhǎng)期使用指標(biāo)的相關(guān)參數(shù)
通過以上用戶體驗(yàn)性能指標(biāo),可系統(tǒng)化診斷AI用戶體驗(yàn)瓶頸,針對(duì)性優(yōu)化技術(shù)能力與交互設(shè)計(jì)。最終目標(biāo)是通過技術(shù)性能與用戶心理需求的平衡,構(gòu)建高效、可靠且人性化的AI體驗(yàn)。
三、倫理與合規(guī)指標(biāo)的參數(shù)
隨著人工智能(AI)特別是AGI的發(fā)展,其智能程度的提高,應(yīng)用使用的普及,已經(jīng)滲透到我們生活的方方面面,對(duì)人類及社會(huì)影響極大,故引起人們?cè)趥惱砼c合規(guī)性層面的高度重視。對(duì)于AI的設(shè)計(jì)與應(yīng)用,倫理側(cè)重道德責(zé)任,合規(guī)側(cè)重守法義務(wù)。倫理與合規(guī)性指標(biāo)是確保AI的技術(shù)可信賴和社會(huì)可接受的核心框架。以下是AI系統(tǒng)倫理與合規(guī)性關(guān)鍵指標(biāo),涵蓋倫理、法律和社會(huì)三個(gè)維度:
1、倫理屬性指標(biāo)
倫理(?Ethics)是指在處理人與人、人與社會(huì)相互關(guān)系時(shí)應(yīng)遵循的道德和準(zhǔn)則。而AI在倫理屬性指標(biāo)的評(píng)價(jià)參數(shù)可包括以下三個(gè)方面:一是公平性方面,常采用歧視性、包容性、算法偏見控制力等參數(shù)。二是透明性與可解釋性方面,常采用模型可解釋性、決策溯源能力等參數(shù)。三是隱私與安全方面,常采用數(shù)據(jù)匿名化率、倫理沖突處理能力、對(duì)抗攻擊魯棒性和用戶控制度等參數(shù)。下表3-1給出了這些相關(guān)指標(biāo)的參數(shù)簡(jiǎn)介。
表 3-1:關(guān)于倫理屬性指標(biāo)的相關(guān)參數(shù)
2、合規(guī)屬性指標(biāo)
合規(guī)(Compliance)是指AI系統(tǒng)的處理結(jié)果(決策)應(yīng)符合國(guó)家法律法規(guī)、監(jiān)管規(guī)定、行業(yè)準(zhǔn)則等的要求?。其指標(biāo)的評(píng)價(jià)參數(shù)可包括以下三個(gè)方面:一是法規(guī)遵守方面,常采用法規(guī)映射覆蓋率、實(shí)時(shí)法律更新響應(yīng)時(shí)間等參數(shù)。二是數(shù)據(jù)安全方面,常采用加密傳輸率、數(shù)據(jù)生命周期完整審計(jì)等參數(shù)。三是責(zé)任可追溯方面,常采用決策鏈追溯深度、責(zé)任主體明確性等參數(shù)。下表3-2給出了這些相關(guān)指標(biāo)的參數(shù)簡(jiǎn)介。
表 3-2:關(guān)于合規(guī)屬性指標(biāo)的相關(guān)參數(shù)
3. 社會(huì)屬性指標(biāo)
社會(huì)屬性指標(biāo)是指AI系統(tǒng)的決策對(duì)社會(huì)影響的評(píng)估屬性的指標(biāo)。其評(píng)價(jià)指標(biāo)可包括以下三個(gè)方面:一是人類監(jiān)督方面,常采用關(guān)鍵決策人工復(fù)核率、否決權(quán)響應(yīng)延遲等參數(shù)。二是社會(huì)價(jià)值評(píng)估方面,常采用可持續(xù)發(fā)展目標(biāo)匹配度、社區(qū)影響評(píng)估完成率等參數(shù)。三是環(huán)境影響方面,常采用碳足跡強(qiáng)度、硬件回收利用率等參數(shù)。下表3-3給出了這些相關(guān)指標(biāo)的參數(shù)簡(jiǎn)介。
表 3-3:關(guān)于社會(huì)屬性指標(biāo)的相關(guān)參數(shù)
這些倫理與合規(guī)的指標(biāo)參數(shù)需通過技術(shù)手段(如聯(lián)邦學(xué)習(xí)架構(gòu))、管理流程(倫理委員會(huì)季度審查)和法律工具(合規(guī)性認(rèn)證)的立體化實(shí)施,最終形成可量化、可審計(jì)、可持續(xù)改進(jìn)的AI治理體系。
欲進(jìn)一步了解人工智能(AI)系統(tǒng)分類方法的請(qǐng)進(jìn)入。