目標(biāo)檢測性能評價——關(guān)于mAP計算的思考
mAP的計算大致可以分解為以下幾個步驟：
1. **輸出檢測結(jié)果**：模型推理的原始輸出可能形式多樣，需要完成目標(biāo)解碼，生成標(biāo)準(zhǔn)化的目標(biāo)列表，包含每個目標(biāo)的位置信息、類別和置信度。這里的置信度與推理使用時的置信度閾值有差別，沒有固定的閾值，只要在該通道有響應(yīng)，都輸出為目標(biāo)。
2. **針對單個目標(biāo)**：問題簡化為分類結(jié)果的判定。首先需要將GT（Ground Truth）和預(yù)測結(jié)果按照各自的類別分組，然后在每一個類別內(nèi)，對GT和預(yù)測結(jié)果兩組數(shù)據(jù)進行匹配，匹配依據(jù)是IOU（Intersection over Union）。
3. **針對單個類別**：完成對整個測試集上每個目標(biāo)的判斷后，分類別統(tǒng)計Precision和Recall。在單個目標(biāo)的處理步驟中，只需要記錄TP（True Positive）。則對于所有檢測目標(biāo)，非TP即為FP（False Positive），對于所有GT，非TP即為FN（False Negative）。設(shè)定不同的置信度閾值時，輸出的檢測目標(biāo)數(shù)量不同，由此計算得到的Precision和Recall也不同。根據(jù)不同的閾值，可以得到一系列Precision和Recall的值，連起來即可得到PR曲線。實際操作中，將所有目標(biāo)按照置信度從高到低排序，每一步都只累加一個目標(biāo)，統(tǒng)計當(dāng)前的P-R值。
4. **針對全集**：至此，針對每一個類別，都計算得到一條PR曲線。PR曲線與x軸所圍成的面積即為當(dāng)前類別的AP值。Average是指對不同Confidence閾值下的結(jié)果進行平均，所有類別AP值的均值，即為mAP。mean則是指對不同類別之間結(jié)果進行平均。
然而，mAP指標(biāo)存在一些問題：
- **信息傳導(dǎo)不連續(xù)**：誤檢/漏檢少、分類準(zhǔn)、定位準(zhǔn)這些要求并沒有在mAP的整個計算過程中一直傳導(dǎo)到最終結(jié)果。在對單個目標(biāo)的處理中，將IOU作為匹配的指標(biāo)，將檢測到的目標(biāo)二分類為TP/FP。選定IOU閾值后，TP/FP的分配也就確定了，但在后續(xù)的步驟中，目標(biāo)被抽象為正確/錯誤兩類，但正確或錯誤的程度被忽略了。
- **指標(biāo)單一性**：只用一個指標(biāo)，很難知道目前的性能瓶頸在哪里。根據(jù)mAP的高低，只能較為概括地知道網(wǎng)絡(luò)整體性能的好壞，但較難分析問題具體在哪。例如，F(xiàn)aster-RCNN系列網(wǎng)絡(luò)中，如果RPN部分效果很好，但RCNN部分效果很差，只根據(jù)mAP是無法判斷出來的。
- **與實際應(yīng)用不完全吻合**：mAP指標(biāo)關(guān)注的點，與實際應(yīng)用時關(guān)注的點，并不完全吻合。實際使用時，會設(shè)定一個Confidence閾值，低于該閾值的目標(biāo)會被丟棄，這部分目標(biāo)在統(tǒng)計mAP時也會有一定的貢獻。部分針對比賽刷榜的漲點技巧，會關(guān)注這部分檢測結(jié)果對mAP的影響。
為了解決這些問題，可以采取以下改進措施：
- **考察不同IOU閾值下的性能表現(xiàn)**：在VOC標(biāo)準(zhǔn)的mAP計算中，通常只取IOU=0.5一個閾值。MS-COCO標(biāo)準(zhǔn)對此進行了改進，取0.5:0.05:0.95等間隔的11個閾值，分別統(tǒng)計，同時考慮目標(biāo)大小的差異，引入AR（Average Recall）等相關(guān)指標(biāo)。這可以全面評估檢測性能，改進單一IOU閾值的問題。
- **統(tǒng)一訓(xùn)練和評測的指標(biāo)**：在網(wǎng)絡(luò)訓(xùn)練過程中，location分支的輸出通常會用IOU Loss進行優(yōu)化。在測試過程中，可以將IOU指標(biāo)替換為類似DIOU或CIOU的版本，實現(xiàn)更合理的評價，以及訓(xùn)練和評測的統(tǒng)一。
- **設(shè)計更多自定義的指標(biāo)**：mAP是一個基準(zhǔn)指標(biāo)，可以用來比較不同網(wǎng)絡(luò)，包括與開源模型、外部團隊開發(fā)的模型等進行比較。此外，基于我們關(guān)心的模型性能表現(xiàn)，可以設(shè)計一些額外的指標(biāo)，更細(xì)致地評估模型在特定情況下的表現(xiàn)。
- **模型使用時的閾值選擇**：在實際使用模型進行推理時，根據(jù)PR曲線選擇合適的Confidence閾值，可以根據(jù)每個類別的不同情況，選取不同的閾值，讓每個類別的檢測結(jié)果達到最優(yōu)。對于類別性質(zhì)差異較大，類別不均衡現(xiàn)象較為嚴(yán)重的案例，通過定制閾值，可以實現(xiàn)更理想的輸出。
綜上所述，mAP作為目標(biāo)檢測性能評價的一個重要指標(biāo)，其計算過程詳細(xì)且全面地考慮了模型在不同條件下的表現(xiàn)，以及模型對于不同類別的處理情況。然而，也存在一些局限性，因此通過改進計算方式和設(shè)計更多的自定義指標(biāo)，可以更好地評估和優(yōu)化目標(biāo)檢測模型，以適應(yīng)實際應(yīng)用的需要。
目標(biāo)檢測:mAP指標(biāo)計算
??顯然，模型的精確率和召回率越大，分類算法在實際數(shù)據(jù)中的表現(xiàn)越好，為了綜合評估這兩個指標(biāo)，定義二者的調(diào)和平均值為F值：當(dāng)精確率和召回率都很高時，F(xiàn)值也會很高。而在某些情景下，可能會相對更重視另一個指標(biāo)，此時加入一個參數(shù) 來度量二者的關(guān)系，此時的F值定義為：?&#...
評價指標(biāo)AP、mAP、mmAP理解
加權(quán)平均精度（mAP）是對不同類別分別計算AP后進行加權(quán)平均，以反映模型的整體檢測性能。不同類別的重要性通過給定的權(quán)重進行調(diào)整。多類別平均精度（mmAP）進一步考慮了不同類別檢測性能的差異，通過計算不同IoU閾值下的mAP并取平均值，綜合評估模型在多個類別的檢測能力。評價指標(biāo)的核心在于定義正確預(yù)測（TP...
mAP【評測指標(biāo)系列】
mAP，全稱為mean Average Precision，是一個評估對象檢測性能的重要指標(biāo)。它衡量的是模型在分類和定位任務(wù)上的精度平均值。平均精度（Average Precision, AP）是針對每個類別的精度和召回率的計算，涉及到precision和recall曲線的分析。首先，對于一類對象，如類A，我們按照預(yù)測的置信度從高到低對bbox進行排序...
Mean Average Precision(mAP)
Mean Average Precision（mAP）是一個廣泛應(yīng)用于檢測模型性能評估的指標(biāo)。其計算步驟主要包含三個關(guān)鍵環(huán)節(jié)：Precision的計算、Average階段的處理以及最終求取Mean值。從開春的溫暖中，讓我們從Precision的視角出發(fā)，逐步深入理解mAP的構(gòu)建邏輯。Precision作為統(tǒng)計機器學(xué)習(xí)領(lǐng)域的一個重要概念，衡量的是在所有預(yù)測正...
什么是map評測指標(biāo)
在目標(biāo)檢測任務(wù)中，模型不僅需要準(zhǔn)確識別圖像中的物體類別，同時還要精確定位物體在圖像中的位置。例如，即使模型正確識別出圖片中的貓，但若無法準(zhǔn)確標(biāo)注貓所在位置，模型整體性能評估則受限。因此，僅依賴圖像分類精度不足以全面衡量目標(biāo)檢測模型的表現(xiàn)。計算平均精度(mAP)時，通常采用的是精確度-召回率曲線...
深度學(xué)習(xí)目標(biāo)檢測評價指標(biāo)介紹
評估目標(biāo)檢測算法性能時，本章引入了平均精度均值（mAP）和FPS兩個指標(biāo)。mAP衡量檢測效果，F(xiàn)PS衡量速度。mAP是每個類別平均精確度（AP）的平均值，涉及精確率和召回率。Precision在人體行為檢測結(jié)果中，表示檢測正確的活動數(shù)量占所有預(yù)測為該活動的比例。召回率（Recall）表示檢測正確的活動數(shù)量占該活動總數(shù)的...
目標(biāo)檢測的常用評價指標(biāo) mAP AP
mAP（Mean Average Precision）是AP在多個類別的平均值，反映模型在所有類別的綜合性能。AP的計算通常通過設(shè)定一系列召回率閾值，選取對應(yīng)的最大Precision值，最后求平均。PASCAL VOC CHALLENGE后來采用了另一種方法，先計算出每個類別的Precision值，再求平均。理解這些指標(biāo)對于評估和優(yōu)化目標(biāo)檢測模型至關(guān)重要。
map是曲線的意思
mAP是指meanAveragePrecision，即各類別平均精度。它用于評價目標(biāo)檢測模型的性能。在目標(biāo)檢測任務(wù)中，mAP值越高，說明模型識別目標(biāo)的準(zhǔn)確性越高。PR曲線，即Precision-Recall曲線，是一種評價分類模型性能的重要工具。Precision表示查準(zhǔn)率，計算公式為TP\/(TP+FP)，其中TP為IoU大于0.5的檢測框數(shù)量，即真正例...
Average Precision,mAP指標(biāo)的意義與詳細(xì)計算方法
mAP是通過類間平均，衡量檢測算法性能的指標(biāo) AP的應(yīng)用PASCAL 詳見 kharshit.github.io\/blog...插值準(zhǔn)確度(interpolated precision)COCO 在COCO, mAP is also referred to as AP 在COCO當(dāng)中采用 [公式][公式]的含義就是以range(0.5,0.95,step = 0.05)的不同IoU threshold情況下，計算的AP的平均...
mAP的含義,它是個什么?
AP（Average Precision）是針對單個類別的指標(biāo)，基于P-R曲線下的面積來評估模型性能。若某一類別AP值高，說明該類P-R曲線下的面積大，模型在精確度和召回率上表現(xiàn)良好。mAP則是所有類別AP的平均值，綜合考量多個類別的檢測效果。mAP@0.5表示采用IOU閾值為0.5的計算方式，而mAP@0.5:0.95則在0.5...
相關(guān)評說：
汾陽市中心： ______ 學(xué)校及校學(xué)術(shù)委員會意見參考模板精品文檔 校學(xué)術(shù)委員會意見及學(xué)校意見參考模板1... XXX教授的申請得到了中國科學(xué)院院士等多位專家的高度評價和大力推薦.經(jīng)校學(xué)術(shù)...
汾陽市中心： ______ 收到1999年9月8日;接納1999年10月8日.網(wǎng)上提供2000年2月17日. 摘要 美國聯(lián)... 衡量和評價研究,在遵守有關(guān)規(guī)定的gpra [ 6 ] . cosepup檢查計量分析(計數(shù)出版物...
汾陽市中心： ______ 1.2 軟件質(zhì)量特征 按照軟件質(zhì)量國家標(biāo)準(zhǔn)GB-T8566--2001G,軟件質(zhì)量可以用下列特征來評價:a.功能特征:與一組功能及其指定性質(zhì)有關(guān)的一組屬性,這里的功能是滿足明確或隱含的需求的那些功能.b.可靠特征:在規(guī)定的一段時間和條件下...
汾陽市中心： ______ 1、測試概念的范疇廣義上講,測試是指軟件產(chǎn)品生存周期內(nèi)所有的檢查、評審和確認(rèn)活動.如:設(shè)計評審、系統(tǒng)測試.狹義上講,測試是對軟件產(chǎn)品質(zhì)量的檢驗和評價....
汾陽市中心： ______ 2010年度中國汽車工業(yè)科學(xué)技術(shù)獎12月20日在北京頒發(fā),共有45個項目和8名科技人... 產(chǎn)品通過了歐洲法規(guī)測試,安全性能達到了國際先進水平,整車性能達到國內(nèi)領(lǐng)先水...
