本公開涉及對象檢測的領(lǐng)域，并且特別涉及用于檢測圖像中的對象的方法、移動裝置、計算機程序和計算機程序產(chǎn)品。

背景技術(shù)：

1、圖像的對象檢測可以用于許多目的，例如在xr(擴展現(xiàn)實)應用、自動交通工具、交通監(jiān)管等中。然而，與在捕捉圖像的資源受限的移動裝置中可用的資源相比，對象檢測過程通常消耗更多的資源。移動裝置可具有受限的資源，例如由于有限的電池功率和/或有限的計算能力。移動裝置配備有向?qū)ο髾z測管線提供圖像的成像裝置(例如，單目相機、立體相機、深度相機)。為了從移動裝置卸載處理，可以使用遠程服務器來執(zhí)行更強大的計算。

2、wang等人的“tiling?small?object?detection?for?edge?assisted?autonomousmobile?vision”，ieee?infocom?2021-ieee計算機通信會議(第1-10頁)公開了本地對象檢測(在移動裝置中)以及卸載的對象檢測(在邊緣/云中)。本地對象檢測關(guān)于小對象產(chǎn)生低準確性，因為它對低分辨率視頻進行操作以適配移動存儲器。由于向邊緣/云上載高分辨率視頻，卸載的對象檢測會導致高時延。大對象在本地檢測，而小對象檢測被卸載到邊緣。wang提出了一種用于利用圖塊級并行性來增強小對象檢測的邊緣裝置協(xié)作框架。出于準確性和時延目的，它在圖塊中而不是在整個圖像中協(xié)調(diào)卸載的檢測管線。特定地，移動裝置中的輕量級對象檢測(通過降低圖像的分辨率)標識圖像中的大對象，而小對象檢測去往邊緣(通過保持圖像的高分辨率)。

3、準確的對象檢測(od)是計算需求很高的任務，因為它需要深度學習(dl)推斷。此外，為了對例如slam(同步定位和映射)或在線語義映射之類的其它應用有用，并且為了對用戶體驗應用(如xr)是可接受的，需要快速執(zhí)行。

技術(shù)實現(xiàn)思路

1、一個目的是通過降低響應速度同時仍然允許準確的對象檢測來改進對象檢測。

2、根據(jù)第一方面，提供了一種用于檢測圖像中的對象的方法，所述方法由移動裝置執(zhí)行。所述方法包括：獲得要處理的圖像；執(zhí)行跟蹤以找到所述圖像中的任何跟蹤對象，其中，任何跟蹤對象已經(jīng)在先前圖像中被標識；執(zhí)行對所述圖像的類別對象檢測，產(chǎn)生每個檢測到的對象的相應類別標簽；以及向服務器發(fā)送請求以對在所述類別對象檢測中檢測到的至少一個對象執(zhí)行特定對象檢測，其中，所述特定對象檢測是比所述類別對象檢測更細粒度的對象檢測。

3、這使得移動裝置能夠首先使用輕量級類別對象檢測來執(zhí)行準確且低計算的對象檢測。通過減少供選擇的標簽數(shù)量(類別標簽少于特定標簽)，我們允許移動裝置中更少的功耗需求和更快的對象檢測推斷。此外，由于來自相同類別的元素可共享相似的外觀，因此我們可以通過減少相似對象之間的對象檢測錯誤的數(shù)量來提高準確性。

4、所述方法可還包括：從所述服務器接收響應，所述響應包括在所述請求中指示的每個對象的至少一個特定標簽；以及合并在所述請求中指示的至少一個對象的所述類別標簽和所述特定標簽。

5、所述合并可包括：對于每個合并對象，將類別標簽設置為最可能檢測到的類別標簽，并且將特定標簽檢測設置為最可能檢測到的特定標簽。

6、所述類別對象檢測可產(chǎn)生每個對象的單個最可能的類別標簽，在該情況下，所述響應包括每個對象的m個最可能的特定標簽。所述合并然后包括：對于每個合并對象，在所述m個最可能的特定標簽內(nèi)找到匹配特定標簽，所述匹配特定標簽是所述單個最可能的類別對象的類(species)；將所述合并對象的所述類別標簽設置為所述單個最可能的類別標簽，并將所述特定標簽設置為所述匹配特定標簽。

7、所述類別對象檢測可產(chǎn)生每個對象的n個最可能的類別標簽，在該情況下，所述響應包括每個對象的m個最可能的特定標簽。所述合并然后包括：對于每個合并對象，在所述n個最可能的類別標簽內(nèi)找到匹配類別標簽，即所述m個最可能的特定標簽中的至少一個的屬(genus)，表示為匹配特定標簽；將所述合并對象的所述類別標簽設置為所述匹配類別標簽，并將所述特定標簽設置為所述匹配特定標簽。

8、所述跟蹤和所述類別對象檢測可基于整個圖像。

9、所述方法可還包括在所述執(zhí)行類別對象檢測之前：確定所述圖像內(nèi)的非跟蹤區(qū)域，其中，所述非跟蹤區(qū)域排除在所述執(zhí)行跟蹤中跟蹤的所有對象。在該情況下，所述執(zhí)行類別對象檢測僅針對所述非跟蹤區(qū)域執(zhí)行。

10、所述方法可還包括在所述執(zhí)行跟蹤之前：確定所述圖像中的一個或多個建議區(qū)域以用于類別對象檢測；以及，在所述執(zhí)行跟蹤之后，將所述一個或多個建議區(qū)域提議與跟蹤對象在所述圖像中的相應位置進行匹配。在該情況下，所述執(zhí)行類別對象檢測僅針對沒有找到與跟蹤對象的匹配的任何建議區(qū)域來執(zhí)行。

11、所述方法可還包括：確定特定對象檢測集合，所述特定對象檢測集合由要使用特定對象檢測來檢測的至少一個對象組成。在該情況下，在所述發(fā)送請求時，所述請求針對服務器，以僅對所述特定對象檢測集合中的任何對象執(zhí)行特定對象檢測。

12、所述特定對象檢測集合可包含已經(jīng)被類別檢測到但不是跟蹤對象的任何對象。

13、所述特定對象檢測集合可包含任何對象，對于所述任何對象，合并所述類別標簽和所述特定標簽的先前迭代是不確定的。

14、所述發(fā)送請求可比所述執(zhí)行對所述圖像的類別對象檢測更不頻繁地執(zhí)行。

15、根據(jù)第二方面，提供了一種用于檢測圖像中的對象的移動裝置。所述移動裝置包括：處理器；以及存儲指令的存儲器，當由所述處理器執(zhí)行時，所述指令使所述移動裝置：獲得要處理的圖像；執(zhí)行跟蹤以找到所述圖像中的任何跟蹤對象，其中，任何跟蹤對象已經(jīng)在先前圖像中被標識；執(zhí)行對所述圖像的類別對象檢測，產(chǎn)生每個檢測到的對象的相應類別標簽；以及向服務器發(fā)送請求以對在所述類別對象檢測中檢測到的至少一個對象執(zhí)行特定對象檢測，其中，所述特定對象檢測是比所述類別對象檢測更細粒度的對象檢測。

16、所述移動裝置可還包括指令，當由所述處理器執(zhí)行時，所述指令使所述移動裝置：從所述服務器接收響應，所述響應包括在所述請求中指示的每個對象的至少一個特定標簽；以及合并在所述請求中指示的至少一個對象的所述類別標簽和所述特定標簽。

17、用于合并的所述指令可包括指令，當由所述處理器執(zhí)行時，所述指令使所述移動裝置：對于每個合并對象，將類別標簽設置為最可能檢測到的類別標簽，并且將特定標簽檢測設置為最可能檢測到的特定標簽。

18、所述類別對象檢測可產(chǎn)生每個對象的單個最可能的類別標簽，并且所述響應包括每個對象的m個最可能的特定標簽。在該情況下，用于合并的所述指令包括指令，當由所述處理器執(zhí)行時，所述指令使所述移動裝置：對于每個合并對象，在所述m個最可能的特定標簽內(nèi)找到匹配特定標簽，所述匹配特定標簽是所述單個最可能的類別對象的類；將所述合并對象的所述類別標簽設置為所述單個最可能的類別標簽，并將所述特定標簽設置為所述匹配特定標簽。

19、所述類別對象檢測可產(chǎn)生每個對象的n個最可能的類別標簽，并且所述響應包括每個對象的m個最可能的特定標簽。在該情況下，用于合并的所述指令包括指令，當由所述處理器執(zhí)行時，所述指令使所述移動裝置：對于每個合并對象，在所述n個最可能的類別標簽內(nèi)找到匹配類別標簽，即所述m個最可能的特定標簽中的至少一個的屬，表示為匹配特定標簽；將所述合并對象的所述類別標簽設置為所述匹配類別標簽，并將所述特定標簽設置為所述匹配特定標簽。

20、所述跟蹤和所述類別對象檢測可基于整個圖像。

21、所述移動裝置可還包括指令，當由所述處理器執(zhí)行時，在所述執(zhí)行類別對象檢測之前，所述指令使所述移動裝置：確定所述圖像內(nèi)的非跟蹤區(qū)域，其中，所述非跟蹤區(qū)域排除在所述執(zhí)行跟蹤中跟蹤的所有對象。在該情況下，用于執(zhí)行類別對象檢測的所述指令僅針對所述非跟蹤區(qū)域執(zhí)行。

22、所述移動裝置可還包括指令，當由所述處理器執(zhí)行時，在所述執(zhí)行跟蹤之前，所述指令使所述移動裝置：確定所述圖像中的一個或多個建議區(qū)域以用于類別對象檢測；以及，當由所述處理器執(zhí)行時，在所述執(zhí)行跟蹤之后，所述指令使所述移動裝置將所述一個或多個建議區(qū)域提議與跟蹤對象在所述圖像中的相應位置進行匹配。在該情況下，所述執(zhí)行類別對象檢測僅針對沒有找到與跟蹤對象的匹配的任何建議區(qū)域來執(zhí)行。

23、所述移動裝置可還包括指令，當由所述處理器執(zhí)行時，所述指令使所述移動裝置：確定特定對象檢測集合，所述特定對象檢測集合由要使用特定對象檢測來檢測的至少一個對象組成。在該情況下，在用于發(fā)送請求的所述指令中，所述請求針對服務器，以僅對所述特定對象檢測集合中的任何對象執(zhí)行特定對象檢測。

24、所述特定對象檢測集合可包含已經(jīng)被類別檢測到但不是跟蹤對象的任何對象。

25、所述特定對象檢測集合可包含任何對象，對于所述任何對象，用于合并所述類別標簽和所述特定標簽的指令的先前迭代是不確定的。

26、用于發(fā)送請求的所述指令可比用于執(zhí)行對所述圖像的類別對象檢測的所述指令更不頻繁地執(zhí)行。

27、根據(jù)第三方面，提供了一種用于檢測圖像中的對象的計算機程序。所述計算機程序包括計算機程序代碼，當在移動裝置上執(zhí)行時，所述計算機程序代碼使所述移動裝置：獲得要處理的圖像；執(zhí)行跟蹤以找到所述圖像中的任何跟蹤對象，其中，任何跟蹤對象已經(jīng)在先前圖像中被標識；執(zhí)行對所述圖像的類別對象檢測，產(chǎn)生每個檢測到的對象的相應類別標簽；以及向服務器發(fā)送請求以對在所述類別對象檢測中檢測到的至少一個對象執(zhí)行特定對象檢測，其中，所述特定對象檢測是比所述類別對象檢測更細粒度的對象檢測。

28、根據(jù)第四方面，提供了一種計算機程序產(chǎn)品，包括根據(jù)第三方面所述的計算機程序以及包括存儲所述計算機程序的非暫時性存儲器的計算機可讀部件。

29、通常，權(quán)利要求中使用的所有術(shù)語將根據(jù)其在技術(shù)領(lǐng)域中的普通含義來解釋，除非本文中另有明確定義。對“一(a、an)/該元件、設備、組件、部件、步驟等”的所有引用將被開放地解釋為指代所述元件、設備、組件、部件、步驟等的至少一個實例，除非另有明確說明。除非明確說明，否則本文公開的任何方法的步驟不一定按照所公開的確切順序來執(zhí)行。