本發(fā)明涉及一種信息處理終端、圖像傳送系統(tǒng)及程序。具體而言，本發(fā)明涉及一種用于在信息處理終端與視頻數(shù)據(jù)一起獲取高質(zhì)量的靜止圖像數(shù)據(jù)，并在視頻數(shù)據(jù)之外根據(jù)需要向接收終端傳送靜止圖像數(shù)據(jù)的技術。

背景技術：

1、近年來，為了應對現(xiàn)場作業(yè)的復雜化、就業(yè)人口的減少以及熟練工人的技術傳承等各種問題，現(xiàn)場作業(yè)的dx(digital?transformation，數(shù)字化轉型)已成為亟待解決的課題。作為這些問題的解決方案之一，已提出了一種經(jīng)由互聯(lián)網(wǎng)等連接現(xiàn)場的作業(yè)人員佩戴的可穿戴設備與支援者操作的計算機，從而共享音頻信息和視覺信息的遠程支援系統(tǒng)(專利文獻1)。

2、在此類遠程支援系統(tǒng)中，可穿戴設備(傳送終端)通過攝像機獲取作業(yè)員周圍環(huán)境的視頻數(shù)據(jù)，并傳送至支援者操作的計算機(接收終端)。此時，攝像機的圖像傳感器獲取的圖像信號會在傳送終端內(nèi)，通過進行預定的視頻格式的格式轉換和數(shù)據(jù)容量的壓縮的視頻用編碼，從而轉換為預定格式的視頻數(shù)據(jù)。此外，近年來，雖然即使是小型攝像機也能夠獲取高分辨率且高幀率的動態(tài)圖像，但是由于連接傳送終端和接收終端的通信線路的帶寬存在一定的限制，因此有時無法將通過傳送終端的攝像機所獲取的動態(tài)圖像直接傳送至接收終端。在此情況下，傳送終端可能會根據(jù)通信線路的帶寬對動態(tài)圖像的質(zhì)量進行優(yōu)化后，再傳送至接收終端。

3、此外，在專利文獻2中公開了一種遠程醫(yī)療的遠程會議系統(tǒng)。此遠程系統(tǒng)中，在第一終端(傳送終端)中獲取比特率高的高質(zhì)量影像信號，并將其轉換為比特率低的低質(zhì)量影像信號。接著，第一終端將低質(zhì)量影像信號與音頻信號共同實時傳送至遠程會議服務器，同時將高質(zhì)量影像信號與音頻信號共同異步傳送至癥狀識別服務器。通過這樣，利用患者操作的第一終端和醫(yī)生操作的遠程會議服務器，實現(xiàn)實時診斷的同時，使癥狀識別服務器能夠更準確地診斷患者疾病的跡象等。

4、現(xiàn)有技術文獻

5、專利文獻

6、專利文獻1：日本特許7023022號公報

7、專利文獻2：國際公開wo2019/207392號冊

技術實現(xiàn)思路

1、發(fā)明所欲解決的技術課題

2、然而，在以現(xiàn)場作業(yè)的dx為目標的遠程支援系統(tǒng)中，當作業(yè)員利用可穿戴設備(傳送終端)向支援者的計算機(接收終端)實時傳送作業(yè)現(xiàn)場等的影像時，可能會出現(xiàn)支援者關注某一時間點的影像，并希望仔細查看此時間點的影像等的狀況。例如，當作業(yè)員使用攝像機拍攝自己手邊裝置的精細結構和布線，或是書面內(nèi)容和操作手冊時，設想支援者準確掌握其結構或書面等的內(nèi)容，并對作業(yè)員提供指示。此時，可穿戴設備雖然將通過圖像傳感器獲取的圖像信號進行視頻用的編碼以生成視頻數(shù)據(jù)，然而由于此視頻數(shù)據(jù)進行了數(shù)據(jù)容量的壓縮等處理，即使從視頻數(shù)據(jù)中提取特定的幀，此幀的分辨率仍比于原始圖像信號低。因此，當支援者希望掌握作業(yè)員手邊的精細結構或書面等的內(nèi)容時，即使從視頻數(shù)據(jù)中提取特定的時間點的幀，此幀的畫質(zhì)也粗糙，存在支援者難以準確掌握其內(nèi)容的問題。

3、此外，在專利文獻2所記載的系統(tǒng)中，如前所述，第一終端(傳送終端)中，獲取比特率較高的高質(zhì)量影像信號以及比特率較低的低質(zhì)量影像信號。然而，在此系統(tǒng)中假設高質(zhì)量影像信號異步傳送至癥狀識別服務器，而低質(zhì)量影像信號實時傳送至遠程會議服務器。因此，在專利文獻2所記載的系統(tǒng)中，并未進行將獲取高質(zhì)量影像信號的時間點與獲取低質(zhì)量影像信號的時間點建立關聯(lián)的處理。因此，例如，即使想要瀏覽與低質(zhì)量影像信號中的某一時間點的影像對應的高質(zhì)量影像信號，也難以從高質(zhì)量影像信號中確定所述時間點的影像。

4、因此，本發(fā)明的主要課題在于，使與視頻數(shù)據(jù)的任意的時間點對應的高質(zhì)量靜止圖像數(shù)據(jù)能夠容易獲取。

5、解決課題的技術方案

6、本發(fā)明的發(fā)明人們經(jīng)過深思熟慮關于解決上述課題的手段的結果，得出以下見解：在將通過圖像傳感器獲取的原始的圖像信號轉換為視頻數(shù)據(jù)的視頻用編碼器的路徑之外，額外添加將相同圖像信號轉換為靜止圖像數(shù)據(jù)的靜止圖像用編碼器的路徑，并將此靜止圖像數(shù)據(jù)與視頻數(shù)據(jù)的幀進行關聯(lián)且保存于存儲器，借此，可以容易地獲取與視頻數(shù)據(jù)中的任意的時間點對應的靜止圖像數(shù)據(jù)。接著，本發(fā)明人們基于以上見解，意識到可以解決現(xiàn)有技術中的課題，并完成了本發(fā)明。

7、具體而言，本發(fā)明具有以下構成：

8、本發(fā)明的第一方面涉及信息處理終端。本發(fā)明所涉及的信息處理終端具備圖像傳感器、視頻用編碼器、存儲器及靜止圖像用編碼器。圖像傳感器生成圖像信號。視頻用編碼器通過視頻用的編碼(主要為壓縮和格式轉換)將圖像信號轉換為視頻數(shù)據(jù)。視頻用的編碼包含用于將構成視頻數(shù)據(jù)的多個幀合并為一個視頻數(shù)據(jù)的壓縮/轉換處理，以及逐幀的壓縮/轉換處理。此外，在與圖像信號一起獲取音頻信號的情況下，視頻用的編碼還包含用于將視頻數(shù)據(jù)與音頻數(shù)據(jù)合并為一個檔案的壓縮/轉換處理。存儲器優(yōu)選為非易失性存儲器，但也可以使用易失性存儲器。靜止圖像用編碼器通過靜止圖像用的編碼將圖像信號轉換為靜止圖像數(shù)據(jù)。在靜止圖像用的編碼中，與視頻用的編碼不同，僅進行逐幀的壓縮/轉換處理。此外，在靜止圖像用的編碼中，基本上無需將靜止圖像數(shù)據(jù)與音頻數(shù)據(jù)進行關聯(lián)。靜止圖像用編碼器將靜止圖像數(shù)據(jù)與視頻數(shù)據(jù)進行關聯(lián)且保存于存儲器。具體而言的手段為，例如，靜止圖像用編碼器可以賦予靜止圖像數(shù)據(jù)用于與視頻數(shù)據(jù)進行時間順序關聯(lián)的同步數(shù)據(jù)，并將其保存于存儲器。例如，在本發(fā)明中，從相同的圖像信號生成視頻數(shù)據(jù)和靜止圖像數(shù)據(jù)，構成視頻數(shù)據(jù)的某個幀和某個靜止圖像數(shù)據(jù)被賦予相同的同步數(shù)據(jù)(即時間戳)。不過，用于將靜止圖像數(shù)據(jù)與視頻數(shù)據(jù)進行關聯(lián)的具體手段并不限于此。通過這樣，當從構成視頻數(shù)據(jù)的大量幀中任意指定一個幀時，可以輕松判別與此指定的幀在相同時間點獲取的靜止圖像數(shù)據(jù)。

9、此外，在本發(fā)明所涉及的信息處理終端中，視頻用編碼器和/或靜止圖像用編碼器可以作為cpu或gpu等處理器執(zhí)行的功能的一部分，以軟件方式實現(xiàn)。此外，視頻用編碼器和/或靜止圖像用編碼器也可以通過與處理器不同的lsi(大規(guī)模集成電路)以硬件方式實現(xiàn)。特別是，優(yōu)選將視頻用編碼器和靜止圖像用編碼器中的一個以軟件方式實現(xiàn)，而另一個以硬件方式實現(xiàn)。通過這樣，可以以個別路徑并行驅(qū)動視頻用編碼器和靜止圖像用編碼器，從而高效地將相同的圖像信號轉換為視頻數(shù)據(jù)和靜止圖像數(shù)據(jù)。

10、本發(fā)明所涉及的信息處理終端優(yōu)選具備通信部和控制部。通信部是用于通過互聯(lián)網(wǎng)等通信線路與接收終端進行通信的組件。信息處理終端(傳送終端)和接收終端可以被構成為以服務器設備等中繼進行相互通信，也可以被構成為通過點對點直接通信?？刂撇吭谙蚪邮战K端傳送視頻數(shù)據(jù)的期間，在從接收終端接收到包含指定視頻數(shù)據(jù)內(nèi)的特定的時間點的靜止圖像請求信號的情況下，執(zhí)行從存儲器讀取與所述時間點對應的靜止圖像數(shù)據(jù)并將其傳送至接收終端的處理。此實施方式假設，例如，現(xiàn)場的作業(yè)員佩戴信息處理終端(傳送終端)并拍攝視頻，并將所述視頻數(shù)據(jù)傳送至遠程支援者的接收終端。在這種情況下，當支援者指定視頻數(shù)據(jù)中的任意的時間點時，能夠?qū)⑴c其指示的時間點對應的高質(zhì)量靜止圖像數(shù)據(jù)從信息處理終端傳送至接收終端。

11、在本發(fā)明所涉及的信息處理終端中，通信部還可以進一步與服務器設備進行通信。在這種情況下，控制部進一步在完成向接收終端傳送視頻數(shù)據(jù)后，執(zhí)行將保存于存儲器中的靜止圖像數(shù)據(jù)上傳至服務器設備的處理。此外，此時，信息處理終端也可以將靜止圖像數(shù)據(jù)與視頻數(shù)據(jù)一起上傳至服務器設備。像這樣，如果信息處理終端已將靜止圖像數(shù)據(jù)上傳至服務器設備，例如即使已從信息處理終端的存儲器中刪除了靜止圖像數(shù)據(jù)的情況下，接收者終端仍然可以通過訪問服務器設備來獲取或瀏覽任意的靜止圖像數(shù)據(jù)。

12、在本發(fā)明所涉及的信息處理終端中，控制部還可以解析視頻數(shù)據(jù)，并在檢測到視頻數(shù)據(jù)內(nèi)包含特定的圖像時驅(qū)動靜止圖像用編碼器，并控制靜止圖像用編碼器以將圖像信號轉換為靜止圖像數(shù)據(jù)并將靜止圖像數(shù)據(jù)保存于存儲器。例如，當視頻數(shù)據(jù)中拍攝到二維代碼或三維代碼(如qr碼(注冊商標))時，可能有由于視頻數(shù)據(jù)的畫質(zhì)較差的原因，導致在信息處理終端(傳送終端)或接收終端無法準確讀取這些代碼的情況。此時，可以將視頻數(shù)據(jù)中包含這樣的三維代碼等作為觸發(fā)，通過啟動靜止圖像用編碼器以獲取靜止圖像數(shù)據(jù)，由于靜止圖像數(shù)據(jù)的畫質(zhì)相比視頻數(shù)據(jù)更佳，因此可以更準確地讀取三維代碼等。

13、本發(fā)明所涉及的信息處理終端優(yōu)選具備手勢傳感器、加速度傳感器、陀螺儀傳感器、地磁傳感器及生物傳感器中的一個以上傳感器。在這種情況下，信息處理終端的控制部可以在傳感器檢測到特定的信號時驅(qū)動靜止圖像用編碼器，并控制靜止圖像用編碼器以將圖像信號轉換為靜止圖像數(shù)據(jù)并將靜止圖像數(shù)據(jù)保存于存儲器。像這樣，當傳感器檢測到信息處理終端的佩戴者的特定動作，例如查看手邊的動作、注視正面的一點預定時間以上的動作、跌倒的動作等時，就會自動生成更高質(zhì)量的靜止圖像數(shù)據(jù)。通過這樣，例如在遠地的支援者指定之前，即可預測支援者可能會關注的靜止圖像數(shù)據(jù)，并預先準備好。通過這樣，能夠提高本發(fā)明所涉及的信息處理終端的便利性。

14、本發(fā)明所涉及的信息處理終端優(yōu)選為用于現(xiàn)場的作業(yè)人員佩戴的可穿戴設備。此外，在本發(fā)明所涉及的信息處理終端中，圖像信號優(yōu)選為所述作業(yè)人員所拍攝的現(xiàn)場作業(yè)的圖像的信號。

15、本發(fā)明的第二方面涉及圖像傳送系統(tǒng)。本發(fā)明所涉及的圖像傳送系統(tǒng)包含前述第一方面所涉及的信息處理裝置(傳送終端)，以及被構成為可從此信息處理裝置接收視頻數(shù)據(jù)及靜止圖像數(shù)據(jù)的接收終端。

16、本發(fā)明的第三方面涉及用于使移動信息終端作為前述第一方面所涉及的信息處理終端發(fā)揮功能的程序。此程序可以通過互聯(lián)網(wǎng)等方式下載，也可以預先安裝在移動信息終端上。此外，此程序也可以記錄在cd-rom等存儲介質(zhì)中。

17、發(fā)明效果

18、根據(jù)本發(fā)明，可以容易地獲取與視頻數(shù)據(jù)的任意的時間點對應的靜止圖像數(shù)據(jù)。