本發(fā)明涉及一種集成觸覺和視覺感知的微納機(jī)器人磁場(chǎng)操控系統(tǒng)、方法。
背景技術(shù)：
1、微納機(jī)器人憑借其微小尺寸特性，在靶向藥物遞送、精準(zhǔn)醫(yī)療等領(lǐng)域展現(xiàn)出顯著優(yōu)勢(shì)。然而受限于簡(jiǎn)單的機(jī)械結(jié)構(gòu)，當(dāng)搭載驅(qū)動(dòng)裝置時(shí)難以穿越生物體內(nèi)的狹窄通道，因此亟需發(fā)展無(wú)纜驅(qū)動(dòng)技術(shù)以實(shí)現(xiàn)預(yù)期功能。在多種微機(jī)器人的驅(qū)動(dòng)方法中，磁場(chǎng)驅(qū)動(dòng)因其優(yōu)異的生物組織穿透性、無(wú)輻射危害以及高效能與快速響應(yīng)特性，能夠在復(fù)雜狹窄環(huán)境中實(shí)現(xiàn)安全高效的非接觸式操控，已成為該領(lǐng)域研究熱點(diǎn)。
2、在微機(jī)器人操控策略方面，現(xiàn)有方法主要分為兩類：全自動(dòng)化控制與人工操控。全自動(dòng)化系統(tǒng)依賴預(yù)設(shè)參數(shù)和規(guī)劃路徑執(zhí)行任務(wù)，但面對(duì)動(dòng)態(tài)變化的體內(nèi)環(huán)境時(shí)，其固定算法難以應(yīng)對(duì)突發(fā)狀況，可能導(dǎo)致任務(wù)失敗。人工操控模式雖可通過(guò)專業(yè)操作人員實(shí)時(shí)調(diào)整策略，但該方式對(duì)操作者技能要求極高，且存在人為誤差風(fēng)險(xiǎn)。此外，人工操作的持續(xù)性和穩(wěn)定性受限，難以滿足長(zhǎng)時(shí)間醫(yī)療干預(yù)需求。因此，現(xiàn)有控制方案在環(huán)境適應(yīng)性和操作可靠性方面均存在明顯缺陷。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明提出一種集成觸覺和視覺感知的微納機(jī)器人磁場(chǎng)操控系統(tǒng)及方法，旨在解決在教學(xué)、科研等可控實(shí)驗(yàn)室環(huán)境中研究磁控微納機(jī)器人時(shí)，全自動(dòng)化控制難以應(yīng)對(duì)突發(fā)狀況以及人工操作在持續(xù)性和穩(wěn)定性方面存在不足的問(wèn)題。
2、第一方面，提出一種集成觸覺和視覺感知的微納機(jī)器人磁場(chǎng)操控系統(tǒng)，包括：相機(jī)，用于實(shí)時(shí)采集管道內(nèi)微納機(jī)器人的圖像；磁場(chǎng)產(chǎn)生裝置，其通過(guò)永磁體產(chǎn)生驅(qū)動(dòng)所述微納機(jī)器人在管道中運(yùn)動(dòng)的梯度磁場(chǎng)；機(jī)械臂，其末端連接所述永磁體，用于帶動(dòng)所述永磁體運(yùn)動(dòng)以調(diào)整其三維位姿，從而改變所述梯度磁場(chǎng)的分布方向和梯度，以遠(yuǎn)程操控管道內(nèi)微納機(jī)器人的運(yùn)動(dòng)軌跡；力反饋設(shè)備，用于提供所述微納機(jī)器人與管道邊界接觸的力反饋信號(hào)；計(jì)算機(jī)，分別與所述相機(jī)、所述力反饋設(shè)備和所述機(jī)械臂通信連接，配置為：根據(jù)所述相機(jī)采集的圖像識(shí)別微納機(jī)器人的聚集狀態(tài)；當(dāng)識(shí)別到微納機(jī)器人處于分散狀態(tài)時(shí)，控制增大所述力反饋設(shè)備的阻力，并控制降低所述永磁體的旋轉(zhuǎn)速度；當(dāng)識(shí)別到微納機(jī)器人恢復(fù)聚集狀態(tài)時(shí)，控制減小所述力反饋設(shè)備的阻力，并控制恢復(fù)所述永磁體的旋轉(zhuǎn)速度。
3、在一些示例中，所述磁場(chǎng)產(chǎn)生裝置包括控制器、驅(qū)動(dòng)器以及步進(jìn)電機(jī)，所述控制器生成pwm控制信號(hào)，所述驅(qū)動(dòng)器根據(jù)pwm控制信號(hào)調(diào)節(jié)所述步進(jìn)電機(jī)的旋轉(zhuǎn)角度，驅(qū)動(dòng)所述永磁體形成梯度磁場(chǎng)分布。
4、在一些示例中，所述相機(jī)包括：雙目視覺模塊，包括兩個(gè)rgb鏡頭，用于同步采集彩色圖像；以及結(jié)構(gòu)光測(cè)距模塊，包括紅外激光點(diǎn)陣發(fā)射器和紅外圖像傳感器，通過(guò)主動(dòng)投射紅外激光點(diǎn)陣并捕捉其形變，計(jì)算微納機(jī)器人的深度數(shù)據(jù)。
5、在一些示例中，所述相機(jī)還包括紅外led陣列，用于在低光環(huán)境下增強(qiáng)場(chǎng)景亮度，輔助彩色圖像與深度數(shù)據(jù)的同步采集。
6、在一些示例中，所述計(jì)算機(jī)通過(guò)目標(biāo)檢測(cè)算法對(duì)所述相機(jī)采集的彩色圖像進(jìn)行處理，以識(shí)別微納機(jī)器人在管道中的位置，并結(jié)合獲取的深度數(shù)據(jù)，計(jì)算微納機(jī)器人的三維空間坐標(biāo)。
7、在一些示例中，所述計(jì)算機(jī)進(jìn)一步通過(guò)顏色直方圖與紋理特征匹配算法對(duì)連續(xù)幀圖像進(jìn)行跟蹤，生成微納機(jī)器人的運(yùn)動(dòng)軌跡，并基于多幀三維坐標(biāo)數(shù)據(jù)構(gòu)建管道內(nèi)場(chǎng)景的三維點(diǎn)云模型，為所述機(jī)械臂提供位姿引導(dǎo)。
8、在一些示例中，當(dāng)檢測(cè)到微納機(jī)器人分散時(shí)，所述力反饋設(shè)備增加操作阻力并觸發(fā)視覺告警；當(dāng)微納機(jī)器人恢復(fù)聚集狀態(tài)時(shí)，觸覺阻尼及告警同步解除。
9、第二方面，提出一種所述的集成觸覺和視覺感知的微納機(jī)器人磁場(chǎng)操控系統(tǒng)的操控方法，包括：s1.操作者通過(guò)力反饋設(shè)備驅(qū)動(dòng)機(jī)械臂攜帶磁場(chǎng)產(chǎn)生裝置的永磁體沿預(yù)設(shè)軌跡運(yùn)動(dòng)，永磁體生成梯度磁場(chǎng)引導(dǎo)微納機(jī)器人移動(dòng)；s2.相機(jī)實(shí)時(shí)捕獲管道內(nèi)微納機(jī)器人運(yùn)動(dòng)狀態(tài)，計(jì)算機(jī)通過(guò)目標(biāo)檢測(cè)與深度數(shù)據(jù)融合計(jì)算三維位姿；s3.當(dāng)微納機(jī)器人與管壁接觸或發(fā)生形態(tài)異常時(shí)，力反饋設(shè)備實(shí)時(shí)生成反向作用力，觸覺提示操作者；同時(shí)相機(jī)觸發(fā)視覺告警；s4.操作者基于觸覺反饋及視覺告警調(diào)整機(jī)械臂運(yùn)動(dòng)參數(shù)，計(jì)算機(jī)同步優(yōu)化路徑規(guī)劃算法，直至微納機(jī)器人恢復(fù)穩(wěn)定狀態(tài)并抵達(dá)目標(biāo)位置。
10、本發(fā)明通過(guò)結(jié)合觸覺和視覺反饋，在面對(duì)復(fù)雜或動(dòng)態(tài)環(huán)境時(shí)，系統(tǒng)可以根據(jù)操作人員的判斷適應(yīng)突發(fā)情況，從而提高靶向遞送任務(wù)的成功率。
11、本發(fā)明利用遙操作技術(shù)進(jìn)行磁場(chǎng)操控，提供了全新的交互方式，可以顯著提高操作人員的操作體驗(yàn)和效率，增強(qiáng)了操作的直觀性和精確性。
12、本發(fā)明利用力反饋設(shè)備進(jìn)行觸覺感知，提高了微機(jī)器人群運(yùn)輸管道的檢測(cè)和導(dǎo)航的效率和安全性；通過(guò)相機(jī)成像，提高了操作人員的可視化性。
1.一種集成觸覺和視覺感知的微納機(jī)器人磁場(chǎng)操控系統(tǒng)，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述力反饋設(shè)備的工作空間為160×120×70mm，位置分辨率不低于0.055mm，各軸向剛度滿足：x軸1.26n/mm、y軸2.31n/mm、z軸1.02n/mm，最大輸出力為3.3n。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述機(jī)械臂采用六自由度結(jié)構(gòu)設(shè)計(jì)。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述磁場(chǎng)產(chǎn)生裝置包括控制器、驅(qū)動(dòng)器以及步進(jìn)電機(jī)，所述控制器生成pwm控制信號(hào)，所述驅(qū)動(dòng)器根據(jù)pwm控制信號(hào)調(diào)節(jié)所述步進(jìn)電機(jī)的旋轉(zhuǎn)角度，驅(qū)動(dòng)所述永磁體形成梯度磁場(chǎng)分布。
5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述相機(jī)包括：雙目視覺模塊，包括兩個(gè)rgb鏡頭，用于同步采集彩色圖像；以及結(jié)構(gòu)光測(cè)距模塊，包括紅外激光點(diǎn)陣發(fā)射器和紅外圖像傳感器，通過(guò)主動(dòng)投射紅外激光點(diǎn)陣并捕捉其形變，計(jì)算微納機(jī)器人的深度數(shù)據(jù)。
6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其特征在于，所述相機(jī)還包括紅外led陣列，用于在低光環(huán)境下增強(qiáng)場(chǎng)景亮度，輔助彩色圖像與深度數(shù)據(jù)的同步采集。
7.根據(jù)權(quán)利要求5所述的系統(tǒng)，其特征在于，所述計(jì)算機(jī)通過(guò)目標(biāo)檢測(cè)算法對(duì)所述相機(jī)采集的彩色圖像進(jìn)行處理，以識(shí)別微納機(jī)器人在管道中的位置，并結(jié)合獲取的深度數(shù)據(jù)，計(jì)算微納機(jī)器人的三維空間坐標(biāo)。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述計(jì)算機(jī)進(jìn)一步通過(guò)顏色直方圖與紋理特征匹配算法對(duì)連續(xù)幀圖像進(jìn)行跟蹤，生成微納機(jī)器人的運(yùn)動(dòng)軌跡，并基于多幀三維坐標(biāo)數(shù)據(jù)構(gòu)建管道內(nèi)場(chǎng)景的三維點(diǎn)云模型，為所述機(jī)械臂提供位姿引導(dǎo)。
9.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，當(dāng)檢測(cè)到微納機(jī)器人分散時(shí)，所述力反饋設(shè)備增加操作阻力并觸發(fā)視覺告警；當(dāng)微納機(jī)器人恢復(fù)聚集狀態(tài)時(shí)，觸覺阻尼及告警同步解除。
10.一種權(quán)利要求1-9任一項(xiàng)所述的集成觸覺和視覺感知的微納機(jī)器人磁場(chǎng)操控系統(tǒng)的操控方法，其特征在于，包括：