飛機(jī)裝配中的數(shù)字孿生+AR技術(shù)

機(jī)械工業(yè)出版社E視界

2022年10月10日 15:53

瀏覽：2658 收藏：1

導(dǎo)讀

INTRODUCTION

飛機(jī)的分系統(tǒng)裝配過程中，涉及的零件復(fù)雜， 種類繁多 ，傳統(tǒng)的紙質(zhì)裝配大綱對(duì)于裝配人員的理解構(gòu)成一定的挑戰(zhàn)。而應(yīng)用基于AR技術(shù)的輔助裝配方法，可以幫助操作人員快速理解裝配過程、輔助裝配操作。

文章來源

本文引自：《虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)技術(shù)》（作者：趙罡，韓鵬飛，劉亞醉），由清華大學(xué)出版社「智造苑」原創(chuàng)首發(fā)，數(shù)字化企業(yè)經(jīng)授權(quán)發(fā)布。

另外，裝配狀態(tài)的監(jiān)測對(duì)于保證裝配質(zhì)量非常重要的，將AR技術(shù)應(yīng)用裝配狀態(tài)檢測，可以構(gòu)建其虛擬裝配實(shí)體，與工藝要求進(jìn)行比對(duì)實(shí)現(xiàn)動(dòng)態(tài)檢測。這里介紹在中機(jī)身部段的系統(tǒng)件裝配現(xiàn)場應(yīng)用AR設(shè)備實(shí)現(xiàn)裝配過程可視化展示技術(shù)，以及不同裝配場景下的智能化輔助裝配系統(tǒng)。該系統(tǒng)的功能包括AR環(huán)境下的航空線纜安裝實(shí)時(shí)可視化指導(dǎo)， 基于AR的支架安裝狀態(tài)檢測，以及基于云服務(wù)器的集成控制技術(shù)。

基于AR的線纜接頭

裝配過程可視化

基于AR眼鏡的線纜接頭安裝輔助系統(tǒng)結(jié)構(gòu)如圖1所示。由于飛機(jī)上用到的線纜和接頭種類極其繁多，需要參考圖紙才能完成線纜和接頭的安裝。而線纜上的編號(hào)較小，人工辨認(rèn)效率低，尋找安裝孔效率也很低。因此在安裝過程中自動(dòng)辨認(rèn)編號(hào)，定位安裝孔，可以提高線纜接頭安裝過程的效率。

圖1 基于AR眼鏡的線纜接頭安裝輔助系統(tǒng)架構(gòu)

基于AR眼鏡的線纜接頭安裝輔助系統(tǒng)主要由兩部分組成：數(shù)據(jù)庫構(gòu)建端和眼鏡端。數(shù)據(jù)庫構(gòu)建端負(fù)責(zé)建立接頭型譜圖數(shù)據(jù)庫，包含線纜和接頭的對(duì)應(yīng)關(guān)系，為眼鏡端做數(shù)據(jù)準(zhǔn)備。眼鏡端負(fù)責(zé)在安裝過程中顯示線纜和接頭的信息和裝配大綱中的核心步驟等，輔助工人完成線纜和接頭的安裝。

在數(shù)據(jù)庫構(gòu)建端，開發(fā)型譜圖數(shù)據(jù)庫構(gòu)建軟件，可以直接從接頭的照片中提取信息，并利用CAD軟件進(jìn)行二次開發(fā)，繪制接頭型譜圖。首先通過圖像算法提取照片中的接頭型譜圖信息，其計(jì)算過程如圖2所示。在圖像算法的開發(fā)中，提出了插頭孔位小目標(biāo)的檢測網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)不同類別的孔位的高精度檢測與識(shí)別。在識(shí)別到空位的輪廓和編號(hào)引導(dǎo)線之后，就可以在程序中完成孔位編號(hào)的自動(dòng)生成，產(chǎn)生的型譜圖如圖3所示。為了獲得每一個(gè)孔位的編號(hào)，生成規(guī)范的型譜圖，設(shè)計(jì)了無序孔位的分布排列算法。 型譜圖的生成利用了國產(chǎn)CAD軟件CAXA提供的二次開發(fā)接口，在CAD中構(gòu)建二維的準(zhǔn)確型譜圖。

圖2 從照片中提取型譜圖的過程

圖3 型譜圖的生成

在操作人員佩戴AR眼鏡執(zhí)行裝配操作時(shí)，其眼前展示的場景如圖4所示。利用眼鏡上的攝像機(jī)識(shí)別到線纜上的標(biāo)號(hào)，然后與數(shù)據(jù)庫中的裝配工藝進(jìn)行匹配，找出正確的安裝位置。這里識(shí)別編號(hào)的功能通過OCR相關(guān)算法實(shí)現(xiàn)，并且對(duì)于扭曲字體進(jìn)行了特殊處理，保證了較高的識(shí)別精度。 同時(shí)，操作人員還可以通過語音識(shí)別技術(shù)識(shí)別線纜編號(hào)。

圖4 AR眼鏡中的裝配信息可視化展示

在編號(hào)識(shí)別和型譜圖構(gòu)建的基礎(chǔ)上，系統(tǒng)可以在AR眼鏡中疊加顯示二維的孔位頻譜圖，在其上高亮顯示導(dǎo)線對(duì)應(yīng)插孔，輔助導(dǎo)線接頭安裝過程。另外，還可以通過圖像識(shí)別技術(shù)，對(duì)安裝好的插頭進(jìn)行檢查，實(shí)現(xiàn)錯(cuò)裝導(dǎo)線的孔位和漏裝導(dǎo)線的孔位的檢錯(cuò)，在AR眼鏡中展示檢錯(cuò)警告。

基于AR的支架安裝狀態(tài)檢測

支架的作用是用于固定線纜，安裝在飛機(jī)機(jī)身壁板上，保證線纜的正確走線路徑。由于飛機(jī)上的線纜支架種類繁多，安裝過程繁瑣，需要一種輔助的裝配狀態(tài)監(jiān)測對(duì)比手段。 在AR系統(tǒng)中實(shí)現(xiàn)采用基于圖像處理的線纜支架識(shí)別功能，具有輕量、便捷、高效的特點(diǎn)。

基于AR眼鏡圖像處理的支架安裝狀態(tài)檢測方案如圖5所示。由于通過圖像直接進(jìn)行支架的三維模型匹配和監(jiān)測需要很高的計(jì)算性能，而目前AR眼鏡還無法滿足這一要求，這里將其轉(zhuǎn)化為二維圖像處理問題來解決。 即預(yù)先將支架在各個(gè)角度生成二維圖像，并在服務(wù)器中存儲(chǔ)為圖庫。實(shí)際監(jiān)測時(shí)，通過將拍攝的支架圖片進(jìn)行圖像處理，提取圖像輪廓，計(jì)算輪廓矩，作為當(dāng)前支架姿態(tài)的特征，輸入到姿態(tài)數(shù)據(jù)庫（圖庫）中進(jìn)行kNN最鄰近搜索，查找到與其最匹配的姿態(tài)作為輸出。

圖5 基于AR的支架安裝狀態(tài)監(jiān)測系統(tǒng)架構(gòu)

以單獨(dú)支架狀態(tài)監(jiān)測為基礎(chǔ)，面對(duì)整塊裝配區(qū)域的多個(gè)安裝位置的支架，可以通過模板匹配的方法，識(shí)別整個(gè)區(qū)域的所有支架狀態(tài)。如圖6所示，首先分割裝配區(qū)域的整體圖像，將支架與壁板分離，然后檢測每一支架的安裝狀態(tài)。 查找裝配工藝數(shù)據(jù)庫，檢查出漏裝、反裝及型號(hào)錯(cuò)誤問題，為現(xiàn)場操作人員提供安裝狀態(tài)的建議。

圖6 支架的漏裝，反裝及型號(hào)錯(cuò)誤問題的檢測

與工業(yè)機(jī)器人的結(jié)合，使得基于圖像的支架狀態(tài)識(shí)別技術(shù)不再局限于AR眼鏡，可以實(shí)現(xiàn)自動(dòng)化的裝配檢測，減輕了操作人員的負(fù)擔(dān)。如圖7所示，機(jī)器人的末端執(zhí)行器安裝有工業(yè)相機(jī)，可以拍攝支架的照片。在機(jī)器人虛擬仿真環(huán)境中，給定了支架的位置，可以自動(dòng)規(guī)劃出機(jī)器人運(yùn)動(dòng)軌跡，實(shí)現(xiàn)控制真實(shí)機(jī)器人完成監(jiān)測任務(wù)。

圖7 機(jī)器人自動(dòng)化支架狀態(tài)檢測（仿真環(huán)境與實(shí)物對(duì)比）

基于云服務(wù)的裝配狀態(tài)監(jiān)控

集成控制系統(tǒng)

受限于當(dāng)前AR眼鏡的計(jì)算能力不足和較小的存儲(chǔ)空間，線纜接頭裝配和支架狀態(tài)檢測中，有很多功能和數(shù)據(jù)需要借助云服務(wù)來實(shí)現(xiàn)。如圖8所示，云服務(wù)（GrapeServer）中提供了多項(xiàng)功能， 包括OCR，語音指令識(shí)別，支架圖片監(jiān)測，業(yè)務(wù)信息存儲(chǔ)。云服務(wù)為AR智能眼鏡的使用提供了有力支撐。

圖8 基于AR裝配的云服務(wù)架構(gòu)

為了方便管理云服務(wù)中的功能，加入了ManagerServer用于提供管理入口。采用瀏覽器/服務(wù)器模式提供后臺(tái)服務(wù)，可以為用戶分配管理員、觀察者、監(jiān)察者三種角色，并賦予不同的操作權(quán)限。管理員對(duì)系統(tǒng)所需信息進(jìn)行維護(hù)，監(jiān)察者對(duì)任務(wù)提供遠(yuǎn)程裝配指導(dǎo)與監(jiān)控，觀察者對(duì)系統(tǒng)運(yùn)行進(jìn)行查看。由于在瀏覽器中可以完成所有操作，對(duì)云服務(wù)的管理不再受限于設(shè)備類型和工作地點(diǎn)。

文章來源：數(shù)字化企業(yè)

登錄后免費(fèi)查看全文

立即登錄