試想一下，在化工廠等高危環(huán)境中，一名工程師站在安全區(qū)域內(nèi)，僅憑幾個(gè)簡(jiǎn)單的手勢(shì)，便能精準(zhǔn)操控遠(yuǎn)處的機(jī)械手完成復(fù)雜的操作任務(wù)?；蛟S這些橋段常常出現(xiàn)在科幻電影中，而意法半導(dǎo)體通過其AI手勢(shì)識(shí)別與自動(dòng)化控制解決方案，正在將這一愿景變?yōu)楝F(xiàn)實(shí)的成果。

隨著工業(yè)4.0浪潮的推進(jìn)，工廠自動(dòng)化正以前所未有的速度演進(jìn)，而意法半導(dǎo)體的技術(shù)創(chuàng)新讓我們看到了人機(jī)交互的全新可能——以一種更自然、更高效、更安全的協(xié)作方式。在2025年慕尼黑上海電子展上，gongkong?有幸采訪到了意法半導(dǎo)體自動(dòng)化技術(shù)創(chuàng)新中心應(yīng)用工程師黃凱杰先生，并深入探討了這套基于AI的手勢(shì)識(shí)別與自動(dòng)化控制解決方案的技術(shù)原理、應(yīng)用場(chǎng)景及其對(duì)未來工業(yè)自動(dòng)化的深遠(yuǎn)影響。

意法半導(dǎo)體自動(dòng)化技術(shù)創(chuàng)新中心應(yīng)用工程師黃凱杰

從“感知”到“執(zhí)行”的智能協(xié)同

黃凱杰首先詳細(xì)介紹了這套系統(tǒng)的模塊化架構(gòu)及其協(xié)同工作方式。整套解決方案由三部分構(gòu)成：感知部分、數(shù)據(jù)處理部分和執(zhí)行部分。感知部分由STM32N6微控制器負(fù)責(zé)，它集成了強(qiáng)大的加速器神經(jīng)處理單元（NPU），能夠?qū)崟r(shí)處理攝像頭捕捉到的手部視頻數(shù)據(jù)，并提取手部21個(gè)關(guān)鍵點(diǎn)的三維坐標(biāo)信息。數(shù)據(jù)處理部分由基于STM32MP257的PLC完成，將這些關(guān)鍵點(diǎn)數(shù)據(jù)轉(zhuǎn)化為機(jī)械手關(guān)節(jié)的角度指令；而執(zhí)行部分則是靈巧手，通過高精度伺服電機(jī)實(shí)現(xiàn)對(duì)人類手勢(shì)的精準(zhǔn)跟隨。

“STM32N6憑借出色的計(jì)算能力，能讓手勢(shì)識(shí)別達(dá)到每秒30幀的高識(shí)別速率，真正實(shí)現(xiàn)實(shí)時(shí)處理。”黃凱杰指出，與傳統(tǒng)GPU方案相比， STM32N6 作為視覺識(shí)別的信號(hào)處理器，其性價(jià)比更高且功耗更低，尤其適用于資源受限型場(chǎng)景。

而整套方案的核心亮點(diǎn)正是作為中央控制單元的PLC，不僅實(shí)現(xiàn)了模塊化架構(gòu)設(shè)計(jì)，更顯著提升了系統(tǒng)集成效率。該設(shè)計(jì)凸顯以下核心優(yōu)勢(shì)：

● 靈活擴(kuò)展：模塊化組件支持無縫升級(jí)與維護(hù)，無需停機(jī)即可完成系統(tǒng)迭代；

● 高可靠性與安全性：PLC的自主操作系統(tǒng)（CODESYS）相較板卡級(jí)控制系統(tǒng)，具有更強(qiáng)的抗干擾能力和數(shù)據(jù)保護(hù)機(jī)制；

● 長(zhǎng)期成本可控：減少對(duì)專用硬件（如GPU）的依賴，有效規(guī)避供應(yīng)商鎖定風(fēng)險(xiǎn)，降低后續(xù)升級(jí)與維護(hù)成本。

通過STM32N6的強(qiáng)大AI計(jì)算能力和STM32MP257 PLC的實(shí)時(shí)控制能力，這套系統(tǒng)真正實(shí)現(xiàn)了從“感知”到“執(zhí)行”的閉環(huán)控制，使得機(jī)械手真正成為人類手勢(shì)的“延伸”，為人機(jī)協(xié)作提供了更自然、更高效的交互方式。

從柔性制造到高危環(huán)境的革新實(shí)踐

傳統(tǒng)機(jī)械臂通常依賴按鈕、遙控器或復(fù)雜的編程界面，而手勢(shì)交互則讓“人機(jī)協(xié)作”變得更加直觀和自然。正如黃凱杰所言，這套方案特別適用于高危場(chǎng)景，比如化工廠或輻射環(huán)境，工人可以通過手勢(shì)遠(yuǎn)程操控機(jī)械手完成復(fù)雜任務(wù)，而無需直接接觸危險(xiǎn)區(qū)域。此外，手勢(shì)交互的優(yōu)勢(shì)在于操作簡(jiǎn)單，不需要工人具備專業(yè)的編程知識(shí)，只需通過自然的手勢(shì)動(dòng)作即可完成設(shè)備控制，顯著提升了操作效率和安全性。

在裝配線上，手勢(shì)交互同樣展現(xiàn)出巨大的潛力。例如，工人可以通過手勢(shì)快速調(diào)整機(jī)械臂的動(dòng)作，大幅縮短調(diào)試時(shí)間。這種柔性控制能力不僅提高了生產(chǎn)效率，還為工廠應(yīng)對(duì)多樣化生產(chǎn)需求提供了更多可能性。

在實(shí)際工業(yè)場(chǎng)景中，面對(duì)復(fù)雜多變的環(huán)境光線，這套系統(tǒng)同樣展現(xiàn)出強(qiáng)大的適應(yīng)性。黃凱杰介紹，當(dāng)前基于視覺的解決方案主要依賴光學(xué)攝像頭，但意法半導(dǎo)體的系統(tǒng)可以無縫集成VL53L8CX矩陣飛行時(shí)間（ToF）傳感器。這種基于ToF的技術(shù)不依賴環(huán)境光照條件，即使在完全黑暗的環(huán)境中也能保持穩(wěn)健的手勢(shì)識(shí)別能力。

STM32的AI技術(shù)將推動(dòng)工廠人機(jī)協(xié)作邁向‘直覺化交互’。該技術(shù)還可拓展至農(nóng)業(yè)自動(dòng)化（果實(shí)分揀）、智能倉(cāng)儲(chǔ)（無人叉車調(diào)度）、消費(fèi)電子（AR手勢(shì)交互）及醫(yī)療康復(fù)（假肢精準(zhǔn)控制）等領(lǐng)域，其低功耗、高性價(jià)比特性正加速AI在邊緣計(jì)算場(chǎng)景的普惠化落地。黃凱杰透露，未來，公司計(jì)劃進(jìn)一步擴(kuò)展該方案的AI能力，豐富行業(yè)垂直模型庫(kù)，例如機(jī)械臂抓取、焊縫檢測(cè)等，為工業(yè)自動(dòng)化帶來更多可能性。

平衡性能與成本，實(shí)現(xiàn)長(zhǎng)期價(jià)值

成本和部署難度是工廠關(guān)注的重點(diǎn)之一。黃凱杰強(qiáng)調(diào)，這套解決方案在設(shè)計(jì)之初便充分考慮了性能與成本的平衡。

一方面，技術(shù)實(shí)現(xiàn)優(yōu)勢(shì)：盡管手勢(shì)識(shí)別模型在訓(xùn)練階段需要大量計(jì)算資源，但部署后的解決方案僅需運(yùn)行在STM32N6處理器上。憑借其600GOPS的算力，N6以GPU方案成本的一小部分即可滿足性能需求，實(shí)現(xiàn)顯著的硬件成本節(jié)約。

另一方面，工業(yè)級(jí)設(shè)計(jì)理念：采用PLC作為控制核心的設(shè)計(jì)，刻意與現(xiàn)實(shí)工業(yè)自動(dòng)化架構(gòu)保持一致。這確保了與現(xiàn)有工業(yè)工作流程的無縫銜接，即只需對(duì)現(xiàn)有設(shè)施配置進(jìn)行微小改造即可部署系統(tǒng)。

的確，模塊化設(shè)計(jì)不僅提升了系統(tǒng)的靈活性和可擴(kuò)展性，還顯著降低了部署難度，為未來的升級(jí)和維護(hù)提供了便利。這也體現(xiàn)了意法半導(dǎo)體對(duì)工業(yè)用戶需求的深刻理解，更彰顯了其在技術(shù)開發(fā)中始終以用戶體驗(yàn)為核心的價(jià)值追求。

意法半導(dǎo)體的AI手勢(shì)識(shí)別與自動(dòng)化控制解決方案不僅是一項(xiàng)技術(shù)創(chuàng)新，更展現(xiàn)了工業(yè)4.0時(shí)代人機(jī)協(xié)作模式的一次深刻變革，具備極高的實(shí)用價(jià)值和廣闊的應(yīng)用前景。

展望未來，隨著工業(yè)4.0的深入推進(jìn)，人工智能與邊緣計(jì)算的需求將愈加旺盛。意法半導(dǎo)體憑借其高性能、低功耗的STM32系列芯片和強(qiáng)大的生態(tài)系統(tǒng)，為工業(yè)自動(dòng)化注入更多的智慧動(dòng)能。