友快網

導航選單

“天才少年”稚暉君「鋼鐵俠機械臂」學會用AI視覺抓螺母,訓練到部署僅需2小時

還記得一個半月前火爆全網的鋼鐵俠機械臂Dummy嗎?

就是出自華為天才少年“稚暉君”之手,能給葡萄縫針的那個!

在廁所遠端遙控、實時完成!

這臺如同《鋼鐵俠》裡一樣強悍的機械臂Dummy,讓不少業內人士看完直呼好強,影片一出,彈幕再次被網友刷瘋,紛紛表示:

之前的影片中,Dummy機械臂實現了7種互動方式,不過這還不夠,時隔一個半月,稚暉君的「鋼鐵俠機械臂」系列又更新了!

加上AI視覺,2小時學會抓螺母

Dummy再次出現,又給我們帶來了什麼驚喜呢?

這次,稚暉君用Dummy做了個AI視覺抓取demo,讓機械臂自己去抓取螺母。

將三個螺母放在白紙上,Dummy精準地識別到了螺母的位置,利用靈活的力反饋夾爪,抓取並放在目標位置上。

好不容易放上去的螺母又被稚暉君拿下來了,行吧,那就再抓一次。

機械臂:“怎麼又拿下來了?玩我是吧?”

稚暉君介紹,目前用Dummy做了個簡單的AI視覺抓取demo,從模型訓練到部署只花了2個小時。

後面會把遷移學習功能加入上位機Dummy Studio中,最終想實現的效果就是,可以用少量資料標註就自動生成端到端的模型來檢測自定義物品。

同時,可以用圖形化的方式呼叫各種演算法模組,配合後面的Dummy青春(低成本)版,大家應該可以用來做很多有趣的事情。

表面上看起來是電子和機械,背後全是演算法和數

這款機械臂從裡到外全部由稚暉君一人完成,耗時4個半月,其複雜與困難程度可想而知,光是結構設計圖就畫了150個版本:

解決了機械臂的電機、驅動器、減速器三大硬體部分後,更重要的是它的“靈魂”——控制、演算法和數學等。

控制器相當於機械臂的「小腦」,用來操控機械臂的動作、來實現各種功能。

AI視覺演算法相當於讓機械臂“長了雙眼睛”,讓機械臂能夠看見、並操作需要完成的任務。

在互動上,稚暉君也有自己的想法,“我想要打造的機械臂,是具備多種互動方式的。”

機械臂實現了7種互動方式,從最簡單的USB串列埠命令控制機械臂:

到圖形化上位機傻瓜式拖拽互動:

再到AR,結合增強顯示技術,實現這樣的效果:

最炫酷的是坐在廁所裡,就能利用手勢遠端操控機械臂給葡萄做一場手術!

正如影片中稚暉君自己總結的那樣:“這個專案表面上看起來是電子和機械,其實背後全是演算法和數學。”

網友開玩笑稱:

也不是沒有這個可能嘛。

【影片連結】

https://www。bilibili。com/video/BV1xY41147oh

上一篇:常德西湖:集體“淬火”鍛紀檢“鐵軍”
下一篇:越來越常見的甲狀腺結節,牢記五點,保護好甲狀腺