為什么說(shuō)工業(yè)機(jī)器人的那雙“慧眼 ” 并不聰慧？ | 雷鋒網(wǎng)公開(kāi)課

宗仁  黃鑫聯(lián)合編輯雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

過(guò)去的工業(yè)機(jī)器人，在我們眼中一直是一些冷冰冰的自動(dòng)化設(shè)備，但隨著計(jì)算機(jī)視覺(jué)的應(yīng)用，它慢慢變成了一個(gè)有感官，有思維，有情感的新一代工業(yè)機(jī)器人，并推動(dòng)著現(xiàn)在珠三角、長(zhǎng)三角、東北三省那邊轟轟烈烈的機(jī)器換人運(yùn)動(dòng)。但是工業(yè)機(jī)器人中的計(jì)算機(jī)視覺(jué)和我們常見(jiàn)的計(jì)算機(jī)視覺(jué)應(yīng)用有啥不一樣呢？

本期硬創(chuàng)公開(kāi)課我們請(qǐng)來(lái)了李群自動(dòng)化創(chuàng)始人&CEO，以他們創(chuàng)新工業(yè)機(jī)器人兩年多的體驗(yàn)，為我們闡述工業(yè)機(jī)器人的計(jì)算機(jī)視覺(jué)是怎樣的，它對(duì)于幫助現(xiàn)在提倡的柔性自動(dòng)化有何意義，以及現(xiàn)在在應(yīng)用中遇到的問(wèn)題。

石金博，李群自動(dòng)化創(chuàng)始人&CEO，香港科技大學(xué)ECE博士，師從世界頂尖機(jī)器人專家李澤湘教授，對(duì)世界機(jī)器人先進(jìn)技術(shù)和產(chǎn)業(yè)發(fā)展模式有深刻理解與認(rèn)識(shí)。2011年創(chuàng)立李群自動(dòng)化，致力于小輕量型工業(yè)機(jī)器人自主研發(fā)；2013年研發(fā)出全球首臺(tái)驅(qū)控一體并聯(lián)機(jī)器人。該機(jī)器人高度集成的設(shè)計(jì)已陸續(xù)被國(guó)內(nèi)外廠商效仿；領(lǐng)導(dǎo)研發(fā)團(tuán)隊(duì)突破高速實(shí)時(shí)視覺(jué)檢測(cè)技術(shù)等瓶頸，開(kāi)發(fā)出具備世界先進(jìn)技術(shù)水平的Apollo系列并聯(lián)機(jī)器人、Artemis系列SCARA機(jī)器人及相關(guān)配套產(chǎn)品。

CV在工業(yè)機(jī)器人上和服務(wù)機(jī)器人上的區(qū)別

Q：CV在工業(yè)機(jī)器人上的應(yīng)用和服務(wù)機(jī)器人上的應(yīng)用的主要區(qū)別是什么？ 

其實(shí)CV在機(jī)器人的應(yīng)用是從2011年開(kāi)始，大家逐步在一些電子產(chǎn)品的裝配上會(huì)用到機(jī)器視覺(jué)。像我所知的海康，原來(lái)這些公司用的主要的是視頻采集，并沒(méi)有加入視覺(jué)的算法。

如果說(shuō)差別，應(yīng)該從下面幾個(gè)方面來(lái)說(shuō)。

第一個(gè)是應(yīng)用場(chǎng)景。在工業(yè)機(jī)器人的環(huán)境里，計(jì)算機(jī)視覺(jué)看到的場(chǎng)景是相對(duì)單一，比如工業(yè)元器件或者材料，或者監(jiān)控一些操作過(guò)程。服務(wù)機(jī)器人應(yīng)用場(chǎng)景就要變化很多，比如生活中的場(chǎng)景，比如辨識(shí)人的首飾，表情啊。

在服務(wù)機(jī)器人里面，比如家用機(jī)器人，無(wú)人機(jī)，視覺(jué)其實(shí)是一個(gè)非常重要的導(dǎo)航的工具，利用CV完成對(duì)周邊環(huán)境的測(cè)算和空間建模，還有一個(gè)領(lǐng)域是比較典型的，就是監(jiān)控領(lǐng)域。

第二個(gè)是它所起的作用。計(jì)算機(jī)視覺(jué)對(duì)機(jī)器人來(lái)講無(wú)非是解決幾個(gè)事情，在工業(yè)機(jī)器人里面，可以通過(guò)視覺(jué)的導(dǎo)引完成軌跡或者定位的作用。

第三個(gè)是精度方面。在工業(yè)機(jī)器人里面，計(jì)算機(jī)視覺(jué)的辨識(shí)精度一定是在毫米級(jí)以下的，這里面包括一個(gè)靜態(tài)的辨識(shí)精度，一個(gè)動(dòng)態(tài)的辨識(shí)精度，靜態(tài)指的是相機(jī)或者觀測(cè)物品相對(duì)處在一個(gè)靜止的狀態(tài)，它這個(gè)時(shí)候的辨識(shí)精度取決于相機(jī)的分辨率，包括物品的邊緣是否清晰，差異化是否很明確，這個(gè)時(shí)候精度甚至可以達(dá)到微米級(jí)以下，服務(wù)機(jī)器人據(jù)我所知，大部分的精度并不會(huì)很高，可能會(huì)在厘米級(jí)以上。

第四個(gè)是在工作空間上的范圍。工業(yè)機(jī)器人的視覺(jué)辨識(shí)的空間，一種是把相機(jī)固定，視覺(jué)（相機(jī)）的大小是根據(jù)我的安裝空間導(dǎo)致視覺(jué)的分辨率有所限制；但服務(wù)機(jī)器人的工作空間，我的理解它的工作空間限于電池能持續(xù)多久。

第五個(gè)是安全性。工業(yè)機(jī)器人上的視覺(jué)部分是要求不太會(huì)被人所干擾的，盡量避免人和設(shè)備的不必要交互，但在服務(wù)機(jī)器人上，人和設(shè)備的地方非常多，這是視覺(jué)是人和服務(wù)機(jī)器人交互的一個(gè)很重要的途徑。另外一個(gè)是生命周期，這里面涉及到我視覺(jué)系統(tǒng)里的光源，相機(jī)安裝的可靠性。

那總的來(lái)講，計(jì)算機(jī)視覺(jué)在工業(yè)機(jī)器人和服務(wù)機(jī)器人最重要的差異，我覺(jué)得主要是在精度和可靠性方面。然后剩下的就是應(yīng)用場(chǎng)景的專門的功能需求。

Q: 工業(yè)機(jī)器人機(jī)器視覺(jué)傳感器最近有什么新進(jìn)展？ 

先簡(jiǎn)單地列舉一些視覺(jué)在工業(yè)機(jī)器人里的應(yīng)用：用的最多的是辨識(shí)物體的位置，方向，然后配合機(jī)器人進(jìn)行抓取，一般精度要到0.01毫米左右。

我認(rèn)為工業(yè)機(jī)器人的視覺(jué)傳感器就是工業(yè)機(jī)器人的整個(gè)視覺(jué)傳感系統(tǒng)，這里面考慮的大部分都是可靠性和維護(hù)性，在真正的使用中，新的硬件方案或者新的產(chǎn)品并不是很快就會(huì)進(jìn)行導(dǎo)入的，它都會(huì)需要一個(gè)長(zhǎng)期的檢測(cè)過(guò)程，我們說(shuō)的視覺(jué)系統(tǒng)一般包含相機(jī)，鏡頭，光源還有一些視覺(jué)的處理器，最近幾年smart camera這種傳感器算是用的比較多的。

smart camera大部分的用法都會(huì)選用一些PC base的用法，最典型的是基恩士，康耐視或者歐姆龍，他們的視覺(jué)最開(kāi)始都是在PC上，利用對(duì)數(shù)字相機(jī)圖像的采集處理，然后利用一些視覺(jué)算法輸出數(shù)據(jù)，最近幾年，基恩士首先把它的smart camera把它大量應(yīng)用在蘋果公司相關(guān)的一些檢測(cè)設(shè)備中。

這種smart camera比較好的地方是：它的封裝會(huì)會(huì)非常緊湊，整個(gè)鏡頭非常便于安裝，然后是在算法上進(jìn)行了大量的簡(jiǎn)化，和設(shè)備相連的時(shí)候，整個(gè)設(shè)備的安裝和相連非常的便捷。

現(xiàn)在最多的是基于2D的工業(yè)相機(jī)，但3D的導(dǎo)入會(huì)是一個(gè)非常明顯的趨勢(shì)，3D視覺(jué)技術(shù)現(xiàn)在達(dá)到的精度以及對(duì)于機(jī)器人配合的這種要求，目前來(lái)說(shuō)還沒(méi)到一個(gè)相對(duì)成熟的階段，可能還需要一定的時(shí)間進(jìn)行導(dǎo)入。

針對(duì)2D的相機(jī)，我們?cè)谶x取的時(shí)候主要會(huì)考慮基于怎樣的應(yīng)用場(chǎng)景，比如被測(cè)物體的大小，需要達(dá)到的辨識(shí)精度，這個(gè)部分主要是一些規(guī)格上的選取。如果說(shuō)誰(shuí)家的相機(jī)會(huì)更好，我們現(xiàn)在主要是選擇德國(guó)和日本的一些相機(jī)，比如說(shuō)德國(guó)的IDS，日本的歐姆龍；鏡頭的話主要選擇computar的鏡頭，在這種品質(zhì)保證的情況下，其實(shí)產(chǎn)品大同小異，不會(huì)差別太多，可能無(wú)非就是在使用和安裝習(xí)慣上的差異，以及價(jià)格包括貨期都是很重要的衡量標(biāo)準(zhǔn)。

工業(yè)機(jī)器人與自己，與人，與環(huán)境的交互

Q：工業(yè)機(jī)器人講究機(jī)器和機(jī)器的交互，機(jī)器和人的交互以及機(jī)器和環(huán)境的交互，您能舉個(gè)例子為我們講講他們是怎樣實(shí)現(xiàn)的？

這個(gè)其實(shí)是我們比較擅長(zhǎng)的部分。因?yàn)槲覀兝钊鹤詣?dòng)化從2013年開(kāi)始正式做機(jī)器人，到現(xiàn)在我們做的最多的事就是考慮機(jī)器人和設(shè)備、機(jī)器人和視覺(jué)或者和人如何交互。回答這個(gè)問(wèn)題之前，我們需要有一個(gè)前提：解決交互問(wèn)題前應(yīng)該是交互雙方有個(gè)協(xié)議，即交互雙方都可以懂的語(yǔ)言。

這種語(yǔ)言可以簡(jiǎn)單可以復(fù)雜，可以是一種或幾種，就像即使是兩個(gè)語(yǔ)言不通、文化背景不同的人還是可以通過(guò)眼神或者肢體語(yǔ)言去交流。

如果按照機(jī)器、人、和環(huán)境，我們分析一下他們所能發(fā)出的信息的形式和接收的信息的形式，以這樣的思路來(lái)進(jìn)行。我們以機(jī)器人為例，機(jī)器可以以什么樣的形式來(lái)表達(dá)出他想要表達(dá)的信息呢？

我們一般可以分兩種。

一種是機(jī)器主動(dòng)想表達(dá)的信息，這時(shí)候可能是機(jī)器的一個(gè)狀態(tài)，機(jī)器需要告訴別人的一些信息，我們認(rèn)為這是一種可控的信息，一般可以通過(guò)網(wǎng)絡(luò)、串口、I/O、或者是它可以操作的一些動(dòng)作來(lái)表達(dá)出來(lái)。

還有一類信息是異常信息，這一類的信息其實(shí)可能不是機(jī)器想要發(fā)出的，而是一種被動(dòng)輸出。什么叫被動(dòng)輸出呢？比如，一個(gè)機(jī)器突然輸出的產(chǎn)品大量產(chǎn)生異常，或者一個(gè)機(jī)器跑跑跑，某一個(gè)環(huán)節(jié)、電機(jī)要運(yùn)動(dòng)，然后發(fā)現(xiàn)怎么都運(yùn)動(dòng)不到。還有一種情況是機(jī)器做了一種行為，這種行為是不可理解的，或者不是預(yù)設(shè)的，那我們都認(rèn)為這確實(shí)是機(jī)器要發(fā)出的信息，但不是機(jī)器主動(dòng)發(fā)出的。

從人的角度來(lái)說(shuō)，人是最高級(jí)的生物，可以通過(guò)工具發(fā)出他想要發(fā)出的信息，比如說(shuō)他可以通過(guò)用戶界面，甚至是一些按鈕的操作，準(zhǔn)確的發(fā)出他的指令，人也可以通過(guò)觸碰產(chǎn)生一些信息，比如觸碰一些光柵。在協(xié)作型機(jī)器人里，人和機(jī)器觸碰甚至可能代表人讓機(jī)器人停下來(lái)這種指令。

環(huán)境的信息其實(shí)是最被動(dòng)的，因?yàn)榄h(huán)境是無(wú)法主動(dòng)表達(dá)信息的，它可能是通過(guò)來(lái)料、出料的異常，甚至是溫度、濕度的變化、甚至突然斷電了，大家也不知道發(fā)生了什么。這些信息，你做一個(gè)簡(jiǎn)單的分析，會(huì)發(fā)現(xiàn)在這種交互過(guò)程中，異常信息是最需要提前做好準(zhǔn)備和響應(yīng)方案的。

而且同時(shí)，人和機(jī)器作為兩個(gè)可以主動(dòng)交互的對(duì)象，人比較高級(jí)，可以辨識(shí)、響應(yīng)幾乎一切信息，但是人最大的問(wèn)題在于人會(huì)疲勞，人可能會(huì)有情緒干擾，導(dǎo)致對(duì)信息判斷的及時(shí)性和準(zhǔn)確性進(jìn)行干擾，沒(méi)有機(jī)器判斷那么穩(wěn)定。

機(jī)器由于不夠聰明，一定沒(méi)有人聰明，這時(shí)就會(huì)變成機(jī)器能把信息表達(dá)得多準(zhǔn)確多全面，其實(shí)取決于設(shè)計(jì)機(jī)器的人希望機(jī)械可以做到什么樣。

回到現(xiàn)在這個(gè)問(wèn)題來(lái)說(shuō)，我想重要的就是異常的信息，我認(rèn)為在自動(dòng)化環(huán)節(jié)，三方的交互中，如果一切都是沒(méi)有意外的，大家都按照預(yù)定的節(jié)奏和行為來(lái)進(jìn)行操作，那么交互大可不必，每個(gè)人都按照既定要求來(lái)做，這其實(shí)是最和諧的，實(shí)際上意外一定會(huì)產(chǎn)生，交互的意義就在于如何處理意外。

這時(shí)候就變成了，我們?nèi)绾胃兄惓＃瑫r(shí)協(xié)商出來(lái)面對(duì)異常的機(jī)制，大家交互的協(xié)商，最后達(dá)到異常的處理，回到原始的軌道。

這里給大家舉個(gè)例子，這里給家看個(gè)我們做的方案：

這是一個(gè)非常簡(jiǎn)單的生產(chǎn)線上下料工藝的需求，大家可以看到，在圖片左手邊模擬的是一個(gè)隧道爐，這實(shí)際上是一個(gè)手機(jī)蓋板非常典型的加工工藝，玻璃在進(jìn)行前端絲印之后，它需要經(jīng)過(guò)隧道爐完成印刷油墨的工藝要求，達(dá)到油墨的固定。

前端，是人把絲印好的玻璃放在傳送帶上，上料的速度我們得到的信息一般是在1300片/h，有個(gè)重要的工藝要求，由于隧道爐中有烘烤的工藝，所以傳送帶是一定不可以停的。

那么我們現(xiàn)在做的自動(dòng)化是要干嘛呢，是要把從隧道爐里出來(lái)得剛剛烘烤過(guò)的玻璃安全的下到料盤里面。

由于當(dāng)時(shí)當(dāng)時(shí)給我們的空間限制，隧道爐末端的空間非常有限，就是圖中兩個(gè)人所在的位置，那么自動(dòng)化設(shè)備要快速的把每小時(shí)一千三百片的來(lái)料下到料盤里，這就是自動(dòng)化的工藝要求，大家可以想想，對(duì)于機(jī)器人來(lái)說(shuō)，在這樣的工作空間里每小時(shí)可以做兩千次，那以這樣的速度，這個(gè)自動(dòng)化方案的難點(diǎn)和異常點(diǎn)在哪里？

這個(gè)是我們最后的布局方案設(shè)計(jì)。

我們做了一個(gè)工作站，這里包含了綠色的傳送帶，用來(lái)承接前端烘干機(jī)的傳送帶。在前端有一個(gè)視覺(jué)框架來(lái)動(dòng)態(tài)識(shí)別玻璃的位置和轉(zhuǎn)向，末端有一些機(jī)構(gòu)來(lái)保證下料料盤如何周轉(zhuǎn)。現(xiàn)在我列舉幾個(gè)實(shí)際操作中我們需要思考、處理的部分：

1. 瞬時(shí)uph。剛才提到烘干機(jī)前端是人工上料。人工上料有什么問(wèn)題呢？比如，這個(gè)人的早中晚生產(chǎn)狀態(tài)不同，在精神狀態(tài)好的時(shí)候，可能連續(xù)的一段時(shí)間內(nèi)生產(chǎn)效率非常高。可能在很累的時(shí)候生產(chǎn)效率就會(huì)很低，那么按照客戶給的數(shù)據(jù)1300uph。這時(shí)就遇到了一個(gè)問(wèn)題，假設(shè)五分鐘之內(nèi)，工人的狀態(tài)很好，他的瞬時(shí)效率高于2000時(shí)，機(jī)器人怎么辦？按照設(shè)定條件，機(jī)器人是來(lái)不及抓的。

2. 由于我們的視覺(jué)是用來(lái)判斷傳送帶上的玻璃，我在辨識(shí)的時(shí)候，有些在上料的時(shí)候，混了一些一些料或者其他什么誤差，導(dǎo)致玻璃沒(méi)有辨識(shí)出來(lái)。或者說(shuō)兩個(gè)玻璃挨在一起了，視覺(jué)無(wú)法辨識(shí)兩個(gè)玻璃的相對(duì)位置。這時(shí)候，這兩片玻璃是抓不起來(lái)的。

3. 我在下料的時(shí)候，當(dāng)我要把玻璃放在料盤里，恰巧料盤滿料，下一個(gè)料盤還沒(méi)過(guò)來(lái)。這時(shí)傳送線上的玻璃如何處理？

4. 料盤和玻璃也有放置精度的問(wèn)題，如果說(shuō)傳送帶像我們現(xiàn)在看到的部分，寬度是一米二，如果我們用一個(gè)視覺(jué)相機(jī)來(lái)說(shuō)，在一米二寬的視場(chǎng)范圍內(nèi)，在視場(chǎng)邊緣會(huì)產(chǎn)生嚴(yán)重畸變，這時(shí)我在吸取玻璃時(shí)，比如吸取5.7寸的玻璃它在邊緣的偏差可能就要大于兩毫米。這時(shí)吸取的玻璃可能放不進(jìn)料盤。

5. 假設(shè)吸盤變形，機(jī)器人看得很準(zhǔn)，機(jī)器人到位也很準(zhǔn)，但是吸盤壞了，吸起后玻璃偏了，還是放不進(jìn)料盤。

這些都是生產(chǎn)實(shí)際中真實(shí)會(huì)存在的異常，無(wú)論是由于物料、還是人工配合，這些異常都是要去及時(shí)發(fā)現(xiàn)并且處理的。

這是我們最后生成機(jī)臺(tái)的樣子，如果感興趣可以去李群網(wǎng)站上看整個(gè)機(jī)臺(tái)的視頻。

其實(shí)在這個(gè)機(jī)臺(tái)里剛才那幾個(gè)異常，我們不僅對(duì)傳送帶提供了一個(gè)可控的功能，保證我們一旦有玻璃來(lái)不及抓，或者有玻璃流出時(shí)是否由傳送帶可以停止，如果不停止的話，下端有個(gè)回送的傳送帶，保證玻璃不會(huì)掉進(jìn)縫里或者其它地方，保證不會(huì)直接產(chǎn)生廢品，我要盡量及時(shí)回收，避免損失。

另外在精度方面，由于前端的視覺(jué)變形，或者由于吸盤吸取的位置差異，這個(gè)是不可避免的，所以我們?cè)跈C(jī)器人吸起之后放置的過(guò)程中增加了我們自己開(kāi)發(fā)的飛拍的功能，保證了在機(jī)器人運(yùn)動(dòng)時(shí)同步辨認(rèn)玻璃在吸盤的位置，保證玻璃可以完好無(wú)損的放到托盤的相應(yīng)位置中。

這個(gè)過(guò)程中，其實(shí)所有的交互都是被設(shè)計(jì)，甚至有方案能夠及時(shí)感知這種交互中的信息，然后讓系統(tǒng)有交互的策略來(lái)進(jìn)行響應(yīng)。

Q：目前車間已經(jīng)不是批量生產(chǎn)了，開(kāi)始提倡柔性生產(chǎn)，由過(guò)去一條線性方式變成了環(huán)形的加工。這方面你們自己的產(chǎn)品有什么建樹(shù)？

總的來(lái)說(shuō)我們現(xiàn)在接觸到的實(shí)際需求，客戶還是會(huì)首先考慮已經(jīng)批量生產(chǎn)的產(chǎn)品的自動(dòng)化改造。

現(xiàn)在其實(shí)真正急需自動(dòng)化改造的大部分都是一些小批量，多品種，但是屬于同類產(chǎn)品這樣的一種生產(chǎn)狀態(tài)。柔性主要解決的就是實(shí)現(xiàn)不同產(chǎn)品切換的時(shí)候能實(shí)現(xiàn)快速切換，或者在不同工藝的時(shí)候能進(jìn)行一個(gè)配置化的快速轉(zhuǎn)換。

一條線性的方式變成環(huán)形的加工。這個(gè)部分應(yīng)該說(shuō)還不是都是這個(gè)樣子的。其實(shí)是要根據(jù)每個(gè)客戶自己的一個(gè)產(chǎn)品形態(tài)和工藝特點(diǎn)，為客戶定制一些適合他們的生產(chǎn)形勢(shì)。拿我們這邊去年完成的一個(gè)月餅盒包裝線作為例子。這條后包裝線的視頻大家也可以從我們的網(wǎng)站上直接看到。

首先我解釋一下這條后包裝線，大家看一下圖片上方有一個(gè)紅色的機(jī)器人。我們可以認(rèn)為這條線的起始端是從那里開(kāi)始的。它的作用是把鐵盒裝的月餅的盒子，從卡板中，分批放置在生產(chǎn)線上面。

供應(yīng)商來(lái)料的方式是一個(gè)空盒的鐵罐來(lái)的，所以蓋子和盒子挨在一起，那我們裝月餅之前需要把蓋子和盒子進(jìn)行分離。

另外一個(gè)在精度方面，由于前端視覺(jué)的變形。或者是由于吸盤吸取的時(shí)候的位置的差異——這個(gè)是一定會(huì)存在的——所以我們?cè)跈C(jī)器人吸取完玻璃之后的放置過(guò)程中增加了我們自己開(kāi)發(fā)的飛拍功能。保證我們的機(jī)器人在運(yùn)動(dòng)的同時(shí)可以動(dòng)態(tài)辨識(shí)出玻璃在吸盤上的位置。進(jìn)行位置的校準(zhǔn)，保證玻璃可以完好無(wú)損的放置到吹盤的相應(yīng)位置上面。

接下來(lái)的一段作用就是把這個(gè)盒子進(jìn)行開(kāi)蓋。供應(yīng)商來(lái)料的方式是一個(gè)空盒的鐵罐來(lái)的，所以蓋子和盒子挨在一起，那我們裝月餅之前需要把蓋子和盒子進(jìn)行分離。

但是由于包裝的要求，客戶是要求蓋子和盒子的花紋必須要能夠完整的對(duì)齊。什么意思呢就是他必須按照一定的規(guī)范進(jìn)行一個(gè)配對(duì)。所以我們?cè)陂_(kāi)盒之后會(huì)有一個(gè)視覺(jué)的工作站來(lái)完成對(duì)各個(gè)花紋的一個(gè)調(diào)整。

下一個(gè)工作站大家可以沿著這個(gè)圖順著傳送帶往圖片的左邊來(lái)看，這兩個(gè)藍(lán)色的，有一個(gè)圓圈的這兩臺(tái)deta機(jī)器人完成的是對(duì)月餅的一個(gè)快速的分揀。

在這個(gè)包裝過(guò)程中還有一個(gè)很重要的要求就是月餅上的花紋要和盒子和蓋子的花紋保持一定的規(guī)律，要保持一致。所以在整個(gè)月餅的來(lái)料過(guò)程中，我必須要對(duì)月餅的花紋進(jìn)行一個(gè)識(shí)別和排序。

接下來(lái)就是把排序好了的月餅放在盒子里面，然后再把這個(gè)蓋子蓋上去。然后就是把每16盒的月餅放到箱子里面，然后完成封箱、稱重、碼垛。這樣一個(gè)整條的一個(gè)自動(dòng)化的生產(chǎn)線。

人呢，其實(shí)是因?yàn)檫@條線暫時(shí)還沒(méi)有完整的連接前端的生產(chǎn)，所以需要兩個(gè)人把前端生產(chǎn)好的月餅放置到這個(gè)產(chǎn)線上來(lái)。像我們?cè)诔欣锩孢€能看到一些禮盒裝的，紙盒裝的，甚至是散裝的月餅，這些是不適用的。

那么在這個(gè)過(guò)程里其實(shí)我們真正實(shí)現(xiàn)柔性的對(duì)象主要還是這種鐵盒裝的月餅。主要是不同的口味，或者包裝的花紋不同，對(duì)這些我們都可以實(shí)現(xiàn)一個(gè)零切換的一個(gè)工作時(shí)間。我們只要在通過(guò)軟件的一個(gè)選取配置就可以自然完成整個(gè)產(chǎn)線的工藝轉(zhuǎn)換。

實(shí)現(xiàn)這樣一個(gè)柔性的工作站，其實(shí)在整個(gè)過(guò)程中我們對(duì)客戶的工藝做了非常非常大的改造。

這里面可能就是會(huì)有點(diǎn)像剛才主持人提到的。原始的客戶的包裝流程可能就是一排，我記得他們講的是大概28個(gè)工人。完成比如從月餅過(guò)來(lái)，我要從旁邊拿盒子打開(kāi)，把月餅放進(jìn)去蓋上盒子。掃碼裝箱碼垛，這樣一個(gè)功能。

過(guò)程中，人的作用其實(shí)除了操作之外，還有一個(gè)是檢查。比如說(shuō)檢查月餅袋子有沒(méi)有打開(kāi)，蓋子有沒(méi)有蓋好，有沒(méi)有出現(xiàn)什么樣的異常？在實(shí)現(xiàn)這個(gè)工作站的時(shí)候，我們首先花了非常非常多的時(shí)間重新的去學(xué)習(xí)客戶的工藝。去理解哪些工藝要求是必須要實(shí)現(xiàn)的，哪些工藝的安排是可以被更改的？然后我們?cè)偻ㄟ^(guò)我們對(duì)自動(dòng)化的理解，然后依據(jù)這種對(duì)客戶工藝的討論。雙方一起坐下來(lái)，商討形成最終的自動(dòng)化的解決方案。

這個(gè)里面我真正想說(shuō)的一點(diǎn)就是柔性，首先現(xiàn)在的機(jī)器人技術(shù)，雖然我們用到了視覺(jué)，用到了很多信息化的東西，但是它也很難像人一樣，可能只要靠一個(gè)。比如組長(zhǎng)或班長(zhǎng)說(shuō)接下來(lái)我們要怎么怎么干了，人們很快就可以開(kāi)始干。我們現(xiàn)在的自動(dòng)化做不到那個(gè)樣子，所以柔性一定是在一個(gè)范圍內(nèi)進(jìn)行的這種柔性。

總之，柔性的實(shí)現(xiàn)，不僅僅是靠自動(dòng)化的人來(lái)實(shí)施的。很多時(shí)候是先考慮工藝怎么做到柔性？然后再考慮自動(dòng)化，這個(gè)柔性的工藝有沒(méi)有合適的自動(dòng)化的實(shí)現(xiàn)方式，在這種相互切磋相互交流的過(guò)程中，最終形成的方案。才是一個(gè)柔性最高、實(shí)施效率最高的一個(gè)整體的柔性工作站。

CV應(yīng)用在工業(yè)機(jī)器人上的bug

Q：作為應(yīng)用機(jī)器人視覺(jué)的客戶，在應(yīng)用的時(shí)候你們遇到了什么問(wèn)題，如何解決的？

第一，目前來(lái)說(shuō)我們?cè)谟玫揭曈X(jué)的時(shí)候覺(jué)得其實(shí)困擾最大的是我們現(xiàn)在用的視覺(jué)產(chǎn)品對(duì)于光源方案的要求非常非常高。

如果光源的方向不好那拍出來(lái)的圖片的穩(wěn)定度和它的質(zhì)量，其實(shí)會(huì)極大的影響最后處理的效果。但是光源的方案很難說(shuō)，即使是同一類的產(chǎn)品，他不同批次不同材料都可能會(huì)無(wú)法適應(yīng)，可能會(huì)產(chǎn)生一些不穩(wěn)定因素。但是我在實(shí)施過(guò)程中又不太可能經(jīng)常更換光源方案，所以這一點(diǎn)上我覺(jué)得對(duì)我們現(xiàn)在來(lái)說(shuō)是非常不方便的。

比如說(shuō)我們之前遇到的一個(gè)測(cè)試需求是測(cè)試PCB板，但是這個(gè)時(shí)候我們會(huì)發(fā)現(xiàn)，比如不同的PCB板的工藝，他有些上面可能刷的是比較亮一點(diǎn)的防護(hù)漆，有些就會(huì)比較暗像漫反射一樣。這個(gè)時(shí)候不同的光源就體現(xiàn)出非常大的一個(gè)差異。

第二，就是我們現(xiàn)在用到的視覺(jué)，我剛才提到的，主要是一些基于2D的視覺(jué)。

在這種高精度的視覺(jué)應(yīng)用里，我們經(jīng)常發(fā)現(xiàn)的是，標(biāo)定的好壞會(huì)極大的影響整個(gè)方案的精度最后是否能夠達(dá)標(biāo)。

但是標(biāo)定呢，這個(gè)過(guò)程又感覺(jué)沒(méi)有一個(gè)非常快速的方式。比如說(shuō)我每次更換夾具，或者說(shuō)客戶端可能會(huì)偶爾要進(jìn)行一些設(shè)備的維護(hù)啊，或者是搬送。那這時(shí)候可能都需要對(duì)視覺(jué)進(jìn)行重新的標(biāo)定。

然后客戶現(xiàn)場(chǎng)的工人也好或者設(shè)備工程師也好。大部分也沒(méi)有經(jīng)過(guò)這種專業(yè)的訓(xùn)練。所以往往就需要我們的服務(wù)工程師到現(xiàn)場(chǎng)幫客戶做一個(gè)。這樣一個(gè)我們覺(jué)得很regular的一個(gè)動(dòng)作。這個(gè)部分是我們的另一個(gè)困擾。就是覺(jué)得現(xiàn)在能否有一個(gè)快速標(biāo)定甚至是不用標(biāo)定的一個(gè)視覺(jué)方案。

第三，其實(shí)是我們現(xiàn)在自動(dòng)化行業(yè)大家都在迫切等待的一個(gè)部分，就是視覺(jué)的缺陷檢測(cè)。

但缺陷檢測(cè)這個(gè)其實(shí)在整個(gè)行業(yè)都是一個(gè)非常非常空缺的地方，畢竟缺陷太多了！我們舉個(gè)例子，剛才的那種手機(jī)的玻璃的缺陷。

可能劃痕有千變?nèi)f化，那不同的廠家對(duì)于不同的劃痕，要求都不一樣。這一部分其實(shí)是一個(gè)非常非常難做一個(gè)標(biāo)準(zhǔn)化的缺陷檢測(cè)的工藝的。

其實(shí)我們做自動(dòng)化的時(shí)候大家都在講機(jī)器換人，那是不是機(jī)器換了人就可以了呢？我們的經(jīng)驗(yàn)是人在生產(chǎn)中除了在很多的供應(yīng)環(huán)節(jié)，他除了簡(jiǎn)單的搬運(yùn)，還提供了自己的視覺(jué)和大腦，他們提供的就是一種缺陷的檢測(cè)。

但是如果說(shuō)比如說(shuō)有十個(gè)缺陷，我們解決了九個(gè)還有一個(gè)缺陷無(wú)法解決。那這個(gè)時(shí)候其實(shí)我這個(gè)人工檢測(cè)的工位還是沒(méi)有辦法進(jìn)行替代。所以從某種程度上來(lái)說(shuō)。是否有好的缺陷檢測(cè)的方案和解決方案，其實(shí)是真正實(shí)現(xiàn)大量人工替代的一個(gè)很重要的環(huán)節(jié)。

我所知道的很多場(chǎng)景，我有很多做視覺(jué)的朋友也在做這種方面的缺陷檢測(cè)，但是這個(gè)過(guò)程其實(shí)非常的困難。

因?yàn)槿毕莸倪@種原因或者說(shuō)缺陷的形態(tài)太多了。現(xiàn)在大家一般在做曲線檢測(cè)的時(shí)候采用的那些方案。很多人用的是一些開(kāi)源的算法，比如opencv。或者是hoken的一些底層的庫(kù)甚至是在別人的視覺(jué)上面做二次開(kāi)發(fā)。這樣的一些系統(tǒng)架構(gòu)也很難在客戶端能夠做一些比如智能的一些判斷或者一些經(jīng)驗(yàn)的累積。所以很難做到真正完整的缺陷的可靠性辨識(shí)。

所以這三個(gè)應(yīng)該是我們?cè)趹?yīng)用層中遇到的最迫切的需求吧，那我們是怎么解決的？

其實(shí)我們現(xiàn)在還無(wú)法解決這個(gè)問(wèn)題，因?yàn)槲覀儸F(xiàn)在還真的沒(méi)有在視覺(jué)方面去做什么樣的工作。但是我們可以做到的是：

比如說(shuō)我們拿到一個(gè)客戶需求，會(huì)第一時(shí)間通過(guò)供應(yīng)商跟我們的合作伙伴的一個(gè)大量測(cè)試，來(lái)確保一些方案的可行性。同時(shí)我們會(huì)自己設(shè)置一些可能影響這個(gè)穩(wěn)定性和魯棒性的一些干擾因素。盡可能在設(shè)備的設(shè)計(jì)之前把這些方案性的測(cè)試和這種可以為以后的設(shè)計(jì)提供參考性的測(cè)試，進(jìn)行一個(gè)完成。然后在我們?cè)O(shè)計(jì)的過(guò)程中，盡量不要觸碰到這些不穩(wěn)定因素。比如說(shuō)我們盡量不動(dòng)視覺(jué)方案，或者說(shuō)如果客戶真的需要變化的時(shí)候，我們給他一些我們可控的方式來(lái)引導(dǎo)客戶去進(jìn)行操作，來(lái)規(guī)避我剛才提到的這些風(fēng)險(xiǎn)。

關(guān)于理想的狀態(tài)，我目前也不是很清楚說(shuō)理想的狀態(tài)應(yīng)該是怎么樣的，我們內(nèi)部覺(jué)得可能現(xiàn)在的這種視覺(jué)的方式還會(huì)有一個(gè)很長(zhǎng)的路。這個(gè)部分要怎么去完善這種視覺(jué)產(chǎn)品的定義或者是開(kāi)發(fā)可能是需要做視覺(jué)的人。和我們這種做自動(dòng)化的人大家一起坐下來(lái)，好好的去理清我們現(xiàn)在所面對(duì)的問(wèn)題和客戶需求，然后進(jìn)行一個(gè)產(chǎn)品的重新規(guī)劃和定義。

另外呢，我們其實(shí)私底下有跟公司比較資深的做技術(shù)的人員討論。我們?cè)谙胗袥](méi)有可能去利用一些仿生物的這種思路。去幫助視覺(jué)的算法。而不是說(shuō)像現(xiàn)在一樣，我們要對(duì)每一個(gè)缺陷，或者每一種特征進(jìn)行一個(gè)建模、描述，再進(jìn)行計(jì)算。

Q：怎么看待國(guó)內(nèi)很多機(jī)器人廠商沒(méi)有核心技術(shù)的現(xiàn)狀？

首先我覺(jué)得核心技術(shù)還是非常的重要的，如果一個(gè)公司沒(méi)有核心技術(shù)的話，最后一定是死路一條。

對(duì)于你說(shuō)的這個(gè)現(xiàn)狀來(lái)講，我覺(jué)得現(xiàn)在沒(méi)有必要太過(guò)恐慌，畢竟核心技術(shù)是需要時(shí)間的，而機(jī)器人這個(gè)行業(yè)在中國(guó)其實(shí)也處于剛開(kāi)始的階段。所有的公司其實(shí)都需要花時(shí)間對(duì)自己進(jìn)行一個(gè)行業(yè)的定位和技術(shù)方向和路線的一個(gè)定位。

同時(shí)有了這個(gè)定位，即使想做核心技術(shù)，也是需要時(shí)間一步步的去積累和磨練，不是一個(gè)一蹴而就的事情。所以我倒覺(jué)得現(xiàn)在我們不必太過(guò)去計(jì)較說(shuō)現(xiàn)在國(guó)內(nèi)廠商沒(méi)有核心技術(shù)。

另外一個(gè)部分其實(shí)現(xiàn)在很多的廠商會(huì)號(hào)稱自己有核心技術(shù)。但是這個(gè)所謂的技術(shù)是不是真的核心呢？或者說(shuō)我們現(xiàn)在有的這個(gè)技術(shù)。我們常說(shuō)機(jī)器人里面幾個(gè)核心的技術(shù)：減速機(jī)、電機(jī)、控制器，那未來(lái)的機(jī)器人是否還真的是這樣。或者說(shuō)即使我們拿到了一些山寨國(guó)外的或者可能打了些折的這些所謂的核心的東西，那它還是真正有用的核心嗎？我覺(jué)得這個(gè)部分其實(shí)還是有待時(shí)間和市場(chǎng)的一個(gè)考驗(yàn)。

針對(duì)這個(gè)問(wèn)題，我倒覺(jué)得，如果大家很關(guān)心機(jī)器人這個(gè)行業(yè)，我覺(jué)得應(yīng)該是可以更關(guān)注國(guó)內(nèi)的廠商有哪一些真的去想清楚了我剛剛提到的一個(gè)自己的行業(yè)定位。和未來(lái)的發(fā)展路線，甚至是自己核心的一個(gè)技術(shù)路線。

清楚了之后，有沒(méi)有在做，有沒(méi)有做準(zhǔn)備，有沒(méi)有計(jì)劃，這些其實(shí)反而是更重要的事。

實(shí)踐才是良藥

在本期硬創(chuàng)公開(kāi)課中，石金博為我們重點(diǎn)介紹了CV在工業(yè)機(jī)器人上的應(yīng)用和服務(wù)機(jī)器人上的區(qū)別，以及闡明了工業(yè)機(jī)器人在和自己，和人，和環(huán)境三大交互過(guò)程中，最大的意義就是在于如何處理意外。

在提到現(xiàn)在工業(yè)機(jī)器人中推崇的柔性自動(dòng)化問(wèn)題時(shí)，她以實(shí)際經(jīng)驗(yàn)向我們展示，現(xiàn)在的自動(dòng)化還做不到100%的柔性自動(dòng)化水平，所以我們所謂的柔性一定是在一個(gè)范圍內(nèi)進(jìn)行的柔性。

作為應(yīng)用機(jī)器人視覺(jué)客戶中的一員，他們以自己非常“苦悶”的經(jīng)驗(yàn)向大家展示了目前，視覺(jué)產(chǎn)品對(duì)于光源方案的要求非常非常高，2D視覺(jué)中標(biāo)定的好壞會(huì)極大的影響整個(gè)方案的精度最后是否能夠達(dá)標(biāo)，視覺(jué)的缺陷檢測(cè)非常糟糕的一個(gè)現(xiàn)狀。

這讓過(guò)去一直以為工業(yè)機(jī)器人就是個(gè)傻乎乎自動(dòng)化生產(chǎn)線的讀者朋友們對(duì)工業(yè)機(jī)器人有了重新的認(rèn)識(shí)——工業(yè)機(jī)器人天生就是一個(gè)平臺(tái)級(jí)的東西，它不像服務(wù)機(jī)器人只要專注做好每個(gè)具體的產(chǎn)品就好，其更多是處理好機(jī)器人和自己，和人，和環(huán)境交互過(guò)程遇到的各種難題，來(lái)適應(yīng)不斷變化的生產(chǎn)車間需求。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。