• <track id="oztn4"></track>
    <sup id="oztn4"><form id="oztn4"></form></sup>
    
    
    <mark id="oztn4"></mark>
  • <dfn id="oztn4"><samp id="oztn4"></samp></dfn>
      《地爆天星小姐》电影 ,麦子交换2免费观看2023年上映时间表 ,莫妮卡《爱我几何》,大牛影库战狼6欧式少女全部视频,三年大片国语版在线看,日本空姐电视剧,电影魔镜号中文字幕,和部长一起去出差旅是第几集
      全球「AI學術頂會」精華匯聚地
      您正在使用IE低版瀏覽器,為了您的雷峰網賬號安全和更好的產品體驗,強烈建議使用更快更安全的瀏覽器
      此為臨時鏈接,僅用于文章預覽,將在時失效
      人工智能 正文
      發私信給叢末
      發送

      0

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      本文作者: 叢末 2018-09-13 15:08
      導語:附地平線2019年招聘解讀!

      隨著這幾年神經網絡和硬件(GPU)的迅猛發展,深度學習在包括互聯網,金融,駕駛,安防等很多行業都得到了廣泛的應用。然而在實際部署的時候,許多場景例如無人駕駛,安防等對設備在功耗,成本,散熱性等方面都有額外的限制,導致了無法大規模應用深度學習解決方案。

      近日,在雷鋒網 (公眾號:雷鋒網) AI 研習社第 2 期職播間上,地平線初創人員黃李超就介紹了 AI 芯片的背景以及怎么從算法角度去設計適合嵌入式平臺高效的神經網絡模型,并應用于視覺任務中。之后地平線的 HR 也進行了招聘宣講,并為大家進行了招聘解讀。公開課回放視頻網址:http://www.mooc.ai/course/537/thread?page=3?=aitechtalkhuanglichaokhuanglichao

      黃李超:本科畢業于中山大學,在帝國理工碩士畢業之后于 2014 年加入了百度深度學習研究院,期間研發了最早的基于全卷積網絡的目標檢測算法——DenseBox,并在 KITTI、FDDB 等特定物體檢測數據集上長期保持第一名。 2015 年,他作為初創人員加入地平線,現研究方向包括深度學習系統研發,以及計算機視覺中物體檢測,語義分割等方向。

      分享主題:面向低功耗 AI 芯片上視覺任務的神經網絡設計

      分享提綱:

      1. 介紹當前 AI 芯片概況,包括現有的深度學習硬件發展情況,以及為何要為神經網絡去設計專用芯片。

      2. 從算法角度,講解如何設計高性能的神經網絡結構,使其既滿足嵌入式設備的低功耗要求,又滿足應用場景下的性能要求。

      3. 分享高性價比的神經網絡,在計算機視覺領域的應用,包括實時的物體檢測,語義分割等。

      4. 地平線 2019 年最全的校招政策解讀。

      雷鋒網 AI 研習社將其分享內容整理如下:

      今天,我將從以下三個方面來進行分享:

      第一,當前 AI 芯片發展的現狀。這里的 AI 芯片并不是單指狹義的 AI 專用芯片,而是指廣義上包括 GPU 在內所有可以承載 AI 運算的硬件平臺。

      第二,在嵌入式設備的環境下如何設計高效的神經網絡。這里我使用的案例都選自業界中比較重要的一些工作——也有一部分來自我們的地平線。同時這一節大部分的工作都已經落地到實際應用場景。

      第三,算法+硬件在計算機應用上的一些成果。

      介紹 AI 芯片之前,先介紹 AI 的大環境。大家都知道現在是機器學習時代,其中最具代表性的是深度學習,它大大促進圖像、語音、自然語言處理方面的發展,同時也給很多行業帶來了社會級的影響。例如在社交網絡的推薦系統、自動駕駛、醫療圖像等領域,都用到了神經圖像技術,其中,在圖像醫療,機器的準確率甚至大大超過了人類。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      從整個互聯網發展的情況來看,我們先后經歷了 PC 互聯網、移動互聯網時代,而接下來我們最有可能進入一個智能萬物互聯的時代。PC 時代主要解決信息的聯通問題,移動互聯網時代則讓通訊設備小型化,讓信息聯通變得觸手可及。我相信在未來,所有的設備除了能夠互聯之外,還能擁有智能:即設備能夠自主感知環節,并且能根據環境做出判斷和控制。現在我們其實看到了很多未來的雛形,比如無人車、無人機、人臉開卡支付等等。不過,要讓所有設備都擁有智能,自然會對人工智能這一方向提出更多要求,迎接更多的挑戰,包括算法、硬件等方面。

      大規模運用深度學習需要去應對很多挑戰。首先從算法和軟件上看,如果把 AI 和深度學習用在某個行業中,需要對這個行業的場景有深入的理解。場景中也有很多痛點需要去解決,但是是否一定要用深度學習去解決呢?在特定場景下,往往需要具備能耗比、性價比的解決方案,而不是一個僅僅能夠刷數據集的算法。隨著這幾年算法的快速發展,人們對 AI 的期望也在不斷提高,算法的發展是否能跟上大家的期望,這也是一個問題。

      從硬件上看,當前硬件的發展已經難以匹配當前深度學習對于計算資源的需求,特別是在一些應用場景中,成本和功耗都是受限的,缺少低成本、低功耗、高性能的硬件平臺直接制約了 AI 技術和深度學習方案的大規模應用,這也是我們地平線致力于解決的行業難題。

      當前 AI 芯片發展的現狀

      接下來我們介紹一下 AI 硬件的一些情況。大家都知道,最早神經網絡是運行在 CPU 上的。但是 CPU 并不能非常高效地去運行神經網絡,因為 CPU 是為通用計算而設計的,而且其計算方式以串行為主——雖然一些運行指令可以同時處理較多數據。除此之外,CPU 在設計上也花了很多精力去優化多級緩存,使得程序能夠相對高效地讀寫數據,但是這種緩存設計對神經網絡來講并沒有太大的必要。另外,CPU 上也做了很多其他優化,如分支預測等,這些都是讓通用的運算更加高效,但是對神經網絡來說都是額外的開銷。所以神經網絡適合用什么樣的硬件結構呢?

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      在講這個問題之前,我們先從神經網絡的特性說起:

      第一,神經網絡的運算具有大規模的并行性,要求每個神經元都可以獨立并行計算;

      第二,神經網絡運算的基本單元主要還是相乘累加,這就要求硬件必須有足夠多的運算單元;

      第三,神經元每一次運算都會產生很多中間結果,這些中間結果最后并不會復用,這就要求設備有足夠的帶寬。一個理想的設備,它應該有就比較大的片上存儲,并且帶寬也要足夠,這樣才能放下網絡的權重和網絡的輸入;

      第四,由于神經網絡對計算的精度并沒有那么敏感,所以在硬件設計的時候可以使用更簡單的數據類型,比如整型或者 16bit 的浮點數。因此,這幾年大家使用的神經網絡解決方案,都是 CPU+比較適合于神經網絡運算的硬件(可以是 GPU、DSP、FPGA、TPU、ASIC 等)組成異構的計算平臺。

      最常用的方案是 CPU+GPU,這個是深度學習訓練的一個標配,好處是算力和吞吐量大,而且編程比較容易,但是它存在的問題是,GPU 的功耗比較高,延遲比較大,特別是在應用部署領域的場景下,幾乎沒有人會用服務器級別的 GPU。

      應用場景下用的更多的方案是 FPGA 或者 DSP,它們功耗比 GPU 低很多,但是相對的開發成本較大。DSP 依賴專用的指令集,它也會隨著 DSP 的型號變化有所差異。FPGA 則是用硬件語言去開發,開發難度會更大。其實也有一起企業會用 CPU+FPGA 去搭建訓練平臺,來緩解 GPU 訓練部署的功耗問題。

      雖然剛剛提了很多神經網絡加速的解決方案,但是最合適的還是 CPU+專用芯片。我們需要專用 AI 芯片的主要原因是: 雖然現在的硬件工藝不斷在發展,但是發展的速度很難滿足深度學習對計算力的需求。其中,最重要有兩點:

      第一,過去人們認為晶體管的尺寸變小,功耗也會變小,所以在相同面積下,它的功耗能保持基本不變,但其實這條定律在 2006 年的時候就已經終結了

      第二點,我們熟悉的摩爾定律其實在這幾年也已經終結了。

      我們可以看到芯片在這幾年工藝的發展變得越來越慢,因此我們需要依靠專門的芯片架構去提升神經網絡對計算平臺的需求。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      最著名的的一個例子就是 Google 的 TPU,第一版在 2013 年開始開發,歷時大約 15 個月。TPU 里面使用了大量乘法單元,有 256*256 個 8 位的乘法器;片上有 28MB 的緩存,能夠存儲網絡的參數和輸入。同時,TPU 上的數據和指令經過 PCN 總線一起發過來,然后經過片上內存重新排布,最后計算完放回緩沖區,最后直接輸出。第一版 TPU 有 92TOPS 的運算能力,但是只針對于神經網絡的前向預測,支持的網絡類型也很有限,主要以多層感知器為主。

      而在第二版的 TPU 里面,已經能夠支持訓練、預測,也能夠使用浮點數進行訓練,單個 TPU 就有 45TFLOPS 的算力,比 GPU 要大得多。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      其實我們地平線也研發了專用的 AI 芯片,叫做 BPU,第一代從 2015 年開始設計,到 2017 年最終流片回來,有兩個系列——旭日和征程系列,都針對圖像和視頻任務的計算,包括圖像分類、物體檢測、在線跟蹤等,作為一個神經網絡協處理器,側重于嵌入式的高性能、低功耗、低成本的方案。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      比較值得一提的是,我們在我們的 BPU 架構上設計了彈性的 Tensor Core,它能夠把圖像計算所需要的基本單元,常用操作例如卷積、Pooling 等硬件化,非常高效地去執行這些操作。中間通過數據路由橋(Data Routing Bridge)從片上讀取數據,并負責數據的傳輸和調度,同時,整個數據存儲資源和計算資源都可以通過編輯器輸出的指令來執行調度,從而實現更靈活地算法,包括各種類型的模型結構以及不同的任務。

      總的來說,CPU+專用硬件是當前神經網絡加速的一個較好的解決方案。針對專用硬件,我們可以根據功耗、開發容易度和靈活性進行排序,其能耗跟其他兩者(開發容易度和靈活性)是相互矛盾的——芯片的能效比非常高,但是它的開發難度和靈活度最低。

      如何設計高效的神經網絡

      說了這么多硬件知識,接下來我們討論怎么樣從算法角度,也就是從神經網絡設計的角度去談怎么加速神經網絡。相信這個也是大家比較關心的問題。

      我們先看 AI 解決方案,它從數據處理的方式可以分為云端 AI 和前端 AI。云端 AI 是說我們把計算放在遠程服務器上去執行,然后把結果傳到本地,這個就要求設備能夠時刻連接網絡。前端 AI 是指設備本身就能夠進行計算,不需要聯網,其在安全性、實時性、適用性都會比云端 AI 更有優勢,而有一些場景下,也只能使用嵌入式的前端 AI 去解決。

      嵌入式前端的場景落地難點在于功耗、成本和算力都是有限的。以網絡攝像頭即 IP Camera 為例,它通過網線供電,所以功耗只有 12.5 瓦,而常用的嵌入式 GPU——Nvidia TX2,為 10-15 瓦。另外這個 TX2 雖然在計算資源、算力方面都比較強,能達到 1.5T,但它的價格是 400 美元,對于很多嵌入式方案來說都是不可接受的。因此要做好前端嵌入式方案,我們需要在給定的功耗、算力下,最大限度地去優化算法和神經網絡模型,達到符合場景落地的需求。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      我們加速神經網絡的最終目標是:讓網絡在保持不錯的性能下,盡量去降低計算代價和帶寬需求。常用的一些方法有:網絡量化、網絡減支和參數共享、知識蒸餾以及模型結構優化,其中,量化和模型結構優化是目前看來最有效的方式,在業界也得到比較廣泛的應用。接下來會重點講一下這幾個方法。

      第一個是量化,它是指將連續的變量通過近似從而離散化。其實在計算機中,所有的數值表示都是離散化的,包括浮點數等,但是神經網絡中的量化,是指用更低 bit 的數字去運行神經網絡,而是不是直接使用 32bit 的浮點數(去運行神經網絡)。近幾年的一些研究發現,其實數值表達的精度對神經網絡并沒有太大的影響,所以常用的做法是使用 16bit 的浮點數去代替 32bit 的浮點數來進行計算,包括訓練和前項預測。這個在 GPU 以及 Google 的 TPU 第二代中已經被廣泛采用。此外,我們甚至發現,用半精度浮點數去訓練數據,有時候還能得到更好的識別性能。實際上,量化本身就是對數據集正則化的一種方式,可以增加模型的泛化能力。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      此外,我們還可以將數據精度進行進一步壓縮使用,將 8 bit 的整數作為計算的計算單元,包括訓練和前項預測,這樣帶寬就只有 32bit 浮點數的四分之一,這類方法近年來也有不少工作,且已被業界所采用,比如 Tensorflow Lite 已經支持訓練時模擬 8bit 整數的運算,部署時真正采用 8 bit 整數去代替,其在浮點和圖像分類的性能上相當。我們地平線也有類似的工作,訓練工具也是用 Int 8 bit 去訓練、預測,并且我們的芯片支持 MXNet 和 TensorFlow 框架訓練出來的模型。

      能不能把精度壓得更低呢,4 bit、2bit 甚至 1 bit?也是有的,但是會帶來精度的極大損失,所以沒被采用。

      量化神經網絡模型分為神經網絡的權重量化、神經網絡特征的量化。權重量化對于結果輸出的損失比較小,特征量化其實對模型的輸出損失會比較大,另外,大模型和小模型的量化造成的損失也不一樣,大模型如 VGG16、AlexNet 這種網絡模型,量化后幾乎沒有損失;而小模型則會有一些損失。現在 8bit 參數和特征量化可以說是一個比較成熟的方案,基本上可以做到跟浮點一樣好,并且對硬件也更加友好。下面這個表,是在 Image Net 數據集上的進行的量化結果的評測,也是 Google Tensorflow Lite 的量化方案與我們地平線內部的量化方案的一個對比。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      我們可以看到,無論是哪一家的方案,損失其實都非常小,其中,小模型 MobileNet 0.25 在 Image Net 的損失方面,Google 在 1.6% 左右,而我們的量化方案能夠維持在 0.5% 以內。同時我們這個量化方案在 2016 年就已經成熟了,而 Google 的去年才放出來,從這個角度上講,我們這方面在業界內是領先的。

      除了量化,模型加速還可以通過模型剪枝和參數共享實現。一個典型的案例就是韓松博士的代表性工作——Deep Compression。減支可以是對整個卷積核、卷積核中的某些通道以及卷積核內部任意權重的剪枝,這里就不多說,大家有興趣可以去看一下原論文。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      與網絡量化相比,剪枝和參數共享從應用角度上來看,并非一個好的解決方案。因為關于剪枝方面的研究,現在這些論文在大模型上做的比較多,所以在大模型上效果比較好,但是在小模型上的損失比較大,當然我們這里說的小模型是比 MobileNet 等模型更小的一些模型。另外,剪枝所帶來的數據稀疏(任意結構稀疏),通常需要一個明顯的稀疏比例才能帶來一個實質性的的加速。結構化的稀疏加速比相對更容易達到,但是結構化的稀疏比較難訓練。同時從硬件角度上講,如果要高效地運行稀疏化的網絡結構或者帶共享的網絡,就要專門設計硬件去支持它,而這個開發成本也比較高。

      知識蒸餾也是很常用的壓縮模型方法,它的思想很想簡單,用一個小模型去學習一個大模型,從而讓小模型也能實現大模型的效果,大模型在這里一般叫 Teacher net,小模型叫 Student net,學習的目標包括最終輸出層,網絡中間的特征結果,以及網絡的連接方式等。知識蒸餾本質上是一種遷移學習,只能起到錦上添花的作用,比直接用數據去訓練小模型的效果要好。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      最后講一講模型結構優化,它是對模型加速最有效的方式。下圖可以看到從最初的 AlexNet 到今年的 MobileNetV2,參數已經從原來的 240MB 縮小到 35MB,模型的計算量也有了一定的減少,但是在圖像分類的準確率上,從 57% 提到到了 75%,模型結構優化最直接的方式就是,有經驗的工程師去探索小模型結構,而這些年來也有通過機器去進行搜索模型結構的工作。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      接下來講一下在模型結構優化中,怎么去設計一個高效的神經網絡結構,它需要遵循的一些基本原則。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      首先,要糾正幾個誤區:第一,是不是小模型跑得比大模型快?這個顯然是不成立,我們可以看下圖中 Google Net 和 AlexNet 箭頭指向的方向,AlexNet 顯然大一些,但它比 Google Net 跑得快一些,計算量更小一些。第二,網絡計算量小是不是就跑得更快呢?其實也不是,因為最終的運行速度取決于計算量和帶寬,計算量只是決定運行速度的一個因素。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      所以說,一個好的、跑起來比較快的神經網絡結構,必須要平衡計算量和帶寬的需求,這里我們跟隨 ShuffleNetV2 論文的一些觀點——雖然這個并不是我們的工作,但是文章寫得很好,其中有不少觀點也和我們在模型結構優化過程中得到的一些結論是一樣的。在分析的時候,我們以 1x1 的卷積為例,假設所有的參數和輸入輸出特征都可以被放到緩存當中,我們需要特別關注的是卷積的計算量——用 FLOPs(Float-Point Operations) 即浮點數的操作次數去表述,帶寬用 MAC(Memorry Access Cost) 即內存訪問的次數去表示。同時,我們需要額外關注的是帶寬和計算量的比。對于嵌入式的設備來講,帶寬往往是瓶頸。拿 Nvidia 的嵌入式平臺 TX2 為例,它的帶寬比上計算力大概是 1:26。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      第一,要分析一下輸入通道數、輸出通道數以及輸入大小對帶寬和計算量的影響,ShuffleNetV2 提出的準則第一條是,在同等的計算量下、輸入通道數和輸出通道數下,帶寬是最節省的,公式為:地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期。其實輸入通道、輸出通道和輸入大小任意一個過小的話,對帶寬都會產生不友好的影響,并且會花很多時間去讀取參數而不是真正去計算。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      第二,卷積中 Group 的個數又對性能有什么影響呢?ShuffleNetV2 這篇文章指出,過多的 Group 個數會增加單位計算量的帶寬,我們可以看到計算量的帶寬和 Group 的個數近似為正比。從這一點上來看,MobileNet 里頭的 Depthwise Convolution 實際上是一個帶寬需求量非常大的操作,因為帶寬和計算量的比值接近于 2。而實際運用的時候,只要帶寬允許,我們還是可以適當增加 GROUP 個數來節省計算量,因為很多時候,帶寬實際上是沒有跑滿的。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      第三,ShuffleNetV2 說到的第三條準則是,過度的網絡碎片化會降低硬件的并行度,這就是說,我們需要思考 operator 的個數對于最后運行速度的影響。其實 ShuffleNetV2 這種觀點不夠嚴謹,準確來說,我們需要把 operator 分為兩類:一類是可以并行的(如左圖),兩個框可以并行計算,concat 的內存也可以提前分配好;另一類是必須串行去進行計算,沒有辦法并行的 operator 則會降低硬件的并行度。對于硬件來說,可以并行的 operator 可以通過指令調度來充分利用硬件的并行能力。從這條準測上看,DenseNet 這種網絡結構在應用實際上非常不友好。它每次的卷積操作計算量很小,而且每次計算需要依賴先前所有的結果,操作之間不能并行化,跑起來很慢。另外,太深的網絡跑起來也比較慢。

      最后,ShuffleNetV2 也指出,Element-wise 對于速度的影響也是不可忽視的——一定程度上可以這么說。因為 Element-wise 雖然計算量很小,但是它的帶寬需求比較大。其實如果把 Element-wise 的操作和卷積結合在一起,那么 Element-wise 的操作對最后帶寬帶來的影響幾乎為 0。常用的例子是,我們可以把卷積、激活函數和 BN 放在一起,這樣的話,數據可以只讀一次。

      講到這里,我們做一下總結,設計高效的神經網絡,我們需要盡可能讓 operator 做并行化計算,同時去減少帶寬的需求,因為最后的速度由帶寬和計算量共同決定的,所以這兩者哪個存在瓶頸,都會制約運行速度。

      過去優化神經網絡結構往往依靠非常有經驗的工程師去調參,我們能不能直接讓機器去自動搜尋網絡結構呢?

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      其實也是可以的,比如說 Google 前段時間進行一項工作叫 NASNet,就是通過強化學習,把圖像分類的準確率和網絡本身的計算量作為反饋,去訓練網絡結構生成器,讓網絡結構生成器去生成比較好的網絡結構。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      Google 的這項工作大概用了 450 GPUs 和 4 天,搜索出了性能和計算量都還不錯的網絡結構,這兩個圖是網絡結構的基本單元。然而,通過我們之前的分析,它這兩個基本單元肯定是跑不快的,因為操作太零碎,而且很多操作沒有辦法并行。所以對于搜索網絡結構,考慮真實的運行速度是一個更合適的選擇。所以就有了后續的工作,叫做 MnasNet。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期



      Google 這次直接把手機上的運行速度作為強化網絡的反饋。我們可以看到用這種方法搜索出來的網絡結構合理很多,同時性能也比之前稍微好一些。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期


      在同時期,我們也有進行了類似的工作——RENAS,它實際上借鑒了 NASNet,但我們側重于去解決搜索效率低下的問題。和 NASNet 不同,我們采用進化算法搜索網絡結構,同時用強化學習去學習進化的策略。工作方式的鏈接放在上面,大家感興趣也可以去看一下。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      RENAS 的一個優點是,它的網絡搜索的效率要高得多:我們用了 4GPU 和 1.5 天就搜出比 NASNet 更好的結構。不過它的缺點也跟 NASNet 一樣,都用了計算量作為一個衡量指標,因此它搜索出來的所有結果只是計算量低,但是運行速度并不一定特別快。

      算法+硬件在計算機應用上的一些成果

      講了這么多,最后我們可以展示一下,經過優化后的網絡在主流視覺任務上的應用效果:

      最常見的圖像級別的感知任務比如圖像分類、人臉識別等,由于它們輸入比較小,所以整體計算量并不大,對于網路的效率要求也沒有那么苛刻。而在圖像分類以外的工作比如物體檢測 語義分割等等,它們的輸入比圖像分類大得多,往往在 1280x720 這種分辨率或者更大的分辨率。MobileNet 或者 ShuffleNet 在這個分辨率下的計算量,還是挺高的。另外在物體檢測、語義分割的問題當中,尺度是一個要考慮的因素,所以我們在設計網絡的時候,要針對尺度問題做一些額外的配置,包括并引入更多分支,調整合適的感受野等等。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      對于物體檢測、語義分割任務,我們專門設置了一個網絡結構,它的大概樣子如上圖中的右圖所示,特點是我們使用了很多跨尺度的特征融合模塊,使網絡能夠處理不同尺度的物體,另外,我們這個網絡的基本單元都遵循了簡單、高效的原則,用硬件最友好、最容易實現的操作去組建基本模塊。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      我們在一些公開數據集上測試了這個模型的性能,主要有兩個數據集,一個是 Cityscapes,它是語義分割數據集,圖像分辨率很大,原始圖像分辨率為 2048x1024,標注有 19 類。在這些數據集上,我們的網絡跟曠世最新的一篇論文 BiSeNet 做比較——BiSeNet 是目前能夠找到的在語義分割領域中速度最快的一個方法,它的計算在右邊的表格中,其中的計算模型*Xception39 在 640x320 的分辨率,大概需要 2.9G 的計算量,而我們的一個小模型在同等規模的輸入下,達到幾乎一樣的效果,只需要 0.55G 的計算量。

      同時,在性能上,——語義分割里面我們用 mIoU 作為指標,在 2048x1 024 的分辨率下,我們稍微大一點點的網絡跟 Xception39 非常接近。我們的網絡還在 KITTI 數據集上做了一個測試,它的分辨率大概為 1300x300 多,特別是車和人的檢測任務上所表現出來的性能,和 Faster RCNN,SSD,YOLO 等常見的方法的模型相比,具有非常高的性價比。

      下面展示一下我們算法在 FPGA 平臺上實施的一個 Demo。

      我們這個網絡同時去做物體檢測和語義分割,以及人體姿態估計。FPGA 也是我們第二代芯片的一個原型,第二代芯片年底會流片回來,單塊芯片性能會是 FPGA 這個平臺的 2-4 倍。這個數據是在美國的拉斯維加斯采集的,除了人體姿態的檢測,我們還做了車載三維關鍵點定位,它的運行速度可以達到實時,也作為我們重要的產品在車廠中使用。Demo 只是我們工作的冰山一角,我們還有很多其他的方向的工作,比如智能攝像頭、商業場景下的應用,目標是為萬物賦予智能,從而讓我們的生活更美好。這是我們的宣傳片,相信大家在進職播間的時候都已經看過了。

      最后回歸本次做直播的一項非常重要的目的——校招。我們今年的校招馬上要開始了,接下來由 HR 姐姐來介紹一下地平線招聘的情況。

      地平線 2019 年最全的校招政策解讀

      大家好,我是地平線負責招聘的 HR 趙紅娟,接下來我來整體介紹一下公司的情況以及校招流程。

      地平線(「公司」)是國際領先的嵌入式人工智能(「AI」)平臺的提供商。公司基于自主研發人工智能芯片和算法軟件,以智能駕駛,智慧城市和智慧零售為主要應用場景,提供給客戶開放的軟硬件平臺和應用解決方案。經過三年的發展,地平線現在有 700-800 的正式員工,加上實習生,大概有 900 人左右。同時,公司 70% 多的員工都是研發人員,我們的平均工業界經驗為 7 年左右。

      我們公司的技術團隊實力雄厚,除了國內的各大廠之外,同時也有來自如 Facebook、華為、高通等國際知名企業的成員。目前,我們的業務橫跨「軟+硬,端+云」領域,后續會持續深耕嵌入式人工智能。

      目前,我們也對已經確立的業務方向內部做了一個總結歸類,叫「一核三翼」,「核」是指我們的芯片,應用到智能駕駛、智慧城市和智慧零售三個領域。其中,智慧城市主要是泛安防領域——這是一個非常有潛力的市場,而我們的智慧零售的具體方向是基于我們嵌入式人工智能芯片技術,將線下零售數據線上化、數據化,為零售管理者提供多層次解決方案。

      下面進入關鍵點,即我們希望什么樣的同學加入?用幾個詞來概括就是:Dedicated、 Hands-on、 Team working。

      我們能夠提供給大家什么呢?這也是大家比較感興趣的點。我將從職位、工作地點和福利三個方向講一下。

      職位方向有算法、軟件、芯片、硬件、產品五大方向。

      工作地點,總部在北京,同時在、南京、上海、廈門、深圳、杭州、硅谷都有 office,大家可以選擇自己喜歡的城市。

      福利則包括:

      1.    拿到校招 Offer 的同學,畢業前能來地平線實習,可以享受到跟畢業以后正式員工相同的薪酬標準;

      2.    試用期結束以后,所有畢業生統一組織轉正答辯,根據轉正答辯成績有推薦大家去參加各種國際頂級會議,或者前往硅谷工作或參觀等諸多開眼界的機會。

       3.    針對大家從學生到職場人的轉型,我們會提供升級版地平線大學,助力職業生涯發展。地平線大學分為必修課和選修課,同時會有常用的禮儀方面的培訓

      4.    其他福利其他公司可能都有,但是我們公司會更貼心,比如電競椅、升降桌,補充醫療、入職&年度體檢、全天零食供應、餐補、交通補、租房補貼、帶薪年假 10 天、產假 6 個月、陪產假 15 天、多彩 offsite、各種興趣社團等等。

      最后,我們附上校招通關秘籍:

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      宣講學校:東南大學、哈爾濱工業大學、華中科技大學、南京大學、清華大學、上海交通大學、西安交通大學、浙江大學、中國科學技術大學和 中國科學院大學等十所學校。

      校招流程:宣講會當天筆試,當晚出筆試成績,隔天進行面試,面試通過就會發錄用意向書,十一后發正式 Offer。

      簡歷投遞方式:包括網申和宣講會現場投簡歷。

      總之,地平線非常重視校招生及其培養,希望給大家更好的發展空間,培養一代又一代的地平線人,為公司創造更大的價值,為科技進步貢獻自己的力量!

      下面是中科院站的宣講群二維碼,歡迎同學們前來圍觀。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      分享結束后,兩位嘉賓還對同學們提出的問題進行了回答,大家可以移步社區(http://www.gair.link/page/blogDetail/8437)進行詳細了解。

      以上就是本期嘉賓的全部分享內容。更多公開課視頻請到雷鋒網 AI 研習社社區觀看。關注微信公眾號:AI 研習社(okweiwu),可獲取最新公開課直播時間預告。


      附:問答環節

      技術類問題:

      1.地平線之前應該基于 FPGA 做過一些駕駛輔助相關的產品吧?實時性大概可以做到多少?第二代芯片在此基礎上能夠提升 2~4 倍嗎?

      做過,能做到 20 幀每秒以上。是的。

      2.地平線在車道檢測上有沒有比較好的方案?

      如果你感興趣的話,可以來地平線參觀參觀,一起聊一聊。

      3.輕量級網絡模型有哪些?

      有一些專門討論輕量級網絡的文章,比如 MobileNet 和 ShuffleNet 這類文章,都會提供計算量和性能的指標,直接拿來用就可以了。文章也會提供一些物體檢測和語義分割的 baseline,你可以把輕量級網絡稍微改造一下,就可以用在這些任務上。

      4.地平線有相關 Paper 發表嗎?

      地平線內部工作可以分為兩類,一類是探索性的工作,這部分工作我們會有實習生發表一些論文;另一類是優化的工作,并沒有發表論文。

      5.貴公司現在都是專用芯片?以后有可能有通用芯片賣給用戶跑自己的模型嗎?

      自己訓練的網絡當然能在我們自己的芯片上跑,在芯片上跑是我們訓練網絡最重要的一個目的。但是,我們以后也會公開,兼容去跑一些其他的模型。

      6.Tensorflow 和騰訊的嵌入式優化有什么區別?

      Tensorflow 的系統和社區很龐大,相關知識文檔和模型也比較完善,騰訊的這個嵌入式設備上優化得很好,可能比 Tensorflow 好一些,輕量級一些,看大家的取舍吧。

      7.產品落地需要考慮小目標檢測嗎?

      小目標檢測這個問題在產品落地的時候肯定是需要考慮的,因為很多時候車輛檢測任務,客戶對你的算法需求是檢測到 100 米甚至 150 米的車,而在常規的廣角攝像頭下,檢測的圖像大概只有十幾的像素了。

      校招相關問題:

      1.招 2020 屆應屆生嗎?

      當然可以,非常歡迎。2020 屆同學可以先申請實習,以后可以參加 2020 屆的校招。我們明年會在夏天安排招聘會,專門針對 2020 屆畢業生。并且,我們長期招聘實習生。

      2.社招有嗎?社招有筆試嗎?

      也有,大家可以通過網申投遞。一般情況下,社招沒有筆試,但是針對工程專業的同學,我們會考察你們的代碼功底。

      3.杭州有什么崗位?是新開的分部嗎?

      明年在杭州開設 office,大部分職位都是開放的,目前我們沒有職位的限制

      4.工程院和研究院有崗位嗎?

      工程院在北京和南京都有職位,南京研究院也在招實習生。

      5.具體職位要求是什么?

      具體職位要求大家可以去我們發布的職位招聘網站上看一下。

      附上校招網申地址:http://hobot.zhiye.com/Campus

      6.非 985 學校的學術要嗎?有學歷要求嗎?

      我們對所有學校的學生都開放,不限大家是本科生、研究生以及是否 985 院校畢業生,關鍵看大家的實力,我們有筆試和面試的環節對大家進行考察。

      7.廈門招算法工程師嗎?

      廈門有招算法工程師,但是會跟北京的算法工程師有一些區別,深度學習的算法工程師集中在北京。

      9.是否有面試機會?

      是否有機會面試要取決于大家的筆試成績。

      10.什么時候到華科進行校招?

      我們會在公眾號(HorizonRobotics)上同步行程。

      11.校招安排在什么時間?

      最早的一場是在號 2018 年 9 月 12 日 18:00,國科大中關村校區教學樓 S101 報告廳 (數學所西側 經管學院教學樓內)。后續站次安排會在微信公眾號(HorizonRobotics)及時更新。

      12.中科院畢業生去得多嗎?

      我們公司中科院來的工程師應該是最多的。


      雷峰網原創文章,未經授權禁止轉載。詳情見轉載須知

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      分享:
      相關文章
      最新文章
      請填寫申請人資料
      姓名
      電話
      郵箱
      微信號
      作品鏈接
      個人簡介
      為了您的賬戶安全,請驗證郵箱
      您的郵箱還未驗證,完成可獲20積分喲!
      請驗證您的郵箱
      立即驗證
      完善賬號信息
      您的賬號已經綁定,現在您可以設置密碼以方便用郵箱登錄
      立即設置 以后再說
      主站蜘蛛池模板: 漂亮的瘦子| 付之一炬打一生肖| 单车电影在线观看| 三年免费观看国语版大全| 《做自己的光》电视剧| 剑侠电视剧全集| 怎么办才好| 超级经纪人 电影| 女版壮志凌云2满天星1080p | 369你懂的电影永久入口| 苦口婆心比喻什么人| 术士樱花动漫免费看| 大叔小馆第1季完整版| 我是造型师| 伦理剧场黛比浪漫女家教| 中央财办:经济已挺过最困难时刻 间之契在线观看完整免费版动漫 霜花店 完整版优酷 | 红问号剧情| 女老师的诱惑在线免费观看| 识骨寻踪第四季| 三姐妹招聘男保姆| 《新手律师》法国版免费观看网站 | 妈妈爱上儿子同学韩剧| 天堂旅店意大利1976| 淄博电视台| 水电修理工艳遇电影| 花与罪电影正版观看平台| 小妻太水嫩陆教授花式宠免费观看| 男朋友的女朋友| 阳仔演笑会| 香港情色电影| 不能和你分手歌词| 56天全集观看| 浴火危城电视剧| 扫毒1国语版免费观看| 部长夫人25| 《八尺夫人意大利满天星》免费看| 薄暮传说剧场版| 齉龘齉齾爩麤龗灪龖厵纞虋| 美国ZzzOooxxx视频| 天体走秀| 电视剧22条婚规| 房间里的二人世界原声全集| 大清帝国国歌| 回响电视剧剧情介绍| 纵横四海| 四子王旗| 红十字:女人们的入伍通知单| 气球编织| 女超人麦乐迪无删减版免费观看全集 | 汤唯 天涯歌女| 回复术士的重启人生免费在线观看| 香醇绣感1996版的主要人物| 天魔异种| 插式治疗专业医院1-5集免费观看完整| 女员工5的付出中字| 狗镇电影在线观看完整版| 超越界限的爱| 斯巴达成HR版| 无神之地| 变成黑辣皮之后第1集| 奇怪的理发店在线播放| 青春冲动| 世界十大禁用飞机| 剪刀手爱德华| 大乐透24142期开奖结果| 《千金赤子板栗》完整版 | 朱广权的四季歌| 电影《女超人》法国| 免费完整版| 女和尚满天星第三季免费观看| 甄嬛传71集在线观看| 刚结婚的夫妻是不是每天都弄| 张旸 菊花台| 王爷追妻忙:王妃要和离短剧全集| 上海申花VS川崎前锋| 体育| 游戏王gorush| 错儿电视剧全集播放| 美国电影需要爸爸播种子的片段| 苏霞 朱干| 韩剧求婚大作战| 电影《女子护卫队》在线观看免费| 女人的武器分集剧情| 极品家丁电视剧在线观看免费| 韩国伦理片售楼小姐的秘密免费在线观看| 年会舞蹈老师| 金瓶爱的奴隶| 香香公主| 无耻之地电影美国完整版在线观看| 罗丽.星克莱尔《乡情》| 春江水暖| 丈夫的陷阱| 美国大片国语普通话| 好看的短剧推荐几部 前十名| 《那山那海》今晚开播| 激战丛林2原声版| 血中悍刀行| 玫瑰汽车旅馆2| 《父女快乐》电影| 不怕开水烫| 铜铿锵锵锵免费观看| 大象席地而坐免费| 乔布斯 吸毒| 三级片替夫还债| 电视剧红颜的岁月| 小城大事电视剧在线观看免费 | 我和我的家乡 下载| 电影《顶级特工》| 熟睡中被义子侵犯正在播放| 横山美雪| 妖女十八招| 电影激战丛林无删减版免费看| 我的时代和我免费观看| 斛珠夫人电视剧在线观看| 欧式少女1-13集全剧情| 岳志军的案件最终结果 | 《三十而已》电视剧| 最强狂兵电视剧| 日本熟睡的继拇HD3| 动漫《听爸爸的话》| 小蜜桃5| 海绵宝宝全集| 翁虹艳电影全集| 壮志凌云女版满天星| 李光耀观天下| 宫锁沉香电影高清| 电视剧闯关东免费观看全集高清| 《我的后半生》全集免费观看| 小凤新婚台湾版在线资源| 留在我身边 青山黛玛| 苹果在线观看高清电视剧| 韩国伦理水电工| 我的朋友和儿子有关系| 爱情进化论| 十九岁韩国在线观看免费3| 盖世俊杰在线观看| 我的朋友瘦子7| 继母的拖油瓶是我的前女友| 哇嘎在线观看高清电影| 暴露5美国版| 女律师的坠落在线观看| 熊出没之过年全集| 电影《赴汤蹈火》免费观看| 薇薇萤石眼之歌| 烽火佳人| 美艳的妽妽3| 神探狄仁杰四全集免费| 大兵寝室第一季在线观看| 《蛟龙行动》在线观看高清电影| 赤板栗牙医电影观看| 消失的她在线观看2023免费| 越战电影在线观看免费完整版| 法国版《古墓丽影》免费观看| 淮剧珍珠塔| 大兵的寝室第一季免费观看| 只属于我的女神| 窈窕淑女庞晓杰| 邻居漂亮的妻子5在线观看| 青春无极限电视剧| 火蓝刀锋28| 私人监狱电影全集免费资源| 《私人女性监狱》免费观看在线播放_HD/1080P/无删减_高清完整版电影 - 星辰影 | 鬼父1-16全集在线观看| 《超级战舰》在线观看| 重庆时代歌剧院| 东北往事之黑道风云20年15集| 蜜桃成熟时33d在线观影 | 电影种马猎人完整版免费观看 | 原来神马电影手机在线观看完整版 | 湖南一施工路段挖出超三千斤石龟| 高清《迪拜的女孩》在线观看| 铿锵铿锵铿锵铿锵免费观看| 黑暗荣耀第二季在线观看| 《温度爱情》免费资源下载| 惊变快播| 三妻四妾高清免费观看第7集| 和老板在办公室BD| 男网红在泰国杀害男伴分尸被捕| 我为卿狂百度影音| 私人航空在线观看完整版电影| 黑白森林国语| 哈德威尔| 鬼怪免费观看完整版在线观看| 全职高手第三季樱花动漫在线观看| 尉氏县| 吴磊周雨彤新剧《爱情而已》| flower第季无马赛真人版| 和搜子一洗澡的日子| 人猿泰山1995版免费观看完整版 | 广东工厂搬迁到四川是真的吗| 一眉道人电影| 车仁表四大名捕| 恶搞之家无删减在线观看| 飞翔女孩满天星免费播放| 翁虹所有电影| 电影《牙医姐妹》1986版| 茶杯犬要多少钱| 两个好媳妇中文版本免费观看全集 | 韩剧修理工的艳遇| 少林义士洪熙官| 亲爱的客栈2| 七夜雪电视剧全集免费观看| 走出你的爱| 玉女聊斋下载| 恋爱女王演员表| 辽阳市| 一生一世在线观看免费版| 断背山完整版下载| 《大器晚成第二季》电视剧| 马克斯·维斯塔潘:新征途电视剧| 《地爆天星》赛仑| 私人诊所的特殊待遇4| 社长秘书电影| 真情玫瑰 电视剧| 屠宰场娃娃完整版高清播放| 有女不愁嫁| 狼友必上| 黑暗天使电影| 多大点事啊电视剧在线观看,天海翼香汗女教师在线播放,剧情片全集免费播放免费 | 电视剧女人泪| 奇妙的发型屋中字韩国| 女生黏糊糊的水哄睡| 磐石影院| 侏罗纪公园5免费播放 | 电影《请别相信她》| 度华年在线观看免费高清| 香蕉视屏免费播放| 小屁孩日记2| 两个好媳妇| 迷人的保姆| 三姐妹瑜伽健身西班牙| 《权力王朝:默多克家族》| 《印尼空姐》免费观看完整版高清| 《杨贵妃秘史》| 电影《牙医郝板栗》免费观看| 娇妻互换我的漂亮娇妻6| 甜蜜惩罚我是专门看守所宠物真人 | 姐姐的朋友1| 我的机器人女友国语| 世界第一初恋2| 直到爱上你| 梅花三弄鬼丈夫电视剧免费观看| 《女律师还债》| 看了又看蓝燕| 法国空姐4在线| 凉森玲梦| 馒头影院| 阜平县| 朋友的妈妈2018中语| 战狼6欧美少女免费版| 《比加拉什》免费观看| 《越南暴行3》在线观看| 失踪的上清寺下载| 黑帮老大的365天第三季免费观看| 白衣校花与大长腿免费观看电视剧| 卖百科全书的女人电影免费观看高清 | 逃跑的女孩完整版| 假面骑士zo| 陪你到世界之巅免费观看全集| 中央10台在线直播| 傲斗凌天v20| 老友记第三季| 韩国伦理维修工的艳遇| 宽松世代又如何| 台剧浪漫女家教在线观看全集| 银魂262| 凯登克罗斯全部电影在线观看| 相田沙耶香| 爱唯侦察十一集全免费看| 暮光之城2| 兔子先生第一季第6期在线观看免费| 爱本无罪| 人猿泰山1995版本| 绅士们电影完整免费版| 男女一起愁愁愁免费全集观看| 善良的嫂子完整| 瓦嘎日韩三级片| 电影武则天秘史| 你的女人 韩剧| 日本电影部长来做客中字| 魔幻车神| 新有菜电影免费观看在线| 衰仔失乐园完整版| 二阶堂梦作品在线观看| 盲战电影安志杰免费| 男男女女一起愁愁愁| 非你莫属2010| 女篮坎贝奇无憾 在线观看| 《猎毒人》免费播放| 荣耀守则 在线| 放飞美丽mv| 美味快递员特殊待遇2在线观看免费高清| 王保长新篇电视剧| 韩国三级片控制女上司| 福五鼠片头曲| 法国空乘15在线看免费版| 雪在烧电视剧| 毒医肥尸国语版免费观看| 灵幻新娘| 韩国 丈夫的领导| 女人花 电视剧| 美味快递员特殊待遇2完整版| 山东近32万考生成绩达一段线| 女版抓鬼敢死队| 生活大爆炸第十季| g点电影完整版在线观看| 神探蒲松龄电影| 美国wwwwxxxx69| 精瓶梅电影在线观看| 哇嘎在线| 色降ii万里驱魔| 大波女唐三藏免费观看电视剧西瓜 | 间谍过家家樱花动漫| 韩剧公司下属的老婆| 我恨我痴心演唱会| 超级战舰高清国语版| 巜生殖按摩女3在线播放| 赵琳的探险日记| 酋长之女2:狂飙2| 天龙八部24| 电视剧画眉全集免费观看高清| 女人不容易电视连续剧| 国产露点影视研究中心| 意大利嘴唇1981| 从你的指尖传出的热情| 超前看剧app网站| 公主骑士是蛮族的新娘全集观看| 篮网逆转雄鹿赢下天王山| 女人当官第一部| 白峰电影全部免费播放| 一颗红豆| 《北越暴行》免费观看有一部电影抓了好几个女人,当官的三个人一起轮奸是什么 | 《需要爸爸播种子》在线观看播放_HD/无删减_免费高清电影 - 星辰影院 | 虎兄虎弟 国语| 战狼6欧美版完整资源下载| 关于爱电影高清在线观看| 杨敏1—5集免费观看电视剧下载| 希望与反抗| 向往的生活第五季第三期免费观看 | 爱我几何,免费| 意大利八尺夫人满天星美版 | 魔神英雄传第三季| 维修工的艳遇手机播放| 轮到你了19| 保罗1一4| 机动奥特曼第一季| 盐津县| 我的女友是二嫂| 墓地邂逅2| 韩剧怪物| 五号特工组电视剧全集在线观看| 隔壁的邻居很美味免费观看| 19岁大学生免费观看电视剧中文版| 枭起青壤免费观看| 伦理《法国护士长》观看-电影全集HD高清完整电影 | 小凉宫春日的忧郁| 电视剧长相思第二部| 高清《极速车魂 第三季》电视剧| 重庆绝杀上港| 白魔女学园| 前苏联二战电影| 电视剧地下铁| 日批发出来的声音录音| 巜女超人》1979| 美剧 监狱风云| 需要爸爸的种子免费观看电视剧意大| 吴健农民伯伯下乡2电视剧在线播放| 胡桃大战史莱姆在线观看 | 换伴11| 结城美柑| 魔幻手机在线观看全集高清| 电视剧 原谅| 非凡医者电视剧免费观看| 无可替代泰剧| 特种兵之火凤凰全集下载| 悠悠寸草心2| 刘青云第三次获金像奖影帝| 继拇约定HD中字把一次| 李玟的歌曲大全100首| 法国满天星豪华护卫队| 美少女战士中文版| HR版女版壮志凌云2010 | 好事成双电视剧免费| 妈妈在等你电视剧免费观看| 鸦片战争演义| 法国空姐3免费高清原声满天星奔跑| 蛇姬 极乐诱惑| 电影在一起| 出差被最讨厌的部长欺负电视剧| 永不磨灭的番号搜狐| 寒夜尽处是卿心电视剧全集免费观看| 绿箭侠3 电视剧| 加勒比海盗在线观看| 妻子3免费观看电视剧更新时间| 第11个前锋下载| 八戒,八戒神马网剧观看 | 钢琴之森高清下载| 游樣t2| 奇异博士3电影免费观看| 黑白配1080完整版免费观看| 海扁王2电影| 勇敢的心第二部45集免费看视频| 僧侣之夜在线观看动漫完整版| 绿茶妹百度影音| 战狼6欧美版完整资源| 下女下载| 逃跑的女孩完整版| 敢死队2 电影| 猎情武阎| 美国电影需要爸爸的种| 和台湾这次打得起来吗| 法国满天星《女飞行员》观看| 隋唐英雄第三部全集| 泰囧在线观看| 破天荒电视剧| 笑傲江湖29| 女战狼10可下载| 神勇武工队传奇2017任帅| 用我的指尖打扰你| 满天星版《荒!女儿国》 | 猎金游戏完整版免费观看高清电影| 金瓶爱的奴隶| 高清魔法蓝精灵未删减| 老师好在线全集免费观看| 电影大胸女友| 超感警探第五季| 我的幸福婚约电影| 回到十七岁的理由电视剧免费观看| 农村三人行| 《特殊游泳课》免费观看| 雾都魅影电视剧| 火柴人格斗动画| 我要我们在一起电影免费完整版| 拳击教练 满天星| 美国电影《飘》免费观看中文 | 命中注定我爱你20| 高柳家的花嫁动画片| 高清相反的你和我未删减| 行尸走肉第一季6| 肆一的生活记录最新视频| 奇妙儿媳妇苏玥是谁| 《牙医姐妹》1986版在线观看 | 美和花园电影在线观看最新集数 | 第一次做aj电视剧| 上瘾泰国版电视剧| 宝儿only one| 只是结婚的关系电视剧免费观看| 调教美女们| 隐形帽子无删减完整版| 哎呀皇后娘娘来打工免费全集| 食物链2大尺寸片段| 好姐姐电影免费版在线看| 丫鬟逆袭短剧全集| 美国《仰泳》电影| 《赘婿》| 黑人大屌在线播放| 叶子楣《极乐宝鉴》电影在线观看| 恶女阿楚| 联合国称缅北数百人越境逃入中国| 金陵秘事全集| 团鬼六:绳责| 睫毛膏3美国1990| 终极蜘蛛侠第二季| 农场保卫战满天星在线播放| 恨锁金瓶梅| 夫妻那些事大结局| 瑜伽室里的激情在线观看| 勐垅沙免费| 1986牙医姐妹完整版| 高清《十一》电影| 恨你无情泪水滴原唱| 危情营救在线观看| 最美的时光第一集| 三年成全在线观看免费国语| 甄嬛传32集| 蜜桃熟了电影| 哈哈哈哈哈第五季免费观看完整版| 映山红歌谱| 满天星女超人麦乐迪在线看 | 特工的特别任务国语| 蜜桃成熟时2未删减版| 哇嘎高清电影在线播放| 我我儿媳妇在棵园里| 商洛市| 黑白潜行免费高清观看| 掩不住的阳光| 维修师傅艳遇理论电影| 素食主义者电影| 禁忌03| 我的爱情睡醒了| 《overflower》动漫免费观看全集| 高清《聊斋之宝盒》国语版| 捧腹大笑的意思| 第一次竟然给了朋友的| 遇见波莉| 女超人满天星免费观看完整版| 寰球地理| 精英部队2电影高清版免费观看| 安吉拉怀特透视电影免费观看2023年上 | 大江大河3部53集免费观看| 电视剧水上游击队| 电影《香醇的绣感》演员名单| 海丰白字戏| 江山如此多骄电视剧| 千金与仆人电影完整免费观看| 小猪佩奇的动画片| 需要爸爸播种免费观看| 《还珠格格第一部》| 晚娘2012下| 美丽小蜜桃5免费在线观看| 爱情公寓3 19| 《伯爵夫人和园丁》在线观看免费| 高清辣妈辣妹2| 一门三司令在线观看 | 《夫妻快乐宝典》完整| 插曲的痛第60集免费观看高清强制| 电视剧福贵| 七三一电影高清在线播放免费观看| overflower全集免费观看 | 梁祝艳谭电影全部播放| 《甲种公牛》1976意大利 | 舞出我人生电影| 特殊保险推销员8| 余烬之上电视剧观看| 美男环绕全集免费| 喜洋洋与灰太狼羊羊运动会| 电视剧错爱1| 啄木鸟酒店实生版| 梁小菊的春天| 春晚贺电| 美国电影《炸天小姐》在线观看| 劳荣枝案受害者家属发声| 新来的瑜伽教练| 珠帘玉幕电视剧在线免费观看| 《灭火宝贝| 贝拉电影在线| 西游记之大圣归来| 意大利电影免费看| 电影粉红女士满天星| 电视剧夺粮剿匪记| 落魄贵族琉璃川动漫免费播放| 变形金刚5:最后的骑士| 警察故事3电影| 《维修师傅的艳遇在线| 春来定风波电视剧免费看| 争霸上海滩| 爆艹老妈46| 成龙a计划续集| 法国空姐4免费高清原声我奔跑| 恐怖异形入侵| 神经侠侣片尾曲| 《女超人:麦乐迪| 亲爱的妈妈4韩国在线观看| 原来我很爱你电视剧免费观看西瓜| 警戒线 电视剧| 三十五度灰| 莫妮爱我几何免费高清电影| 下辈子我再好好过第二季| 安倍中枪瞬间曝光:捂胸口跪地倒下| 《安吉拉怀特》大尺度在线观看| 玄奘之路纪录片| 缘之空1| 夏日重现动画在线观看| 阴阳镇怪谈在线观看| 张警官第一集在线观看 | 刘汉涉黑集团受审| 需要爸爸播种子HD中字_午夜电影全集_完整版免费在线观看-天天影院 | 微微一笑很倾城超清版免费观看| 韩国需要爸爸的种子在线观看| 乌海电影在线观看完整版免费| 血恋在线观看完整免费高清原声满天星奔跑吧 | 老电影武当| 四月女友| 天天向上20120127| 小女花不弃电视剧免费观看全集| 姊妹牙医| 官人要我| 食物链01| 战狼6欧式少女全部视频苹果| 烈火军校电视剧免费观看| 误杀3 电影 在线观看| 《分娩按摩》2图片视频| 731部队电影高清免费播放 | 保罗1—3| 血腥的夜晚| 所有女人都是骗子| 男人们别争宠| 《我最喜欢妈妈》动漫最新一集| 需要爸爸种子在线观看电视剧意大利 | 刘思齐照片| 无法坦诚相对| 漠上风云| 马上天下| 九一神雕侠侣| 美女化妆前后对比| 法国满天星《八尺夫人》免费观看| 我们结婚吧电视剧免费全集| 亲爱的孩子们电视剧免费观看| 公浮滔滔之手| 无镜的爱| 媚者无疆电视剧| 正在播放: JUL-520 留下好色的老爹和软弱的妻子 我去了三天两夜的出差... 成 | 电影早春二月| 下北泽之虎胆龙威| 龙之心2| 意大利《激战丛林》完整版在线观看| 分手大师 电影| 长城电影发布会| 需要爸爸播种英文版本| 永远的君主免费观看| 任达华贼王| 《落魄贵族琉璃》在线观看| 肖申克的救赎 电影| 北上电视剧免费| 在线观看视频《瓜达卢佩的玫瑰》| 爱人欲望| 没女大翻身| 侯玉洁牧师讲道大户人家4| 千王之王谢贤版| 剑河县| 婆婆来了分集介绍| 全美超模大赛第20季| 人生遥控器影评| 法国满天星《荣誉代码》免费观看| 初恋这件小事国语版| 绿媒是什么意思| 黑人男按摩师好爽| 急冻奇侠完整版无删减| 香气迷人| 不负如来不负卿| 私袜会所电影| 感官新世界| 小舍得电视剧全集免费观看完整版 | 偶滴神啊| 大电影赛尔号| 喜盈门电影免费播放| 公之浮手中字2| 登顶后位:宫斗步步为营全集免费 | 迷雾电影在线观看免费完整版全集| 古董局中局电视剧| 不惑之旅电视剧在线观看免费完整版| 啄木鸟《荣耀守则》凯登| 绝命休息站| 鲁邦三世全集| 《保险的女销售》| 高清忒弥斯的不确定法庭| 12大战动漫免费观看| 激战酒店1-9集全部播放时间| 爱情进化论| 3d肉蒲电影在线观看| 塞罗奥特曼电影版| 乱世奇侠之骗侠| 我 机器人| 我的妹妹不可能那么可爱第一季| 欺诈游戏全集观看| 地铁迷情| 爱人的谎言 电视剧 | 在暴雪时分在线观看| 15yc| 我走了你才说爱我短剧免费观看 | 家族荣耀之继承者粤语在线观看 | 爱的奇迹电视剧| 韩剧电影《肚脐》原版| 酒店1—60全集观看在线看| 尖刀队电视剧全集| 明朗少女成功记| 《义子侵犯》加山夏子| 兰若寺聊斋电影免费观看国语| 罗密欧与朱丽叶电影| 三年中国免费观看国语| 安非他命高清完整版| 真人版超级玛丽| 电影《酥醇的绣感》| 我的阿勒泰电视剧免费观看| 心碎高中 第三季全集观看| 郝板栗全部电影| 《珠帘玉幕》大结局| 中国机长免费观看| 古墓丽影(法国版)女版播放| 许我耀眼电视剧全集免费观看高清| 完美世界dj| 盗墓笔记之云顶天宫在线观看| 伸冤人3| 薛姨妈hi版红楼梦免费观看 | 全职高手第二季| 天国神族| 美丽小蜜蜂9| 万古狂帝| 我怎么哭了| 晋州市| 淮南手链姐| 莫陌百度影音| 一拳超人 迅雷下载| 牧教师6| 关之琳所有电影| 我爱甜甜圈| 伊波拉2病毒完整国语版免费 | 电影大刀王五| 三年大片观看免费国语版| 花与蛇3 影音| 高清搜神记| 漂亮人妻被夫部长强了电影| 三年大片在线观看免费观看国语完整版 | 超能查派字幕下载| 村干部忘记关摄像头| 四位大学位按摩记的背景和历史背景| 豪情电视剧| 花千骨免费观看电视剧全集| 黑白配高清国语在线播放| 大嫂查之女| 铁血昆仑关电影| 《渔夫的荒野史记》免费观看| 危情狂蝶| 江南锄奸剧情| 《角斗士3满天星版》| 安斋拉拉电影免费观看高清版2023年| 摩绪电视剧| 年轻的母亲4费观版| 插曲的痛第60集免费观看高清| 红楼春上春下载| 妄想学生会ova| 八戒满十八全集免费看| 看了又看电视剧国语版韩剧网| 高清留存的爱未删减| 电影《替夫还债3》免费观看| 少年派2电视剧免费观看中文版 | 铃芽之旅在线观看| 子轩阁古玩收藏人| 秋瓷炫生死决断完整版在线观看 | 朱日和阅兵2017| 潮剧苏六娘选段| 欧美1一5美国语| 大地中文8在线观看免费| 泡芙小姐第二季| 莉娜安德森电影全集| 燃冬免费观看完整版电视剧全集 | 电视剧他是谁在线观看免费完整版 | 朋友的姑姑在线观看| 名侦探柯南:通往天国的倒计时| 潘多拉的秘密| 美国电影美丽小樱桃免费观看| 飞天小女警z中文版全集| 假爸爸在线观看完整版| 赤板丽的牙医姐妹电影观看| 飞天小猪| 斗罗大陆免费完整观看197| 阳城县| 公之浮之中字5HD年纪大| 高清《人生第一次》在线观看| 胡歌杨幂唐嫣开场同台| 私人教练1983年意大利| 郑中基宣布退圈| 沈腾机器人电影叫什么| 义姐是不是良妈妈动漫| 庆余年电视剧第二部| 妻子的秘密教学动漫| 新郎十八岁| 《婚礼的前一天与前男友》| 指尖传出的真挚热情未增减第一季| 我们的秘密超话| 凯登版《交易》啄木鸟英文 | 执法女先锋在线| 电影《金莲外传》免费观看全集| 按摩店待遇5电影| 霍比特人2什么时候上映| 工地上的女人免费观看电视剧| 乍见欢短剧免费看| 蓝湾牧羊犬| 暗处电视剧| 性能之巅1-6| 锦衣卫国语| 今年夏天| 墨西哥电影《瓜达卢佩的玫瑰》的女 | 插曲的痛60集全免费观看百度云资源| 阳阳电影| 动漫无双3终极无敌版| 韩国电影疯狂婚姻| 水密逃3探寻美国| 千王之王2000| 幽灵公主| 熊猫烧香杀毒软件| 美国式的家庭禁忌免费看| 可疑的美容院2| 高清搜神记未删减| 需要爸爸播种2手机播放美国电影| 假面骑士时王vs帝骑外传 | 高清《体能之巅3: 亚洲大挑战》| 风月变电视剧免费观看| 凡人修仙传159集在线播放 | 朋友别哭刘芳| 《法国空乘5》免费看| 赛车总动员1高清| 龙子太郎动画片免费高清版国语| 女神天国| 人猿泰山意大利hr版| 你在微笑我却哭了| 地球上的星星2全集观看| 美国式家庭忌讳1-| 完美有多完美免费观看电影| 《上瘾》电视剧| 深夜航班 第二季未删减| 《爱我几何》精彩片段| 小沈阳小品下载| 金瓶梅电影百度影音| 河山电视剧| 插曲的痛30集全集免费观看第12集| 偶然遇见的你| 电影太极2英雄崛起| 蒙古草原天气晴在线观看| 盛唐风流电影免费观看国语版| 爱在空气中泰剧12集| 黛玉传剧情| 龙虎山张天师电影免费观看| 浪漫女家教电视剧免费完整版 | 壮志凌云女飞行员版本| 最新凤凰军事观察室| 爱我几何中文| 日本天字号监狱电影叫什么名字| 失控drive| 微笑pasta全集| 男女一起愁愁愁电视剧免费| 辛亥革命下载| 喜爱夜蒲国语版高清| 美女食神国语版| 桃色凶器完整版| 《真理与背叛》| 轮到你了19| 再过把瘾电视剧| 灭火宝贝(高压监狱)| 春梦伊人| 爱的二八定律电视剧免费观看完整版 | 旧版封神榜| 范文芳神雕侠侣| 二十一世纪性格指南全集免费看| 刑讯女烈| 隋唐英雄 全集| 法国电影《早恋》| 美丽的丽莎意大利完整版| 《乡村恋人》| 仙剑奇侠传动漫免费观看完整版| 刑名师爷电视剧全集| 维修工的艳遇韩国电影在线看| 新封神英雄榜全集| 岳志军的案件最终结果| 出租屋性事| 美丽小洞| 极上中出-村上里沙| 韩剧树大根深| 我和黑大佬的365天| 晚安为我而眠的妹妹免费观看1~4集| 女法医短剧全集|