• <track id="oztn4"></track>
    <sup id="oztn4"><form id="oztn4"></form></sup>
    
    
    <mark id="oztn4"></mark>
  • <dfn id="oztn4"><samp id="oztn4"></samp></dfn>
      《地爆天星小姐》电影 ,麦子交换2免费观看2023年上映时间表 ,莫妮卡《爱我几何》,大牛影库战狼6欧式少女全部视频,三年大片国语版在线看,日本空姐电视剧,电影魔镜号中文字幕,和部长一起去出差旅是第几集
      全球「AI學術頂會」精華匯聚地
      您正在使用IE低版瀏覽器,為了您的雷峰網賬號安全和更好的產品體驗,強烈建議使用更快更安全的瀏覽器
      此為臨時鏈接,僅用于文章預覽,將在時失效
      人工智能 正文
      發私信給陳圳
      發送

      1

      【重磅】人工智能長篇報告:1.5萬字告訴你AI的應用究竟對人類社會經濟有哪些影響

      本文作者: 陳圳 2016-10-08 15:08
      導語:本文為2016年7月7日由白宮和紐約大學信息法律協會聯合舉辦的“AI Now”人工智能研討會內容之總結。

      雷鋒網按:本報告為2016年7月7日由白宮和紐約大學信息法律協會聯合舉辦的“AI Now”人工智能研討會內容之總結。文章來源 The AI Now Report, 中文全文由 網易智能 豬廠智能菌獨家編譯,雷鋒網已獲授權轉載。

      AI Now與會人員有微軟研究院、紐約大學的凱特·克勞福德(Kate Crawford)、谷歌開放資源研究與安全團隊創始人梅雷迪思·惠特克(Meredith Whittaker)等,完整名單見文末。

       前  言  

      人工智能(Artificial Intelligence,簡稱AI)是一系列技術的集合,其下包括機器學習、推理、感知和自然語言處理等。人工智能的概念和應用65年前就已開始,不過最近AI的進步和應用讓這種技術再次成為熱議。隨著AI被更廣闊地應用到人類社會和經濟生活各個方面,新的機遇和挑戰隨之而生。其巨大的潛在影響讓人類不得不謹慎思考AI技術的發展與應用。

      于今年7月舉行的“AI Now”研討會是由白宮科技政策辦公室和美國國家經濟委員會聯合推動的一系列研究的最后一個環節。此前的一系列研究分別從不同的角度對AI進行了分析研究,從政策法規到AI的安全控制,再到AI公益以及如何挖掘AI的更多潛能。

      這次“AI Now”則主要就未來十年AI在社會和經濟領域的影響進行討論。來自全球多個領域的專家學者集聚一堂,發表自己的觀點。討論的問題包括:現階段AI的迅速發展造成了哪些問題?如何更好地理解與使用AI來創造更公平公正的未來?

      社會和經濟的問題多不勝數,本次“AI Now”主要圍繞“醫療”、“勞工就業”、“AI公平”以及“AI道德”準則展開討論。

      之所以選擇“醫療”和“勞工就業”作為主要話題,是因為目前這兩個領域中AI滲入廣泛,AI所能帶來的問題在這兩個領域中較為突出和明顯。而“AI公平”和“AI道德”則是未來大家都關注的問題:AI會有助于世界大同還是會加劇社會不公?以及如何確保AI的利益被全體人類享用?

      該研討會的舉行旨在讓AI能夠更好地造福人類社會。通過眾多專家學者聚集一堂進行討論的方式,本次“AI Now”研討會對人工智能學界內外都具有顯著意義。

      問題和建議  

      研討會對未來AI所可能造成的情況做出了預見,并分別給出相應的建議。需要聲明的是,下列建議融合了全體與會人員的智慧,并不代表個人或某組織的立場。

      隨著AI愈加緊密地被應用到社會經濟生活的方方面面,以下列出的問題和對應的建議可以作為投資者和相關領域從業者在對來的參考指南。

      1、問題:AI的發展和應用有賴于特定的基礎設施和人、物資源。這些基礎資源的短缺無疑會限制AI的發展,對這些基礎設施和資源的掌握在AI發展前期變的至關重要。

      建議:從多個渠道改善發展AI的資源基礎。注重數據集、計算機、相關人才教育培訓等配套領域的建設。

      2、問題:雖然目前AI水平還在初級,不過在多個領域AI已經作為人工輔助的角色存在,并且對勞動關系產生了影響。奧巴馬經濟顧問委員會的主席杰森·弗曼(Jason Furman)就表示,低技術的體力勞動是最有可能被AI和自動化機械取而代之的職位。如果機器人開始和人類競爭工作,人力資源的分配也將迎來變革。

      建議:更新自己的思維和技能,來應對AI參與所帶來的就業結構的改變。未來AI機器將承擔絕大多數低技術水平的工作職位,人們需要調整自己的技能儲備和收支方向以應對新形勢。

      3、問題:AI和自動化的過程通常都是在人們目所不及的幕后進行。缺少了人類的參與,機器可能做出有失公允或不慎恰當的決定。隨著AI應用的進一步增長,對AI判斷和勘誤將變得更加重要,也更加困難。

      建議:支持AI校準和勘誤的研究,AI錯誤危害評估程序也應提上日程。這些研究應和AI的突飛猛進配套發展,就像人類系統中司法之于行政。如此能夠及時發現AI犯下的錯誤,并避免嚴重后果。

      4、問題:針對AI模式下公私機構公平和問責制的研究似乎與當前美國一些法律相忤,比如計算機欺詐與濫用法案(CFAA)和數字千年版權法案(DMCA)。

      建議:需要澄清的是,無論是計算機欺詐與濫用法案還是數字千年版權法案,都沒有限制相關研究。

      5、問題:盡管AI正以飛快的速度被運用在醫療、勞工等諸多領域,但目前人類沒有一個公認的辦法來在評估AI所帶來的影響。

      建議:支持AI影響評估系統的研究。而且該領域的研究應該和政府機構通力合作,使成果能為政府行政所用。

      6、問題:那些因部署AI而權益受到損害的人,其聲音往往被忽視。

      建議:在打造AI系統的時候,受影響者的意見應該被聽取。AI應由各方共同設計以免有失公允和太過激進。

      7、問題:AI的研究主要集中在電子技術上,對于人性方面問題的關注常常不足。在未來,計算機科學領域的成員將益加呈現同質化和單一化對特點,這不利于AI開發者的眼界和經驗,進而影響到AI產品的打造。

      建議:AI研究員和開發者應該盡量多元化,開發人員的多樣與多元也會帶來更豐富紛呈的AI產品。未來AI領域應該多多支持跨學科研究,從而使得AI系統能夠融合電子計算、社會科學以及人文氣息。

      8、問題:現有的道德準則已經不能應對AI在現實中所面臨問題的復雜性。(比如在醫療、執法、犯罪判決以及勞務等等)同時,在大學里的計算機課堂上,盡管這些理工課程也逐漸開始重視道德教育,然而并未徹底貫徹到實踐中。

      建議:同美國人工智能協會(AAAI)、美國計算機協會(ACM)以及電器和電子工程師協會(IEEE)這些專業機構進行合作,推動產生可以面對新形勢的道德準則。同時在學校課堂上貫徹落實這些新道德準則的教育。每個有志于計算機科學的學生在專業課之外也應接受公民權利、自由等道德教育。相應的,那些有AI滲入的領域(比如醫療場所)的從業人員也應該對這些新道德標準有所知悉。

      目前關于人工智能的四個關鍵性問題    

      我們現在將對目前關于人工智能的四個關鍵問題進行深入探討,為讀者提供一個了解業內專家見解以及建議的機會。相關探討包括每個關鍵問題所面臨的挑戰、機遇以及可采用的干預措施。

      1. 社會不公  

      人工智能系統如何造成偏見以及歧視等社會不公現象?

      人工智能系統在高風險決策領域的作用越來越重要——從信貸、保險再到第三方決策以及假釋問題。人工智能技術將代替人工決定誰會獲得重要機遇,而誰又將被拋棄,由此將會引發一系列關于權利、自由以及社會公正問題。

      有些人認為人工智能系統的應用有助于克服人類主觀偏見帶來的一系列問題,而有些人則擔心人工智能系統將會放大這些偏見,反而會進一步擴大機會的不均等。

      在這場討論中,數據將會起到至關重要的作用,引發人們的強烈關注。人工智能系統的運行往往取決于其所獲得的數據,也是這些數據的直觀反映。其中也包括這些數據的來源以及收集過程中的偏差。從這方面來講,關于人工智能的影響是與相應的大數據技術密切相關的。

      從廣義上講,數據偏差有兩種形式。第一種是采集的數據客觀上不能夠準確反映現實情況(主要歸因于測量方法的不準確;數據采集不完整或過于片面;非標準化的自我評價以及數據采集過程中的其他缺陷)。第二種在數據采集的過程中主觀上存在結構性偏差(諸如在關于職業數據的采集中有目的性地通過主觀性的重男輕女來預測職場成功率)。

      前一種的數據偏差可以通過“凈化數據”或者改進數據采集過程來加以解決。但后一種則需要復雜的人工干預措施。值得注意的是,雖然有很多機構都為解決這種問題做了大量的工作,但對于如何“檢測”數據偏差尚無定論。

      當采集的數據存在上述偏差時,用這種數據所訓練的人工智能系統也會存在相應偏差,其產生的模型或者結果不肯避免的會復制并放大這種偏差。在這種情況下,人工智能系統所作出的決策將會產生差別效應,從而引發社會不公。而這種不公平要比人為偏見和不公隱晦的多。

      在以風險控制為主導的行業中,隨著人工智能系統的廣泛應用,導致人與人之間的細微差別異化對待等現象顯著增加,在保險以及其他社會擔保行業尤為如此。人工智能系統的應用能夠使公司更加有效地通過“逆向選擇”來識別特定群體以及個人,從而有效避免風險。

      諸如在醫療保險領域,人工智能系統會對投保人的特征以及表現行為進行分析,并對那些被識別為特殊疾病或者是未來發病率高的投保人收取更多保費。在這種情況下,對于那些健康狀況不佳且經濟能力差的人群尤為不利。這就是為何批評者經常會指責稱,即便人工智能系統的預測準確,保險人行為理性,但效果卻常常是帶來負面影響。

      保險業的競爭或許會加劇這種發展趨勢,最終人工智能系統的應用或許會加劇這種不平等性。當然,相關反歧視法律法規中的規范性原則能夠為解決這些問題帶來幫助,雖然這種方法可能不是最有效、最公平的。

      此外,對人工智能系統進行設計和部署也很重要,但現有的法律框架或許會使相應研究受到阻礙。諸如如計算機欺詐和濫用法(CFAA)和數字千年版權法案(DMCA)都對這方面研究進行了限制,因此當下也需要對現行法規進行改革,確保必要的研究能夠順利進行。

      人工智能將受益少數人?

      人工智能系統為經濟價值的產生帶來了新的方式,也對經濟價值的分配產生了新的影響。在某種程度上,人工智能系統的價值分配會使一部分群體受益,從而延續或加劇現有的薪資、收入以及財富分配差距。

      那些有能力研發人工智能技術的組織將會加劇這種不平等性。據預測,人工智能是一個每年市值達到數十億美元的龐大產業。開發人工智能技術需要大量的前期投資,其中包括海量的計算資源以及大數據,兩者的成本都非常之大。

      這導致人工智能的開發和應用被限制在一個特定的范圍之內。在這種情況下,那些擁有強大數據以及計算能力的企業才能夠通過人工智能系統深入了解市場動態,從而獲取更多優勢,為自己帶來“富者更富”的馬太效應,帶來更多成功。

      從另一方面來說,人工智能以及自動化系統能夠降低商品和服務成本,如果這些降低的成本能夠使消費者受益,那么人工智能就可以縮小貧富差距。在這種情況下,人工智能系統能夠提高整個社會的生活水平,甚至于引發一個漸進式的再分配效應。

      此外,人工智能也會帶來全新的生活方式。在人工智能環境下,那些工作落伍的人有機會需求獲取資源的新方式,而工作受到影響的人也能夠通過人工智能創造新的就業機會。換而言之,人工智能能夠緩解勞動力危機,讓人們自由追求生活以及工作新方式,從而提高社會的整體福利。

      盡管如此,一些評論家指出,人工智能系統會使得某些工人的技能多余化,那些被自動化所取代的工人不得不尋求新的就業機會。即便這部分工人能夠找到新的工作,這種工作也常常是低附加值的,且工作穩定性更低。從這個角度將,人工智能以及自動化系統反而消除了就業機會。

      更進一步,如果學習新的工作技能非常昂貴,工人們或許會認為這種職業技能培訓與新工作并不成正比。在這種情況下,人工智能系統不僅會增加社會不公,更會帶來永久性的失業以及貧窮。這就是為何理解人工智能系統對勞動力的潛在影響是理解其對經濟平等性影響的重要方面。

      和以往許多技術一樣,人工智能技術也往往反映了其創建者的價值觀。因此,也可以通過在人工智能開發、部署、維護階段的多元化來推動人工智能技術的平等性。

      當前,在人工智能甚至于整個計算機科學家技術行業,女性以及少數民族從業人員所占比例還很少。這種現狀也在一定程度上導致整個技術缺乏包容性,導致一定的偏見,延續或限制相關從業者對其他群體的考慮。

      人們也越來越清楚的認識到,人工智能領域從業者的多樣性有助于人工智能系統滿足不同人群的利益。為了解決偏見、歧視和不平等問題,人工智能團隊需要一個更廣泛的視角。

       2.  勞工關系   

      目前有關就業和AI系統的討論往往都集中在對人們未來將會失業的擔憂上。最新的研究表明,還存在更加復雜、影響更加直接的問題,這些問題不僅僅影響勞工市場,還影響雇主與雇員之間的關系、權力動力學、職業責任和工作在人類生活中的角色。

      許多傳統經濟研究人員正在密切追蹤美國國內勞工市場和企業機構,以此來考量AI系統的影響。這類研究可帶來非常重要的定性數據,能夠促進對宏觀經濟趨勢和勞工供需狀況的理解,比如未來將會有多少工作崗位。

      與此同時,社會科學研究則評估工作屬性和工作動力的改變正在如何改變人們的日常生活體驗。這兩個研究視角對于衡量AI系統短期對勞動力的社會影響和經濟影響都必不可少。

      AI會影響工作崗位需求嗎?

      自動化技術在經濟中的角色遠非新議題,事實上對于AI系統影響的考慮是出現于長期以來的討論。

      雖然表面來看勞工需求會隨著自動化技術的日益普及而下降,畢竟需要做的工作將會很有限,但也有經濟學家并不這么認為,他們稱該觀點是“勞動合成”謬論。他們指出,隨著一個行業的生產力的提升(由于自動化技術或者其它因素),新行業也會誕生,因而會產生新的勞工需求。

      例如,1900年農業在美國勞動力中的占比為41%,到2000年該占比只有2%。兩位勞工經濟學家大衛·奧特爾(David Autor)和大衛·多恩(David Dorn)稱,即便出現這種劇變,失業率長期來看并沒有出現上升,就業人口比率實際上反而出現提升。另外兩位經濟學家詹姆斯·亨廷頓(James Huntington)和卡爾·弗雷(Carl Frey)則給出了可怕的預言:AI系統將會大大減少工作崗位。

      還有人在爭論勞動市場的變化和波動是否與技術進步有關,是否只是因經濟政策而出現。這類看法聚焦于現有的法律體系和監管機制對于AI和自動化系統的發展應該擔當什么樣的角色。例如,羅伯特·戈登(Robert Gordon)認為當前的創新浪潮其實并沒有它們表面上看起來那么具有變革性。

      不少持相反意見的人則稱,勞動市場正因為技術變化而發生重要轉變。這些人包括約瑟夫·斯蒂格利茨(Joseph Stiglitz)和拉里·米歇爾(Larry Mishel),他們認為,要保護勞動力,就必須要對AI和自動化系統相關的監管和其它政策變化上保持高度的重視。

      奧特爾、多恩等經濟學家發現“就業兩極分化”現象正變得非常明顯,即中等技能崗位在減少,而高等技能和低等技能的崗位則在增加。雖然未來可能會出現新的崗位,但它們往往都收入比較低,不受歡迎。

      例如,許多支持AI系統的工作事實上需要由人類去完成,他們需要維護那些基礎設施,照顧系統的“健康狀況”。這種勞動力往往不大顯眼,至少從媒體的報道和人們對AI的印象來看是這樣。因此它往往受到低估。這類工作包括負責清潔辦公室和維護工作的清潔工,負責維修服務器故障的維修工,以及有位記者所說的“數據衛生工”(能夠“清理”數據,為數據分析做好準備)。

      AI系統對勞動力的影響相關的問題應當不僅僅包括未來是否會創造出新崗位,還應當包括那些崗位會否是能維持生計的體面工作。

      此外,有關AI系統和勞工市場未來的討論通常都專注于傳統上被認為是低收入的工人階級崗位,如制造業、卡車運輸、零售或者服務工作,但研究表明,未來各行各業都將受到影響,其中包括需要專業訓練或者高學歷的專業工作,如放射學或者法律。關于這一點,未來將需要解決職業責任和義務方面的新問題。

      AI將會如何影響主雇關系?

      近年來,研究人員開始研究依靠大數據的AI和自動化系統(從Uber到應用于大型零售商的自動化調度軟件,再到工作間監視)正在如何改變雇主與雇員之間的關系。

      研究發現,雖然這類系統可以用來賦能員工,但該類技術也可能會引發大問題,如剝奪員工權利,加劇就業歧視問題,以及催生不當勞動行為。

      例如,AI驅動的勞動力管理和調度系統正越來越多地被用來管理勞動力,助力按需經濟的增長和“朝不保夕族”(precariat)的崛起。雖然部分研究人員稱恰當的調度能夠帶來很有價值的彈性,但到目前為止,更多的研究發現受該類系統管制的員工存在情緒緊張和缺乏安全感問題。

      由這類系統管理的員工的不利體驗包括長期不充分就業,財務狀況不穩定,缺少傳統全職員工能夠獲得的福利保障,無力為家庭或者自我照顧(又或者因為忍受不了該類工作往往要求的隨時待命性質而尋找別的工作)做規劃。此外,受這些問題影響的員工更多是女性和少數族裔。

      另外,基于AI系統的新遠程管理模式會加大將“系統”所做的嚴重影響員工的決策歸責于雇主的難度。因此,員工更容易受到剝削。

      例如,像Uber這樣的由大數據和AI驅動的平臺會遠程控制行駛路線、定價、報酬甚至人際交流方面的標準——這些決定傳統上說通常都有人工親自管理。

      除了模糊化特定決策的性質和邏輯之外,這類遠程管理通常并不被認為是“雇員管理”。

      由于這些新管理模式不大符合現有的監管模式,像Uber這樣的公司會將自己標榜為技術公司,而非雇員的管理者。按照這一理念,這類公司將自己視作促進連接的平臺,因此不會像傳統雇主那樣對雇員負責。依照這種模式,雇員最終要承擔權益保障(如減輕稅項負擔、醫療保健和其它的勞工保障)和潛在救濟模式的就業帶來的風險。

      3.  醫療健康  

      像我們現在所看到的大多數已被應用到醫療健康領域的AI系統,它們幾乎都依賴于大型數據庫,這些AI系統會通過各種復雜的統計模型和機器學習技術,從其所收集到的海量數據中,自動提煉出各種重要信息。

      那些已投入使用的醫療數據信息源(仍處在不斷增長當中)——包括電子病歷(EHRs)、臨床和醫保數據庫、從各類消費電子產品和App上傳來的健康數據——目前已經被大量地應用到AI系統的實踐,這些AI系統具有極大的能改善社會醫保水平的潛力。

      無論是臨床診斷、病人護理,還是施藥;無論是藥品生產、組織管理,還是醫保信息交互,這些AI系統都為醫療從業者的工作起到了極大的助力。

      AI是如何被融入到醫學研究和醫療健康的?

      將AI系統融入到醫學研究,具有令人極為欣喜的應用前景,它能幫助我們更好地理解那些疾病的病理,幫助我們開發出更多的新式治療手段,實現更為精準的醫學診斷,甚至還能私人訂制地為個人生產出特制的藥品。

      然而,鑒于目前仍存在的將AI應用到醫療領域的局限和偏見,它們或將阻礙這些應用前景的實現,而這就需要研究人員更為細心謹慎地去探索這一前沿的技術。

      目前,這些將AI技術應用到醫療領域的局限,包括有不完整或不準確的研究數據,即未含蓋到特定的少數群體,除此之外,尤以美國醫保系統為代表的復雜醫療補貼激勵制度,也將在一定程度上阻礙到了AI醫療技術的應用。舉個簡單的例子,目前的一些醫療補貼制度會更支持個別種類的藥物研發,或是更傾向于補貼個別治療方案。

      醫療研究數據時常會表現出客觀、通用的屬性,但在實際應用的過程中,這些研究結論往往會表現出片面、暫時和只針對某些團體或病癥的特性,而AI系統根據這些“片面”數據所分析和建立出的模型,可能會引出、建立或是衍生出一些錯誤的猜測。

      所幸的是,這樣的錯誤情況是可以避免的。如果一個AI系統所收集的數據不存在上面我們所提到的那些瑕疵(假設這點是可以被保證的),或是該AI系統所使用的數據框架像隨機對照試驗方法(randomized control trials, RCTs)或是其它公共醫療數據庫那樣,具有自行矯正這些問題的能力,能減小其內在錯誤偏差的話,它就能有效地避免重大誤差的出現。

      假設這些誤差微小到可被忽略,將AI系統融入到醫療健康研究和臨床實踐中心的一個最有可能實現的應用前景,是讓AI去協助醫生進行病癥診斷,從海量數據中發現規律性的模式,從而幫助醫生更早地揪出那些藏匿在身體深處的“狡猾”病灶。

      事實上,AI系統目前已經可以完成對部分病癥的診斷了,這其中就包括了白血病。在檢查和臨床護理環節,AI系統在一些情況下,也有幾率能減少,甚至預防誤診情況的出現。須知,誤診是可以致命的,AI輔助診斷技術的價值之高,可想而知。

      在這方面,AI系統在診斷和確立病癥的環節上,正扮演越來越重要的角色。然而,也正是因為如此,研究人員必須警惕,要避免出現因AI錯誤猜測,而推斷出“正常”或是“平均”等健康狀況描述的情況的發生。

      類似的,我們只需要回顧一下美國在1973年前的那段歷史,就想象出當AI出現誤診時,會發生什么樣慘劇。彼時,美國精神病學協會(American Psychiatric Association)將同性戀作為一種精神疾病列入到了它權威的精神病診斷和統計手冊當中,這樣一來,悲劇的出現就不可避免了。

      同樣的,當AI系統被直接地應用到病人護理時,它們將涉足到診斷和臨床管理的方方面面,而這也時常將隔開看護者同病人之間的距離,所以,適當地明確出AI“專業程度”的局限,是非常重要的。

      一名人類外科醫生在上崗之前,會先上醫科大學,在經歷過層層嚴苛的考核后,他們的醫術才能獲得世人的承認,然而,我們要如何造出一個出色的AI大夫來協助,或者甚至是取代一個有“文憑”的人類名醫呢?

      這樣一個AI醫療系統意味著它需要具有絕對準確的專家級權威水平,不會出現誤診或是診斷偏頗的情況。這種級別的信任代表著這些AI系統無論是在出廠的能力評估上,還是在檢測其極限能力上,都可以接受更少的審查,而這也將制造出那些,目前還未被醫學倫理框架所囊括的新型倫理問題。

      除此之外,我們還需要關注類似于這樣的AI醫療系統在醫保領域內被布置于何處,使誰受益等等這樣的問題。盡管讓醫療健康惠及所有人,讓大家都能負擔得起確實是一種需求,但已有大量的證據表明,取得醫保和健康數據的權限并未被公平地分配,在多數情況下,窮人、非白人和女性群體常常處于劣勢地位。

      讓AI系統融入到醫保體系,非但不會根除這些系統性的不平等問題,反而還有可能會放大這種問題的嚴重性。雖然AI系統可以實現合適的定制化醫療護理,讓各式各樣的人都獲益,但它也可以被故意培養成過濾掉那些之前就常常被忽視、被服務不周的外圍群體。

      如果這些群體沒有被給予適當的考慮的話,這反過來也將影響到AI系統所構建出的預測模型。AI預測模型會被那些能用上這種AI系統的特權群體所上傳的健康數據所不斷的固化,從而只能有效反饋出富人的“健康狀況”,并最終構建出一個會完全排斥“邊緣人群”的健康與疾病的整體認知模型。

      鑒于目前美國存在的醫保財政的亂象,這樣的憂患確實是值得人們投入更多關注,就像這樣的亂象在過去影響到醫療技術的整合一樣,它也必然會在未來影響到AI醫療系統的布置和效用,

      基于這樣的考慮,人們在推動AI醫療系統不斷發展的同時,也在不斷努力地去降低AI醫療系統造價,而這也將促使那些利益相關者(比如政客、保險公司、健康機構、制藥企業、雇主和其他人)把他們的注碼,寄托于大規模的健康數據收集和AI系統的研制上,以此來幫助他們更好地維護他們在模型研發和醫保護理上的經濟利益。

      然而,將這些信息技術和AI系統整合到醫院和其它醫療健康體系所需要的關鍵培訓、資源和那些正在進行當中的必要維護,并不總是能夠得到支持,或者說并不總是能處于“不差錢”的狀況。而這種情況其實已經導致了技術資源和技術能力的分配不均。

      訓練AI所需的數據收集和病患觀察將如何影響到個人隱私?

      AI系統對數據量的極度依賴和對病例觀察的需求也自然而然地催生出了對病人隱私、秘密和安全保護等等急迫的問題。

      目前,對AI醫療系統高性能期許的實現依賴于通過各式各樣的設備、平臺和互聯網來源源不斷地獲取到海量的病患數據,而這一過程也不可避免地會涉及到某些人或機構會在利益的驅使下,做出出格的監視行為。、

      與此同時,像同態加密(Homomorphic encryption)、差分隱私(differential privacy)和隨機隱私(stochastic privacy)這樣的技術帶給了我們應對這些亂象現象的新的希望,它們可以讓AI系統實現在不“查閱”數據的情況下,直接地去“調用”它們。

      雖然就目前來說,這些新技術仍處于研發的初步階段,連一個通用應用程序都還沒有被開發出來,但它展現出能令人鼓舞的應用前景。

      除此之外,隨著近期美國政府對循證醫學(Evidence ?based medicine)的推廣和《平價醫保法案》(Affordable Care Act)已由原先的按服務收費轉變至按治療行為收費的這一變化,監管行為背后所涉及到的經濟利益問題和對敏感健康數據消費的問題,都在不斷地加劇惡化當中。

      至于那些保險公司,在AI系統入局的情況下,其所需面對的對驗證交叉補貼方案合理性的呼聲的壓力也在與日俱增。

      舉個例子,盡管美國政府在2008年就頒布了《基因資訊平等法》(Genetic Information Nondiscrimination Act),但出于對保險分層管理的需求,保險公司對能獲取到遺傳危險率信息的興趣也在日益增長。事實上,差別定價目前已經成為了數據分析供應商的一項業內通用做法,而這反過來也進一步地鞏固和加劇了目前的不平等現象。

      此外,“智能設備”和其它能讓AI系統獲取到所需數據的聯網傳感器也已讓追蹤和監視變得無處不在,而這也將目前的那些隱私保護政策的覆蓋范圍不斷地拓寬,像《醫療健康可攜性和責任法案》(Health Insurance Portability and Accountability Act)就是在這一考慮下的產物。

      隨著AI系統被越來越多地融入到健康和電子消費產品上,病人因細分數據而被重新定義,或是由代理數據來預測出他們的身份、所患疾病和其它健康信息的風險,正不斷地升高。

      除此之外,那些驅動這些數據收集設備的軟件也常常是為私人所持有,而不是開源的(不受外部審查審計的約束)。雖然,美國政府最近簽署的法令對《數字千禧年著作權法案》(Digital Millennium Copyright Act)中的相關條例進行了免除,讓審查外部醫療設施的代碼成為可能,但更為重要的或許是審查那些內部醫療設施,然而這種行為并未被這一豁免權所囊括到。

      總的來說,相關業內專家們都已經對在物聯網設備上,布置聯網技術所潛在的重大安全隱患做過警告了,在這些警告中,有很多就是專門針對醫療設備安全問題的。

      AI將如何影響患者和醫療保險供應商?

      那些已被實現或是有望被實現的AI技術,對健康護理系統的構建有著深遠的意義,對需要照顧的病患,或是那些虛弱體質的人也意義非凡。

      人們對于AI系統,進行了許多美好的構想,寄予它們護理工作調解員的角色,并相信它們在未來有可能完全取締了護工的工作。這一轉變前景樂觀、經濟,且高效,很可能會改善患者與醫生或其他護工之間的關系和他們的工作方式。

      能展示AI系統具有代替或者協助人工護理工作的潛力的例子非常之多,包括有機器人外科醫生、虛擬管家和陪護機器人等等。這些例子逐漸引發了一些爭論,比如代理照顧和陪同護理的社會意義是否可以讓非人類的機器來代替?

      當機器替代人工時,它是否能不僅僅只是增強人工的專業性,而能做到真正的獨當一面呢?當我們認為一臺機器有能力“護理”病人時,它具備了哪些“護理”能力呢?我們又是如何定義“護理”這個詞呢?這些我們以為的“以為”是否是站在病人權益的角度上,去考慮的呢?

      就目前來說,雖然陪護機器人在取代人工護理工作上,還未取得什么明顯的效果, 但由AI驅動的APP和聯網設備能讓病人取回對自己健康管理的控制權的前景正在與日俱增,而這也預示著AI醫療系統同病人的直接交互,正處于早期發展階段。。

      這種人與AI的直接交互其實也是一把雙刃劍。一方面,它能讓病人康復地更快、對自身病情有更多的了解。另一方面,這種變革也需要他們擔負更多的風險。這些風險包括它可能會誤導病患,影響他們可能會接收到的信息的質量和準確性,而這也是美國聯邦貿易委員會(FTC)在近些年來,所要傳達給我們的擔慮。

      除此之外,這些搭載了AI的APP也可以將原先醫療從業者所需要承擔的責任轉移病人本身,但這對病人來說不見得是什么好消息,因為并不是所有人都有時間、財力和AI技術獲取渠道,來實現對他們自身健康的護理。

      那么,什么樣的患者能優先享受到這些仍在不斷改進當中的AI醫療技術的紅利呢?對于那些“裝備”不良卻想管理和維護自己個人數據的病患來說,他們所接受到的健康看護是否是不合格的呢?

      再者,那些搭載了AI技術的應用的設計者和研發者在這一社會演變過程中,又需要扮演什么新的角色?需要承擔哪些新的責任?

      那些始終處于風口浪尖的醫學道德倫理,又將如何融入到這些與眾不同的,新式工程技術的載體上呢?

      4. 道德責任  

      AI系統的部署不僅將引發新的責任,也將對職業道德、研究道德、甚至公共安全評估等現有領域造成挑戰。

      近來,人們對道德和AI系統的討論傾向于優先考慮很久以后可能會出現的AI系統,例如,“奇點”的來臨,或超級智能的發展。

      也就是說,這種討論往往并未關注AI系統在短期或中期內會產生的道德影響,例如,當前已投入使用的大量任務型AI系統引發了新挑戰、可能加劇不平等、或從根本上改變權利機制。

      當代AI系統上能夠執行各種各樣的活動,這類技術會引發各種隱性和顯性后果,因此可能對傳統倫理框架提出新挑戰。AI系統被部署在人類社會中時或許會引發不可預測的相互作用和后果。

      在資源配置以及讓權力和信息集中或重組的潛力方面,我們迫切需要處理一些關鍵問題來確保AI技術不會造成傷害,特別對于已被邊緣化的群體。

      我們如何向AI授予權力或委派AI展開決策?

      AI系統在社會和經濟領域內的融合需要我們把社會問題轉變為能夠被AI解決的技術問題。這種轉變無法保證AI系統產生的錯誤會少于它將取代的現有系統。瑞安?卡洛(Ryan Calo)指出,人們通常以為,AI系統(如,自主駕駛汽車)犯的錯誤將少于人類。實則不然。復雜程度不高的AI系統無法避免地會犯一些人類不會犯的新錯誤。

      在許多領域中,倫理框架往往需要產生記錄,例如,病歷、律師的案卷、或研究人員向機構審查委員會提交的文件。此外,人們還面向患者、客戶或感覺自己遭遇了不公正待遇的對象設立了補救機制。

      當代的AI系統往往無法提供此類記錄或補救機制,要么因為技術上無法實現,要么因為設計者并未考慮此類記錄或機制。

      這意味著,受到影響的特定群體或個人往往無法對AI或其他預測系統的決策進行檢驗或質疑。這會惡化各種形式的權力不對等現象。而權力不對等是一個很重要的倫理議題。

      當受到影響的個人無法對這類自動化決策展開檢驗、質疑或上訴時,他們就處在了權力相對缺失的位置上。

      這帶來的風險是,AI系統不僅將削弱弱勢群體的質疑權力,而且將賦予設計方更多定義道德行為的權力。這種權力能夠以十分微妙的形式呈現出來。例如,各種自動化系統往往被用來從某種方向來影響或“微調”某些個體,而很大程度上扮演決定或支配角色的是設計部署此類系統并從中獲利的一方。

      若要從零開始構建AI系統,以實現糾正上述不平衡現象等目標,這本身就要受到實力差距的限制。打造和維護AI系統需要大量的計算資源和大量數據。而擁有海量數據和計算資源的企業相對缺乏這類資源的企業擁有更多的戰略優勢。

      我們如何在現有的各種行業中應對與AI相關的倫理問題?

      隨著AI系統在不同行業環境(如,醫學、法律、金融)中的融入愈加深入,我們還將面臨跨越不同行業的新的道德困境。

      例如,AI系統在保健環境中的應用將對醫療專業人員道德準則中秉持的核心價值(如,涉及保密、護理的連續性、避免利益沖突以及知情權)造成挑戰。

      隨著醫療業的不同利益相關方推出了各種各樣的AI產品和服務。對這些核心價值的挑戰可能會以全新的和意想不到的方式呈現。

      當一名醫生使用的AI診斷設備在受訓時使用了一家醫藥公司的藥品試驗數據,而這家公司是某種藥物處方的既得利益者,那么這位醫生應如何遵守避免利益沖突的誓言?

      雖然這是個假想的情況,但這點明了在修訂以及更新職業道德準則的過程中必須解決的棘手問題。

      同樣地,負責管理AI研發及維護的專業協會也有必要考慮采取相應的措施。例如,美國人工智能協會(AAAI)應制定相關的道德準則,而美國計算機協會(ACM)以及電氣和電子工程師協會(IEEE)需認真修訂相關的道德準則。

      ACM和IEEE現有的道德準則已擁有20年以上的歷史,不用說,這些準則不僅無法解決與人類機構、隱私和安全相關的核心問題,而且也無法預防AI和其他自動化決策系統可能產生的危害。隨著AI技術進一步被整合到重要的社會領域中,這一點正變得越來越重要。

      盡管更多的高等教育機構在技術和科學專業的教學中已開始強調職業道德的重要性,但這番努力仍處在初期,還有進一步的拓展空間。而民權、公民自由和道德實踐等領域的知識還未成為學生們畢業時必須掌握的要求范圍。此外,有一點是值得注意的,若有人違背醫藥界道德準則,他需承擔的懲罰包括失去行醫權力,這一點并不適用計算機科學或許多其他相關領域。

      目前還不清楚大多數計算機科學家是否熟知ACM或IEEE準則中的核心內容。我們也不清楚,企業雇主是否會因為其他鼓勵或壓力因素而選擇不遵守這種不具約束力的法規。因此,從實用角度看,除了僅僅對倫理框架進行改寫和更新外,有必要關注范圍更廣的鼓勵機制,并確保對倫理準則的遵從并不是事后才想起的事項,而是相關專業領域需要關注的核心問題,以及AI領域學習和實踐中不可或缺的組成部分。

      闡述建議  

      下面我們將進一步闡述上面簡要提到的建議背后的基本原理。

      1、多元化和拓寬AI開發和部署所必需的資源——如數據集、計算資源、教育和培訓的使用,包括擴大參與這種開發的機會。特別是關注當前缺乏這種訪問的人口。

      正如在AI Now Experts研討會期間很多人提到的,這些開發和培訓AI系統的方法費用高昂并只限于少數大公司。或者簡單地說,在沒有大量資源的情況下DIY AI是不可能的。培訓用AI模式要求有大量數據——越多越好。同時還要求有巨大的計算能力,而這費用不菲。

      這使得即使要進行基礎研究都只能限于能支付這種使用費用的公司,因此限制了民主化開發AI系統服務于不同人群目標的可能性。投資基本的基礎設施和使用合適的培訓數據,有助于公平競爭。同樣,開放現有行業和機構里開發和設計過程,以多元化內部紀律和外部評論,可幫助開發更好服務和反映多元化環境需求的AI系統。

      2、升級使公平勞動行為具體化的定義和框架,以適應AI管理部署到工作地時出現的結構性變化。同時研究可替代的收入和資源分布、教育和再培訓模式,以適應未來重復性工作日益自動化和勞動及就業態勢不斷變化。

      在AI Now Experts研討會上,奧巴馬總統首席經濟學家賈森·福爾曼(Jason Furman)指出,在美國每小時工資只有不到20美元的工作,83%都將面臨自動化的嚴重壓力。對于每小時工資在20-40美元的中等收入工作,這個比例也高達31%。

      這是勞動力市場一次巨大轉變,可能導致出現一個永久失業階層。為確保AI系統的效率在勞動力市場不會導致民眾不安,或社會重要機構如教育(有一種可能是教育不再視為就業的更好途徑)的解散,在這種巨大轉變出現,應該徹底研究替代性資源分布方法和其他應對引入自動化的模式,制定的政策應該為組織良好的各種落實測試開路,控制可能導致的災難性后果。

      除了“替代工人”外,AI系統也對勞動力市場也有其他多重影響。例如,它們改變了權力關系、就業預期和工作本身的角色。這些變化已經對工人產生深遠影響,因此在引入AI系統時,在考慮如何表述公平和不公平做法上,理解這些影響很重要。例如,如果開發實際作為管理層行事的AI系統的公司,可被視為科技服務公司,與雇主不同的是,職員可能不受現有法律保護。

      3、在設計和部署階段,支持研究開發衡量和評估AI系統準確性和公平度的方法。同樣地,也支持研究開發衡量及解決一旦使用出現的AI錯誤和損害的方法,包括涉及通知、矯正和減輕這些因AI系統自動決策導致的錯誤和損害的問責制。這些方法應優先通知受自動決策影響的人們,并開發對錯誤或有害判斷提出異議的方法。

      AI和預測性系統日益決定了人們是否能獲得或失去機會。在很多情況下,人們沒有意識到是機器而非人類在做出改變人生的決定。即使他們意識到,也沒有對錯誤界定提出異議或拒絕有害決策的標準流程。我們需要在研究和技術原型化上投資,確保在AI系統日益用于做出重要決策的環境中,確保基本權利和責任受到尊重。

      4、澄清無論是反電腦欺詐和濫用法案還是數字千年版權法案不是用于限制對AI責任的研究。

      為了進行對檢驗、衡量和評估AI系統對公共和私人機構決策的影響所需的研究,特別是有關如公平和歧視的關鍵社會關切,研究人員必須被清楚地允許跨大量域名并通過大量不同方法測試系統。然而,某些美國法律,如反電腦欺詐和濫用法案(CFAA)和數字千年版權法案(DMCA),規定與電腦系統甚至互聯網上公開可訪問的電腦系統“未授權”互動為非法,可能限制或禁止這種研究。這些法律應該澄清或修改,明確允許促進這種重要研究的互動。

      5、支持在現實環境中AI系統對社會經濟生活影響的強大評估和評價方法的基礎性研究。與政府機構合作將這些新技術集成到他們的調查、監管和執法能力中。

      我們當前缺乏對AI系統社會經濟影響評估和理解的嚴格做法。這意味著AI系統在融合到現有社會經濟領域,部署在新產品和環境中,卻不能衡量或精確計算它們的影響。這種情況類似于進行試驗卻不愿記錄結果。為確保AI系統帶來的益處,必須進行協調一致的研究開發嚴格的方法,理解AI系統的影響,當使用這種方法時可幫助形成跨部門和政府內部的標準做法。這種研究及其結果可比作早期預警系統。

      6、在與這些人聯合開發和部署這種系統時,與受自動決策應用和AI系統影響的社區代表及成員合作,聯合設計可問責的AI。

      在很多情況下,這些受AI系統影響的人將是對AI系統環境和結果最權威性的專家。特別是鑒于當前AI領域缺乏多元化,那些受AI系統部署影響的人實際上從事提供反饋和設計方向,來自反饋機制的這些建議可直接影響AI系統的開發和更廣泛的政策框架。

      7、加強行動提高AI開發者和研究者的多元化,拓寬和融合所有觀點、環境和學科背景到AI系統開發中。AI領域應該也結合計算、社會科學和人文學,支持和促進針對AI系統對多個觀點影響的跨學科AI研究。

      計算機科學作為一個學科領域缺乏多樣性。特別是嚴重缺乏女性從業者,在AI里這種情況更為糟糕。例如,雖然有些AI學術實驗室由女性掌管,但在最近的神經信息處理系統大會上,與會者只有13.7%是女性,這次大會是該領域最主要的年度大會之一。

      缺乏多元化的圈子不大可能會考慮這些不在其中人的需求和關注。當這些需求和關注成為部署AI的社會經濟機構的中心時,理解這些需求和關注很重要,AI開發反映了這些重要的觀點。關注開發AI人群多元化是關鍵,除了性別和代表受保護人群外,包括除計算機科學外各種學科的多元化、建立依賴來自相關社會經濟領域學習的專業知識的開發實踐。

      在計算機科學之外和計算機科學之內AI子領域的社會經濟領域,進行AI影響的徹底評估將需要多數這種專業知識。由于很多環境下AI被集成和使用——如醫學、勞動力市場或在線廣告——本身是學習的豐富領域。為真正制定AI影響評估的嚴格流程,我們將需要跨學科的協作,建立新的研究方向和領域。

      8、與專業組織如美國人工智能進步協會(AAAI)、美國計算機協會(ACM)和電氣及電子工程師協會(IEEE)合作,更新(或制作)專業道德準則,更好地反映在社會經濟領域部署AI和自動化系統的復雜性。為任何想掌握計算機科學的人開設公民權、公民自由權和道德培訓課程,反映了教育中的這些變化。同樣,更新專業道德準則約束引入AI系統的專業人士,如適用于醫生和醫院工作者的道德準則。

      在醫學和法律等職業中,專業人士的行為受控制可接受和不可接受行為的道德準則約束。專業組織如ACM和IEEE確實制定了道德準則,然而這些準則過時了,不足以解決復雜社會經濟環境中使用AI系統帶來的具體并常常是微妙的挑戰。雖然醫生確實遵守了約束他們對待病人行為的職業道德,但AI系統的發展,如幫助醫生診療和治療病人,出現了現有職業道德準則不總是能解決的道德挑戰。職業準則和計算機科學培訓必須更新,以反映AI系統建造者對因使用這些系統遭受不同程度不利影響的人所負有的責任。在AI用于增強人類決策時,職業道德準則應該包括在AI系統受到利益沖突左右的時候鑒定責任的保護措施。

      AI Now與會人員名單

      聯合主席:

      凱特·克勞福德(Kate Crawford) 微軟研究院、紐約大學

      梅雷迪思·惠特克(Meredith Whittaker)谷歌開放資源研究與安全團隊創始人

      核心研究團隊:

      瑪德琳·克萊爾·伊莉絲(Madeleine Clare Elish)哥倫比亞大學

      梭倫·巴羅喀斯(Solon Barocas)微軟研究院

      埃倫·普拉塞克(Aaron Plasek)哥倫比亞大學

      卡迪迦·費里曼(Kadija Ferryman)新學院

      程序委員會:

      瑞安·卡洛(Ryan Calo)華盛頓大學

      埃德·菲爾頓(Ed Felten)白宮科技政策辦公室

      埃里克·霍維茨(Eric Horvitz)微軟研究院

      塔拉·里昂(Terah Lyons)白宮科技政策辦公室

      海倫·尼森鮑姆(Helen Nissenbaum)紐約大學

      穆斯塔法·蘇萊曼(Mustafa Suleyman)谷歌DeepMind負責人

      拉坦亞·斯威尼(Latanya Sweeney)哈佛大學

      黃安娜(Nicole Wong)前美國政府CTO

      雷鋒網注:中文全文由網易智能獨家編譯,網易智能為網易科技旗下專注AI、VR/AR等前沿科技領域的內容平臺和社群,服務于人工智能、VR\AR等行業的從業者和關注者。轉載請注明來源、作者及本文鏈接,違者必究。(微信公眾號搜索“豬廠智能菌”并關注,回復“紐約大學報告”或“AI Now”獲取1.5萬字PDF中文版和英文版全部報告。)

      原文鏈接:人工智能長篇報告:1.5萬字告訴你AI的應用究竟對人類社會經濟有哪些影響

      雷峰網原創文章,未經授權禁止轉載。詳情見轉載須知

      【重磅】人工智能長篇報告:1.5萬字告訴你AI的應用究竟對人類社會經濟有哪些影響

      分享:
      相關文章
      最新文章
      請填寫申請人資料
      姓名
      電話
      郵箱
      微信號
      作品鏈接
      個人簡介
      為了您的賬戶安全,請驗證郵箱
      您的郵箱還未驗證,完成可獲20積分喲!
      請驗證您的郵箱
      立即驗證
      完善賬號信息
      您的賬號已經綁定,現在您可以設置密碼以方便用郵箱登錄
      立即設置 以后再說
      主站蜘蛛池模板: 天美影院电视剧在线观看免费视频下载安装| 地爆天星电影无删减版在线观看| 圣斗士星矢国语版55| 很高兴认识你泰剧免费观看完整版| 这就是我的主人| 年轻的女保险销售2 | 花子vs倔强驱魔无删减版立即播放| 望夫崖电视剧| 猎金·游戏未删减| 欧式少女16集全视频| 你是我兄弟36| 火红的日子| 韩国美容院特殊服5| 高清《余罪》全集观看| 《孽欲追击档案之邪杀》| 赤板栗电影大全| 网上购物社区| 旧里番无修在线观看| 淮安发生重大暴力袭警案| 匆匆的青春在线观看完整版免费 | 美妙的邂逅| 大江大河第三部53| 性西欧俄罗斯极品| 胥渡小蝶| 满天星版《黑鹰坠落》女主| 我们的爱情有点疯狂| 死神356| 日本电影《姐妹牙医》在线播放| 人鱼小姐央视版全集| 临泽县| 磊哥4打20裕华高速在线观看| 嫦娥奔月电视剧| 公与媳3| 燃烧少年的天空| 泰剧是你| 沙漠行动满天星| 非常了得20130904| 哈尔滨1994电视剧全集免费| 双人调情按摩电影在线观看| 新闻联播回放今天| 百变小樱2| 哥斯拉系列电影| 高胜美歌曲| 《吴雪雯性迷宫未删减版》 | 韩剧国语版789| 痛的插曲| 爱闪亮 电视剧| 游戏007| 美国睫毛膏3免费播放| 疯狂旅程许君聪在线观看完整版| 王向阳书法| 高压监狱3未删减版在线观看| 美丽的小蜜桃9| 疯马秀完整视频| 日本新金银悔1—5普通话 | 宜阳县| 晴天女秘书| 黄百韬简介及最后结局| 《销售秘密》在线观看| 白雪公主满天星| 互助| 三和人才市场现场招聘信息| 恋恋维纳斯泰剧| 新金银悔1-5普通话一| 巨人新娘的花嫁2免费观看| 延禧攻略1—70集在线| 渔夫荒野史记1988版七| 无心法师金晨| 听不见的爱短剧免费观看| 韩惠珍演过的满天星三部曲| 白月光电视剧在线观看完整版免费| 男生女生免费完整版在线观看| 满天星《律师事务所》| 加勒比女海盗完整版在线观看| 金星 离婚| 《天字号监狱》电影在线观看免费高清 | 亲爱的孩子| 天王 跳舞| 欲女进化论| 老和尚与小姑娘的人物性格| 暴走财神6免费观看| 女体解剖授业| 神武主题曲| 王李丹妮《维修工》| 于成龙 电视剧| 说谎的爱人在线观看| 美国版娃娃脸4| 两人电影免费完整观看| 芈月传电视剧免费观看全集| 电影双女任务| 欢乐之都| 斗罗大陆免费完整观看197| 意大利95版电影《人猿泰山》劳拉| 偷偷喜欢藏不住电视剧免费观看 | 杨思敏1一5集国语版电视剧 | 目之所及| 高清《巴勒斯坦36》电影| 《不被疼爱上司的夫人》| 美食的俘虏141| 《妈妈的外遇》电影| 渔夫荒淫史在线| 韩版《甄嬛传》| 谢娜发文道歉| 哇嘎电影免费播放网站大全| 赖猫的狮子倒影在线看| 疯狂原始人迅雷下载| 三个少妇按摩记在线播放| 电视连续剧错爱| 高清《大宅门》电视剧| 爱有几何150分钟完整版在线观看| 新来的瑜伽教练在线观看| 美国忌讳1~7| 大奉打更人在线观看电视剧| 大电站电影| 晚娘下部| jizz日本18| 一个雇佣兵和三个女人| 盲战安志杰在线观看完整版| 韩国电影维修工的艳遇| 黑金电影完整版| 我的舞台教学设计| 男人把JI大巴放进女人的屁股里| 军事不当行为电影在线观看| 3d肉蒲团高清在线| 黄浦区| 精忠岳飞演员表| 零号基地在线观看| 魔都传奇| 《法国空乘4》电影| 伤痛的不止是一个| 梦华录电视剧手机免费观看西瓜网| 《乳头按摩》免费观看视频| 裙子里面有神兽| 重生八零:媳妇有点辣短剧全集| 美容院的待遇韩国| 与讨厌的部长一起去出差旅的电影| 三个傻子| 飞机上的性K8服务| 一场西班牙的雨| 光芒在线观看| 《禁忌的爱》结局揭秘| 动物世界完整版免费高清观看| 女海盗2电影美国版| 安吉拉主演的《透视》电影免费观看| 少年派第二季全集免费播放| 小泽玛利亚 bt| 《21世纪爱情指南| 末日求生| 987dy| 壮志凌云女版2011杰西| 玛露电影《西西丽娜秀》| 甄嬛传48| 30而已| 双人调情按摩术免费观看| 第八个嫌疑人免费观看| 年轻的母亲韩国在线| 黑白配在线观看免费高清视频| 妖精的尾巴341| 电影灯草和尚高清免费普通话版 | 爱人电影在线观看| 斯巴达第四季10集完整版| 无间电视剧全集40集免费观看| 燕子李三李云龙| 坎贝奇《品味人生》高清全集免费看| 韩剧疯狂的爱情| 利刃出击免费观看| 儿媳的味道在线观看| 给你我的喜欢电视剧| 铁马寻桥粤语| 时光影院《美国空乘满天星》| 高清《爱在空气中特别篇》| 电视剧艰难的爱情| 隐形的帽子韩剧| 回复术士的重来人生樱花在线观看| 韩国伦理电影下载| 宫河家的空腹| 法国空姐2009在线看整板| 神犬奇兵| 变形金刚 高清| 不良义姐免费看真人版| 幸福里九号| 周末同床完整版| 《美容院5| 美国刺客| 各位游客请注意| 浪漫女家教台剧在线播放| 电影一九四二在线观看| 笑傲江湖之风云再起| 蛟河市| 双喜临门| 我是黑社会全集| 决战洛杉矶下载| 官人我要之极乐宝鉴2| 坎贝奇三部曲《品味人生》完整版 | 哈尔滨爆炸事故初查系人为| abp-171| 罗马的房间| 盖世英雄方世玉电影| 公之手中字5HD| 摩登原始人英语| 幻体:续命游戏 电影 | 偷偷藏不住免费观看25集| 老师去学生家家访的电影| 甄嬛传在线观看全集免费完整版| overflower第一季在线观看完整版做饭| 甄嬛传第71集| 金瓶梅2高清百度影音| k8s版电影免费观看| 巾帼枭雄1国语| 回复术士的重来人生 樱花动漫| 特殊理发店待遇8的最新章节和内容 | 激战从林2电影免费观看 | 晚娘罪色| 屠宰呕吐娃娃高清完整版观看 | 爱我几何《莫妮卡》 | 大祠堂在线观看| 《东京塔越南女兵俘虏营》| 又见一帘幽梦优酷| 泰剧国语版全集| 黑拳粤语| 需要妈妈种籽2| 青草青青视频| 万茜被曝遭遇婚姻危机| 巜交换上司的秘书2中文电影| 爱在独木桥韩剧在线观看| 春情荡漾| 爱我几何原版完整版| 太乙仙魔录第一季免费播放| 神机妙算刘伯温第四单元| ボクの弥生さん| 电影布鲁克读大学| 恶作剧之吻2第一集| 一年级大学季| 义姐不是贤妻良母在线观看全集免费| 废子夺嫡之强龙归来短剧免费观看| 长江七号电影免费完整版在线观看 | 神奇女侠成人H版在线| 3d肉铺团在线播放| 高清《海狼行动》免费播放| 姐妹牙医免费| 撒贝宁原名叫啥| 斗破苍穹免费观看全集完整版| 《女销售的销售秘诀中字》| 济公传 郭德纲2013| 小时代在线观看| 间之契在线观看完整免费版动漫| 牙医姐妹赤子板栗在线电影完整版播放| 暗夜守护者| 马达加斯加的企鹅第三季动漫| 国风按摩院在线观看| 铁血少年| 美妙旋律第3季动漫| 朋友换娶妻2完整版| 陪部长出差的日子电影完整版| 美梦成真电视剧| 奥本海默电影| 法国空乘4在线| 年轻的母亲无删减| 绝密狙击49集电视剧免费观看| 插曲的痛30集全免费观看第二部| 寄生兽生命的准则| 雄狮少年2电影免费完整版| 苏菲玛索 狂野的爱| 罗丽星克莱尔性迷宫片长| 我爱鲁班| 画皮之真爱无悔大结局| 美国版4娃娃脸免费观看| 中国双航母首同框| 善良秘书的目的在线观看| 少儿不宜的电影| 《丰满的继牳| 行尸走肉第八季第五集| 陆贞传奇33| 《花子vs倔强驱魔师》| 无所畏惧40集免费看爱奇艺| 蜘蛛侠2| 我的战争| 大梦归离电视剧免费观看全集高清| 《父母爱情》全集在线| 电视剧破冰行动在线观看| 快乐至死| 千金与佣人日剧电影免费观看| 黑三角电影下载| 劳拉婬欲护士中文在线观看| 17·3电影在线观看免费版| 人世界电视剧免费观看全集完整版| 误判粤语电影免费观看| 金装的维尔动画免费观看| 欧美女人ooozzzxxx| 雾岛奈美津| 欲望号快车迅雷下载| 超级教师第三季完整版| 谍影重重3国语| 恋语轻唱动漫免费观看完整版| 电影情劫| 电影魔镜号中文字幕| 韩国电视剧国语版全集| 残骸电影免费观看完整版| 啊进去了| 在 线翻译| 外卖员的外遇| 傻哥蹦迪| 八佰免费播放完整版| 美容院的待遇服务在线观看 | 喜盈门电影免费播放| 日本电影《牙医姐妹》在线| 越狱第一季国语版| 唐太宗李世民54集高清| 你好星期六策驰影院| 如舞薄冰未删减| 月宫宝盒电影完整视频免费观看| 无人在线直播免费观看| 《美容院:特殊待遇》6| 美国就朝鲜发射导弹宣布制裁| 龙门镖局11| 魔镜号在线观看完整版免费 | 九妹mv| 杨恭如被污辱| 好姑娘2在线播放免费观看电视剧下载 | 游泳馆特殊待遇| 猛鬼佛跳墙国语| 非常女生读后感| 按摩电影| 降世神通第四季| 娃娃脸3小女孩| 死亡笔记 最后的名字| 梁山县| 高校教师在线观看免费| 监狱风云在线观看| 家和万事兴全集| 战狼6高清下载地址| 《第一次的辣妹》动漫| 聊斋艳谭之艳魔大战| 无法无天满天星完整版| 再见了悲伤| 终极三国2017| 神奇眼镜韩国电影女老板| 西环浮尸电影免费观看完整版| 镖行天下前传之决战天涯| 禁忌4年转一代最忌三种东西 | kkkbo| 迷人的保姆4| 狂飙未删减版| 高清野党| 电影《需要爸爸播种子 2| 电视剧 追踪| 判逆者电视剧| 皇家师姐国语版| 《插曲的痛》中文| 中国boy| 梦幻叶子| 圣特罗佩姑娘们免费观看| 莲花楼电视剧免费观看| 老男孩之猛龙过江西瓜影音| 福秀回来了在线观看| 甄嬛传74集| 新郑市| 八戒八戒网剧在线观看15| 我是造型师| 螃蟹直接上锅蒸是大忌| 做aj的电视剧大全免费观看中国人| 聊斋狐仙电影在线观看| 舍我其谁电视剧免费观看| 学生POREN老师| 电影《女子护卫队》在线观看免费| 最高对决| 美人 电影| 龙哥游戏库| 白峰美羽 magnet | 橄榄球的电影| 密室大逃脱第4季| 战狼10高清国语免费播放西瓜影院视频| 上阳赋电视连续剧| 赌圣周星驰国语高清| 女超人麦乐迪星辰影院| 赛伦满天星| 《我最喜欢妈妈》动漫最新一集| 欢喜游龙演员表| 隔壁女孩5中字id| 新还珠格格24| 友情以上| 古惑仔5龙争虎斗国语字幕| 暴躁少女高清完整版| 因父去世休假被辞| 刘洋金牌 邹敬园银牌| 红天鹅韩剧在哪里看| 免费无毒韩国R片《韩国三级》| 邻家娇妻文秋| 华尔街之狼完整版在线观看| 保罗一家1-4美国版免费观看| 3d柔铺团之极宝乐鉴宝电影在线观看| 沈阳红高粱| 千山暮雪被删片段| 满天星丽莎和父亲| 弃女归家:家产归我短剧全集| 人与狗马猪p4| 偷偷藏不住40集完整版| 女超人精彩片段合集| 睡美人之宅| 伪装者48集全集免费| 高清《诱人的女教师2》在线播放| 相奸游戏在线观看| 狄仁杰之骷髅将军| 电锯惊魂7高清版| 男媒婆全集在线观看| 东京塔之越南女兵俘虏营免费完整在| 本草药王国语电视剧免费观看 | 我们的秘密免费观看全集| 《我是刑警》全集在线观看| 人猿泰山hr版男主角| 今夜无人入睡免费观看第一集| 朱莉安妮被关进监狱是哪一集| 落花时节电视剧免费观看第38集| 美发店的待遇5HD| 不可撤消在线观看| 天天向上20090109| 浴火之路在线观看| 《法国空乘10》播放| 爱上小鲜肉韩剧国语| 黑暗天使萧淑慎| 巨星嫁到| 强奸电影下载| 中森眀莱| 谢谢你爱过我全集免费观看| 侠客行不通免费观看| 女子私人监狱完整版免费观看| 消失的十一层免费观看| 《当男人恋爱时》| 全球风暴电影| 思思热思思| 佐罗 西班牙| 命中注定我爱你20| 《我的祖国》儿童版| 《茂盛的森林》免费观看| 朋友的朋友| 广场舞林妹妹爱上贾宝玉| 美味满阁| 修理工调教老板娘电影| 阿瑟拉猫| 电影《塔蒂亚娜2》在线| 寂寞电影| 朝国年经的继6免费| 飘摇人生全集电视剧| 卧底48天全集在线看| 情难自禁电影| 聊斋2之天宫美人| 杨幂洗发水广告| 高清《狼人游戏》歌曲原唱| 杜康指的是什么意思 | 素食主义者电影| 爸爸的种子免费观看电视剧需要VIP吗 | 官人我要电影| 《驯服小峓子》2在线| 绮梦游戏| 风气洛阳| 你是我的荣耀超前点播免费观看| 肯兰德桑德兰黑白配在线观看 | 蓝色帽子隐形的韩国电影在线观看| 《另一个贝内特家的姐妹》| 朴亚珍《隐身帽子》在线观看| 和讨厌的部长一起去出差旅电影在线观看 | 农民鲁智深| 海天之恋剧情| 韩国剧《爱上闺蜜》| 《爱你几何》高清全集免费播放| 比特犬多少钱| 电影我的错误免费观看完整版| 恋爱暴君2动漫| 美容院特珠待遇5| 高压监狱手机版在线观看| 我朋友的母亲2完整视频有翻译吗| 台剧黛比浪漫女家教3免费观看全集 | 花田囍事2010| 极度分裂| 徐锦江大内密探| 品味人生电影在线观看免费| 新的景色电影| 十大rko| 布达佩斯之恋完整版| 19岁大学生真人观看电视剧呀| 千金丫鬟电视剧在线观看完整版| 和讨厌部长一起去出差旅| 《兽行日寇》完整版| 爱你命中注定泰剧免费观看泰剧网| xl司令动漫全集在线观看免费播放| 俊爸俏妈| 奇异博士3电影免费观看| 卓资县| 赵氏孤儿案迅雷下载| 杜拉拉升职记 电影| 激情犯罪电影| 大江大河2免费完整版在线观看| 不要对我撒谎| 小妖精好紧出轨H| 需要爸爸的种子在线美国观看 | JUL999羽月希在线播放| 奥特曼大电影超银河传说第二部| 青春期集成曲电视剧| 午夜电影播放器| 电视剧小站风云| 台版1987渔夫荒野史记在线观看| 战争防线电影在线观看| 热辣滚烫电影免费观看| 小镇滋味| 洗衣机修理工艳遇电影| 姐姐的朋友16| 我是特种兵之火凤凰28| 改运转运第一人:风水之王短剧全集| 大哥的宝库免费观看全集高清 | 圣诞快乐劳伦斯先生电影| 弦子 沿海地带| 客轮上的服务员怎么称呼| 蒋玲玲版《渔夫的荒野史记》电影医ww| 梦犯追凶| 女大学生兼职| 《恋爱》大结局| 电影《需要爸爸播种子》| 最近妹妹样子有点怪真人电影原声| 黄金大劫案| 老酒馆电视剧在线观看免费全集| 昌江| 需要爸爸播种美国种子的电影 | 学园默示录第一季| 鹤峰县| 美丽小蜜桃4| 环太平洋百度影音高清| 妈咪直播打扑克| 高清桃恋者| 二十世纪性格与X爱情观后感| 九霄龙帅短剧免费观看 | 遮天动漫在线观看高清完整版| 女友妈妈韩字的ID| 最新壹周立波秀| 人间世全集免费观看| 怒晴湘西电视剧全集免费观看| 保定市| 浪漫黛比在线观看| 平成假面骑士| 电视剧血脉| 江湖故事完整版全集| 兄弟的老婆| 火口的两人 原版| 战狼2免费| 台剧《过界爱》在线观看全集| 无懈可击剧情| 意大利《激情丛林》| 中国梦我的梦网络视听年度盛典| 黎明之战电视剧| 骡子和金子 电视剧| 《强奸ii制服诱惑》清晰免费观看韩国-兵临城下服诱惑》清晰免费观看韩国-兵临 | 法国监狱女狱警2免费观看| 韩国队提前庆祝被中国台北绝杀| 电视剧武则天全集| 邻居也疯狂32集完整版免费看| 中文字Dl幕岳 和女胥友田在线| 觉醒的她短剧| 李采潭主演的电影在线视频播放| 失落女人之家720p| 私人航空电影在线观看完整版| 小凤新婚(下)| 不小心爱上你全集| 天将雄师在线观看| 孙菲菲我是娱乐圈霸凌事件亲历者| 好玩还得是瘦子全集免费播放在线观看| 斗罗大陆2绝世唐门在线| 印度合伙人| 流光之下电视剧免费播放全集| 《保险推销员》1徐元| 巜生殖按摩无删减Tv | 乌云之上免费完整版| 聊斋艳谭续集5通神| 500星级之341电影完整版| 斗破苍穹在线观看完整版| 杨光的快乐生活第三部| 致敬张国荣| 《女子护卫队》在线播放免费观看 | 刺杀游戏2011| 战狼6高清在线下载资源| 馒头影院| 钟汉良版天龙八部| 女人强奸| 偷窥无罪2诱人犯罪| 黏黏糊糊的你第1集| 信者无敌全集在线观看| 《美容院:特殊待遇》4| 聊斋艳谭第3集| 呼啸山乡电视剧全集免费观看| 公公之浮手中字5HD| 镇魂街第二季全集免费| 触及真心| 光晕传奇| 战狼6女版美国版免费播放| 和部长出差的日子免费观看| 海螺里吃出龙珠| 爱情公寓3下载mp4| 国产大爆乳大爆乳在线播放| 家政老师2免费观看全集电视剧| 《销售秘密》在线观看| 三生有幸遇见你| 双面娇娃| AIGAO网在线观看| 三年大片免费完整版电视剧有哪些| 台湾男同激情VIDEOS| 寻找魔鬼| 敢梦有爱| 血溅大浴堂| 菲律宾电影维修工人工的艳遇| 钢琴之森下载| 黑心鬼国语| 我在大学修文物电视剧| 《美丽女儿替父亲还债》剧情电影电| 1995版《泰山和珍妮丛林》男女主角是| 饥饿站台 下载| 最后的99天下载| 壮志凌云2成版| 法国空姐5在线看免费高清满天星全集| 荣誉法则(成人版)未删减版| 争霸传奇电视剧| 单数绝配| 父女大作战2在线观看| 《需要爸爸播种美国》李华月演的| 《执行秘书》正片| 缘份的天空| 巴啦啦小魔仙之彩虹心石11| 下水道的美人鱼qvod| 电影美国爸爸要播种| 郭德纲《济公传》| 大地中文在线观看免费高清电视剧 | 我的姐姐很逆天短剧| 袁成杰电影| 济南市| 战狼6欧式少女免费观看高清| 两个女人的诱惑在线观看| 扫黑风暴有多少集| 女友的妈妈4完整视频有翻译英文| 欧式少女第16集全集剧情介绍视频| 免费无毒韩国R片《韩国三级》| 电影甜性涩爱| 大嫁风尚免费观看全集完整版高清| 杜鹃山选段| 铿锵铿锵铿锵铿锵免费观看| 一千种死法第五季| 桑田佳佑| 凶器未删减| 神话 电影| 牙医赤子板栗免费| 潜艇伟伟迷的个人主页| 黑草莓帝国| 羁绊5.7| 钢铁侠三免费观看高清完整版| 黛比浪漫女家教国语版剧情解析| 县委大院电视剧剧情介绍| 韩版我的女保姆HD| 人间四月天在线观看免费| 宁强县| 用你的手来打扰我吧第二季在线观看| 栀子花开电影| 贤妻良母| 电影《马女》完整版观看| 乐清市| 瓜达卢佩的玫瑰(原版)在线播放| 鹿鼎记周星驰国语| 贤妻良母| 《不良一族寻爱记》未删减| 大清盐商剧情介绍| 插曲的痛免费观看在线高清| 陆贞传奇第50集| 钓鱼台国宴| 黑暗荣耀第二季网盘| 巨蜥斗巨蟒| 欧美人性爱ZZZOOOXXX| 电击小子第3季| 乌拉特中旗| 老公刚出门,义子就侵犯电影| 结婚吗好的电视剧| 沧元图第一季免费全集在线观看| 青岛女子家中马桶变“喷泉”| 《妽妽的丰满大胸》hd| 不耻下问的故事| 冰火魔厨动漫在线观看免费完整版 | 惊天大贼王截取了一段| 电影无人区完整| 北京夜店2女神本色| 天龙八部舒畅第几集| 夺命奇兵| 金银梅10全集免费播放 | 中原镖局之天地英豪| 匆匆那些年电影| 美国式家庭禁忌结局-1| 黑巨吊视频手机在线免费播放| 夫妻那点事免费看正片在线观看| 规章制度的作用| 海天雄鹰电视剧在线播放| 妻子8免费全集高清观看在线| 漂亮的妈妈9| 路一直都在mv| 明日战记在线观看免费完整版| 第八种爱情| 老河口市| 村妓妻子校友二| 忽而今夏1| 《美容院:特殊待遇》| 廉洁自律座右铭| 以法之名 电视剧| 你比星光美丽电视剧免费| 新少女6少女1| 缘之空樱花动漫高清观看| 忘年恋曲电影| 哪吒1免费高清在线观看| 折腰电视剧全集高清免费观看| 《军事不当行为》布兰迪在线观看| 死神264| 徐步高枪击案| 军刺电视剧全集优酷| 铁血尖刀全集| 色情电影瓜达卢佩的玫瑰| 视频在线观看电影完整版高清免费| 电视剧母亲的战争| 斗罗大陆226集在线观看| 女大学生的秘密爱| 东京塔之越南女子行动队在线观看| 菊色宫影音先锋| 偷听女人心| 交换游戏2中国话| 青年医生演员表名单| 《维修工》王李丹妮| 小凤新| 节点钥匙| 北京打车难| 维生素爱香水| 马路天使| 私人教练1982年美国帕克| 白雪公主H版无删在线播放 | 宝贝计划电影| 花木兰2电影| 金银悔1-5国语版免费看| 突围全集播放| 小赫赫玩具| 彬彬来了| 若你安好便是晴天 电视剧| 汉寿县| overflower第一季免费观看| 斗龙战士6| 了不起的女孩电视剧免费观看西瓜| 超凡蛛蜘侠2| 空房间百度影音| 酒井法子空蝉之森原版| 同学的妈妈中韩双字id贤宇| 小小安妮第三季| 动真心:契约总裁短剧全集| 电视剧樊梨花| 致命弯道3百度影音| 砍贝奇品味人生| 楞严咒全文| 经典传奇| 小明星大跟班| 水月洞天第三部幽冥传奇| 影子的诅咒电影在线观看| 维修工的老艳遇在线观看| 《一级方程式:疾速争胜 第八季》 | 壮志凌云女版啄木鸟满天星法版 | 壮志凌云啄木鸟满天星法版| 莫言 丰乳肥臀 下载| 高清《年轻的女仆》在线观看| 猎物电影| 一人之下电视剧免费观看全集高清 | 海底小纵队第10季全集免费完整版 | 北上电视剧免费观看完整版| 方托马斯| 360天爱上我| 韩国主播门| 从结婚开始恋爱1-35集免费观看| 漂亮的保姆7免费播放| 斗罗大陆240集| 千香电视剧| 一起愁愁愁电视剧全集播放| 终极格斗士| 蔬菜宝宝要回家| 美国派4百度影音| 破烂熊乐园| 铁拳电影| 动漫xl司令第一季全集在线观看完整版| 电视剧新生2024| 消失的拳王| 高中少女电影免费观看| 白色城堡电视剧在线观看| 总统夫人。主演,罗丽星克莱尔| 3对1:三人| 魅男gv| 云中玫瑰| 女儿的朋友1免费观看全集电视剧| 老舅1-27集全免费播放| 公公的浮生手中字电影完整版在线| 需要爸爸的种子 在线| 电影七月| 冥绝村剧情介绍| 向东是大海百度影音| 刀剑神域第9集| 好妈妈13中汉字| 十四岁姑娘免费观看电视剧剧情| 男孩爱上已婚妇女是哪部电影| 门事件曝光国产在线| 特殊按摩急诊室| 女烈影视| 年经姨妈3电影| 菜肉馄饨| 3对1:初次性体检4| 韩国电影 好姑娘干 在线观看| 大宋少年志2免费完整版| 杭州杀妻案细节| 暗区突围秘密任务| 瓜达卢佩的玫瑰电视剧| 哇嘎电影免费播放网站大全| 免费观看全集高清| 赵氏孤儿 电影简介| 人世间在线观看免费完整版高清| 明月照我心电视剧免费观看| 星克莱尔《化妆舞会》| 精品国色天香卡一卡二拓卓越的| 红辣椒丁度| 大进军免费| 《花间提壶方大厨第二季》电视剧| 终末的女武神在线观看| 临沂市| 卡一卡二在线入口| 女篮决赛| spec结| 人间大炮| 皮带家族是谁| 怡红院官网| 女律师的坠落2理伦片| 世界末日是哪一天| 麦香电视剧中央一套| 法国式禁忌结局1-4| 插式治疗专业医院1-5集| 毒医嫡女:下毒医术超精通全集免费| 寒战2下载| 魔幻情劫| 我才是真豪门:身份互换短剧全集| 《满天星女版西部通缉令》在线观看| 和部长出差日子HD电影| 喜庆农家全集| 岁月风云粤语无删减| 斗罗大陆第134集免费| 香港电视剧大全免费观看国语版| 少年包青天翻龙劫| 秘书的职责电影| 电影需要爸爸播种子免费完整版在线观看 | 无间道电影| 站着再来一次30集全免费高清| 《上司来我家》完整版|