時間:2018-02-19 來源:互聯網 瀏覽量:
AI 科技評論消息,日前,AAAS 在 reddit 上組織了一場問答,Facebook 人工智能研究院 Yann LeCun,微軟研究院院長 Eric Horvitz,穀歌研究總監 Peter Norvig 共同出席此次活動,回答了觀眾提出的一係列問題,包括如何研究更通用的人工智能,如何看待深度學習熱,AI 的下一個突破點,量子計算是否會對 AI 產生影響,用戶的安全隱私問題等。 AI 科技評論選取部分內容,編譯整理如下。
編輯:思穎、李詩。
Q:現在,為了讓 AI 在圍棋中戰勝人類選手,或者使用深度學習解決特定的科學任務,我們投入了很多人力物力。取得的成就雖然很棒,但 AI 能解決的問題極其有限。能否找到一種蘇格拉底式的 AI,能闡明它勝任的所有任務背後的原理。目前不將上百萬種特定的 AI 組合在一起,你沒法構建一個通用的 AI 係統。如何將隻能解決特定問題的人工智能轉為更通用的人工智能?
Yann LeCun:在我看來,讓機器通過觀察來學習預測模型是 AGI(通用人工智能)的最大障礙。這並不是唯一方法。人類嬰兒和許多動物似乎通過觀察世界、與其交互得到一種常識 (與我們的 RL 係統相比,需要的交互非常少)。我的直覺是,大腦中很大一部分相當於預測機器,它訓練自己去預測它所能預測的一切 (從觀測中預測出未觀測到的變量,例如通過過去和現在預測未來)。
可以用預測模型計劃和學習新的任務,這一過程中隻需與世界進行極少的交互。目前的「無模型」RL 係統,像 AlphaGo Zero,需要與「世界」進行大量的交互來學習 (盡管他們確實學得很好)。這種係統在圍棋和象棋上都做得很好,因為這裏的「世界」很簡單,是確定的,而且可以在多個電腦上同時高速運行。與這種「世界」進行互動是可行的,成本極低。但這在現實世界中行不通,你不可能為了讓係統隻是學會不在懸崖邊開車,而讓它在懸崖邊開無數次車。大腦中的模型告訴我們,在懸崖邊開車是個壞主意。我們隻需要一次就知道這個道理了。而如何讓機器來學習這樣的模型?
Eric Horvitz:是的,可以這樣形容最近一係列取得勝利的 AI 係統——聰明而又片麵的「學者」。人類智力背後存在著無數的未解之謎,我們並沒有取得多大進展。包括「人工智能」,其背後也存在一係列亟待解決的問題。這些問題中,包括人們如何在開放的世界中以一種「無監督」的方式學習,人類「常識」背後的機製和原理,以及人類是如何輕鬆將事情進行歸納總結的。
目前有幾個研究方向可以回答這些挑戰,其中包括不斷推動在特定領域和某些應用領域的研究,那裏一定會出現突破。然而,我認為我們需要追求更通用的人工智能。
方法之一是采用綜合人工智能:我們是否能將多種能力 (如語音識別、自然語言、視覺、規劃和推理) 整合起來,探究整合過程中的需要解決的難題。
另一種方法是不斷推動 DNNs 這種核心方法的發展,並追求更通用的解決問題的方法。我認為這一領域的突破很難實現,但將非常有價值。
下麵這篇文章是關於通用 AI 框架的一些有意思的發展方向:
http://erichorvitz.com/computational_rationality.pdf
Q:目前,很多關於機器學習的研究都轉向了深度學習。
(1)這會減少機器學習研究的多樣性嗎?
(2)為了支持深度學習研究,其他的範式如概率圖模型、支持向量機等的研究會被拋棄嗎?正如 90 世紀的深度學習一樣,也許現在這些表現不好的模型在未來會表現得很好。
Yann LeCun:隨著我們在 AI 上取得進步,我的感覺是深度學習隻是解決方案的一部分。在複雜的(可能是動態的)圖形中集成參數化模塊並從數據中優化參數的想法並沒有過時。從這個意義上說,隻要我們還沒有找到不需要使用梯度來優化參數的好辦法,深層學習就不會消失。也就是說,正如我們今天所知道的那樣,深度不足以構成「完整」的人工智能。我一直喜歡說定義動態深層結構的能力(即按照程序定義計算圖,其結構隨著新的輸入而改變)的能力可以將深度學習推廣為可微編程方法。
但事實上,我們至少遺漏了兩件事:(1)可以推理的機器,而不僅僅是感知和分類,(2)機器可以通過觀察世界來學習,而不需要人類策劃的訓練數據,不需要與世界進行太多次交互。有些人稱之為無監督學習,但這個短語太模糊了。
我們需要機器學習的一種方式是學習人類的嬰兒和動物:他們主要通過觀察來建立世界模型,並且有非常少量的交互作用。這是下一個十年的挑戰。
至於問題(2)深度學習和圖形模型之間沒有對立。你可以這樣使用圖形模型,比如因子圖,其中的因子是整個神經網絡。這些是正交概念。人們曾經在深度學習框架的基礎上建立了概率規劃框架。例如 Uber 的 Pyro,它是通過 PyTorch 建立的(概率編程可以看作圖形模型的推廣、類似可微編程是深度學習的泛化推廣)。事實證明,在圖模型中使用反向傳播進行推理是非常有用的。當數據匱乏並且可以手動特征化時,SVM、核方法、樹模型等更好用。
Eric Horvitz:人們對於深度神經網絡在預測任務和分類的能力感到很興奮。將其應用於對象識別、語音識別、翻譯(結合強化學習思想)等的準確率不斷提高。然而,AI 是一個寬廣的領域,有著大量有前途的分支學科——並且 AI 的機器學習分支也還有著大量的分支。
我們需要繼續開發有潛力的 AI 技術,包括概率圖模型、決策理論分析、邏輯推理、規劃、算法博弈論、元推理和控製論等已有的豐富成果。我們還需要將領域進行擴展,例如將有限理性模型推廣到開放世界中研究智能體。
在微軟研究室,我們在 DNNs 上付出了不少努力,投資更廣泛的 AI 項目。我們也對如何結合邏輯推理、DNNs 和其他的機器學習感興趣。例如,你可以看看我們用 DNNs+邏輯來自動編程的例子。
Q:你認為深度深度學習隻是一時的潮流,還是長期的趨勢?雖然我了解到基於深層學習的模型使得計算機視覺和 NLP 方麵有了巨大的改進。你認為深度學習是解決視覺和 NLP 問題的模式嗎?或者,不久就會有新的範式出現?
Peter Norvig:我認為「深度學習」這個品牌已經創造了很大的價值,因此不管基礎技術有多大變化,它還會維持很長一段時間。即使 CNNs 和 Relus 興起,我認為「深度學習」這個名字還將持續。
至於基本概念或方法,我認為我們在模式匹配問題上做得很好,但在關係推理和規劃方麵做得並不好。我們可以做一些抽象的形式,所以我們需要大量的新思想。
Q:我想知道是否有人試圖設計一種模仿情感的獎勵係統。我相信人工智能係統必須與世界有某種聯係,「情感」是真正把我們與環境結合在一起的粘合劑。我正在想象 AI 通過完成一項任務能達到的某種狀態。例如,我們有可以打敗國際象棋大師的計算機,但我們能擁有想要贏的計算機嗎?一個想法可能是分割數據,如果完成了一個任務,就會打開一個分區。所有的生命形式都通過一種獎勵製度進化。
Peter Norvig:事實上,阿爾法狗等係統在圍棋對弈以及其他遊戲中取得的成果,主要來源於:一個係統的獎勵,我們稱之為「強化學習」。Alpha Zero 隻從輸掉一盤遊戲或者贏得一盤遊戲中獲益,沒有任何預先的專家知識,有的隻是遊戲的規則和「嚐試更多能獲得積極獎勵的行為,更少獲得消極反饋的行為」。所以,從某種意義上說,Alpha Zero 唯一「想要」的是贏。在另一個意義上說,它不想任何東西,它沒有感受或好或壞的事情的感覺,它隻是想從計算上獲得最大的比分。
Q:很多傳統統計模型的價值在於:我們能清楚地知道模型在做什麼,它們是如何得出結論的,在推斷/預測時的不確定因素。深度學習的方法在預測方麵也很不錯,但它們往往是「黑箱子」。對於 ANNs 等模型的內部機製,我們有哪些了解?了解模型的內部機製是否重要?我認為在做重大決策(例如自動駕駛、臨床決策)時,了解模型的內部機製極其重要。
Peter Norvig:這是當前研究的一個重要領域。你可以從 Big Picture blog 或 Chris Olah 的博客中看到穀歌是如何來進行這一研究的。我認為理解上的困難更多的是來自於問題本身,而不是解決方案。當然,二維線性回歸極易理解,但它不適用於非良好線性模型問題。同樣地,隨機森林或者標準的 Python/Java 代碼中「if/then」規則很容易理解,但是如果這些規則真的是一目了然的話,代碼中就不會有 bug 了。
我想說的不僅僅是「理解」,還有「可信度」。我們什麼時候可以信任一個係統?特別是當係統做出重大決策的時候。有很多方麵:
是否可以理解代碼/模型;
模型是否長期在很多案例上得到過驗證;
是否能確信世界沒有發生變化,將我們帶入模型從未見過的狀態;
模型能否抵抗對抗性攻擊;
模型能否抵抗 degradation 測試,即故意削弱模型的一部分,看其他部分如何工作;
過去是否有成功的相似技術;
模型是否被持續監控、驗證和更新;
模型外部采取了哪些檢查措施?有其他係統檢查輸入和輸出係統嗎;
采取什麼語言與係統通信?能問係統正在做什麼嗎;
我能給它一些建議嗎?如果它出錯了,我隻能給它成千上萬個新的訓練案例嗎?是否可以直接對它說:「不,你得出的 X 是錯誤的,因為你忽略了 Y。」
……
這是一個很偉大的研究領域,希望未來看到更多的工作。
Q:你認為 Capsule 網絡怎麼樣?除了 MultiMNIST,你們在其他數據集上有成功應用過它嗎?當輸入更多數據時,CNN 和它相比如何?
Yann LeCun:將膠囊網絡應用於大規模的數據集是個不錯的想法,Geoff Hinton 已經思考了幾十年。他一直在尋找將其成功用於 MNIST 上的方法,如果想要將其成功用於 ImageNet 或其他數據集上,也需要花費很多的精力。此外,也不知道其在性能上是否存在優勢。膠囊網絡可以看成是一種具備特殊池化方式的卷積網絡。
Q:你們在研究 AI 時發現最嚇人的事情是什麼?
Yann LeCun: 這項研究沒有什麼可怕的(與一些小報有時聲稱的相反)。
可怕的事情隻發生在人們試圖過早地部署 AI 係統時。特斯拉自動駕駛儀功能超酷,但是,作為一個司機,你必須理解它的局限性,以便安全地使用它(它使用的是卷積網!)。
Eric Horvitz: 對於如何在安全關鍵領域部署人工智能,我們有一些自己的理解——例如,當機器和人員協同工作時,我們努力實現「人工智能協作」。
我們在 AAAS 會議上有討論這個話題:
https://aaas.confex.com/aaas/2018/meetingapp.cgi/session/17970
Q:當人工智能機器人能夠比任何一個團隊更好地預測/引起市場波動,然後以閃電般的方式買賣股票、產品、土地等,會發生什麼?我們能采取什麼樣的保障措施來防止 AI 的一些先驅者稱霸世界市場?
Peter Norvig:多年來,有大量交易者將先進的統計模型運用到股票市場,取得了不錯的成果。無論你有多聰明,你始終不知道還有多少空間,能讓你把事情做的更好。就我個人而言,我認為我們應該提前幾年就采取行動,通過控製交易的速度/或在交易上施加更高的成本,來抑製定量交易的效果。比我更了解交易的人或許有更好的保障辦法,但我不認為 AI 從根本上改變了規則。
Yann LeCun:你越能準確地預測的市場,你就使得市場越難預測。完全有效的市場是完全不可預測的。因此,如果市場完全由一係列完美的(或準完美的)自動交易係統組成,每個人都會得到完全相同的回報(這與市場指數的表現相同)。
Q:量子計算的進步驅動了 AI 研究嗎?如何看待二者在未來的融合?
Peter Norvig:目前我想做的很多事情量子計算都幫不上忙。我經常想要通過一個相對簡單的算法來處理海量文本,而量子計算對此並無幫助。不過,量子計算可能有助於更高效地搜索深度網絡的參數空間。我不知道是否有人做出了這樣的量子算法,不需要考慮如何用硬件來實現,如果在理論上可行也可能會有所幫助。
Yann LeCun:驅動?當然不是,量子計算對於 AI 的影響如何,說實話,我目前還不清楚。我認為,它在短期內不可能對 AI 產生影響。
Q:許多人在使用搜索引擎和 Siri,Google Home 等語音助手時都會擔心隱私泄露。當 AI 成為我們生活中密不可分的一部分時,有什麼措施可以使得用戶在使用 AI 的同時保護其行為數據?
Eric Horvitz:我能理解這種擔心,我們公司的員工對於終端用戶數據采取了嚴格的匿名措施,數據短暫停留後就會被刪除,並且為用戶提供了多種方法來觀察,控製和刪除數據。我相信 Google 和 Facebook 也采用了同樣嚴格的方法,對此我沒有什麼不滿。
隨著歐盟發布的「一般數據保護條例」(GDPR) 開始實施,對於用戶數據的把控會越來越嚴格。在保護用戶隱私方麵的努力讓人覺得很棒,例如私下訓練 AI 係統和為用戶提供更多選擇。在幾年前 IAPP 的會議上曾討論過後者的解決方案,可以在這裏查看:http://erichorvitz.com/IAPP_Eric_Horvitz.pdf
Q:這些發展 AI 的公司(特別是 Facebook)背後的動機是什麼呢?在我看來用戶並不像 AI 公司那樣關心 AI。一些公司借助 AI 來手機用戶數據來盈利,更是激化了用戶與公司之間的矛盾。如何讓像我這樣的用戶相信這些產品不是打著 AI 的旗號,實際上是為了收集用戶數據?
Peter Norvig:你提到了數字助手,我認為這個技術明顯是站在用戶一邊的,你的數字助理將是你的——你可以訓練它去做你想做的事情;在某些情況下,它隻會在你的設備上運行你的私人數據,沒有其他人可以訪問它的內部工作。它將作為你的代理人,你不用直接去一家大公司的網站,希望他們能提供給你有用的東西,而你的代理人會整理這些產品,確保你得到你想要的東西。
Yann LeCun:這對於我們科學家來說不成問題。真正的問題是「你信任你的數據嗎?」你相信你的手機公司,你的 ISP,你的手機/操作係統製造商,你最喜歡的搜索或社交網絡服務,你的信用卡公司,你的銀行,你使用的每一個移動應用程序的開發者嗎?看看它們的數據政策,選擇你可以信任的產品,確認他們不向第三方銷售(或泄露)你的數據。在數據上遵從倫理並不會帶給公司利益衝突,因為從長遠來看,遵從數據倫理是唯一的好政策。
Eric Horvitz:我同意彼得的觀點。在構建個人代理方麵,存在著一些有趣的可能性,這些代理隻根據他們所服務的人的偏好共享數據,並且這些代理隻會根據所有者的指令行事。這是一個不錯的研究領域。
Q: 我是本科新生,幾年前我就想在 AI 領域工作,但是除了我的教授們我沒有任何的資源。我的學校很小,要參加招聘會都得去別的城市,我如何能與 AI 領域產生更多的聯係呢?
Peter Norvig:我建議你自己通過課程或討論論壇在線交友繼續學習。明顯地,要憑借小學校的項目,找到 AI 方麵的工作很難。但是,你可以在一家大公司獲得軟件工程師的職位,一旦你到了那裏,表達你對 AI 的興趣,在工作中學習,密切關注你所能從事的與 AI 相關的項目,並且很有可能在更短的時間內取得博士學位,你將成為公司中一個公認的人工智能專家。
Q:我是一名學習核工程/等離子體物理學研究生,正計劃轉向 AI 研究。
關於 AI 領域:AI 研究的下一個裏程碑會是什麼?目前需要攻克哪些挑戰來達到這些裏程碑?
關於專業技能:我需要具備哪些關鍵技能/知識?剛入門的人該如何學習?
Yann LeCun:深度無監督學習、可以進行推理的深度學習係統是下一個裏程碑。無監督學習需要麵臨的挑戰:學習世界的層次化表征,以理解變化的解釋因素。如何在不完全可預測的世界中進行預測,這是機器需要學習的。關鍵技能:良好掌握數學(線性代數、多變量微積分、概率統計、優化學等)、熟練的編程技能、科學方法論。總的來說,創造力和知覺也很重要。
Peter Norvig:我對能真正理解人類語言、能進行實際對話的助理很感興趣,這將是很重要的裏程碑事件。其中挑戰是結合抽象推理和規劃將模式匹配,目前我們隻能在非常形式化的領域,如圍棋中才能做的很好,而在現實世界中還遠遠不夠。
作為物理學家是你的一大優勢,你的數學背景、實驗、建模和處理不確定性、誤差的思維很適合學習 AI。我見到過很多物理學家在 AI 領域做得不錯。
AI 科技評論編譯整理。
reddit 地址:https://www.reddit.com/r/science/comments/7yegux/aaas_ama_hi_were_researchers_from_google/