首頁熱門文章
遞歸神經網絡之父：AI下一輪革命的核心是“人工好奇心”
發布時間：2019-08-29 分類：趨勢研究 來源：澎湃新聞
“通過在小行星帶及其以外的無數自復制機器人工廠，人工智能將改變太陽系，然后在數十萬年內改變整個銀河系，并在數百億年內改變可達宇宙的剩余部分，只有光速的限制能夠阻止。”
“宇宙依然年輕，它還會比現在老很多倍。我們應該還有大量的時間去擴展人工智能的領域來實現并轉換它的所有內容。展望未來，宇宙將比現在老一千倍，然后，宇宙回首過去，說：‘幾乎就在大爆炸之后，就在140億年之后，整個宇宙開始變得智能化。’”
“人類在宇宙的智慧傳播方面不會發揮重要作用。但沒關系。不要將人類視為創造的王冠。相反，將人類文明視為更宏偉計劃的一部分，這是宇宙走向更高復雜性的重要步驟（但不是最后一步）。現在，它似乎已準備好邁出下一步，這一步與35億年前的生命發明本身相當。”
以上三段話不是科幻電影的臺詞，也不是科幻小說的描述，是人工智能遞歸神經網絡之父、德國計算機科學家尤爾根·施米德胡貝在參加2019世界人工智能大會之際接受澎湃新聞（www.thepaper.cn）專訪時，對人工智能的預測。
尤爾根·施米德胡貝（Jürgen Schmidhuber），受訪者提供
在人工智能領域，德國計算機科學家尤爾根·施米德胡貝（Jürgen Schmidhuber）是一個頗具爭議性的存在。《紐約時報》曾稱他是人工智能研究領域的 Rodney Dangerfield （一位美國喜劇演員，1980年代以一句“沒人尊重我”而知名），他認為自己在人工智能領域的開拓性研究沒有得到重視。
施米德胡貝在1997年提出了長短期記憶人工神經網絡（Long-Short Term Memory, LSTM），為神經網絡提供了一種記憶形式，改善了準確度。但由于當時計算機算力的限制，直到近幾年，LSTM的概念才開始普及。目前，LSTM已被廣泛地使用于Facebook的自動翻譯、谷歌的語音識別、蘋果的Siri以及亞馬遜的Alexa。在無監督的對抗性網絡、人工好奇和元學習機器領域，施米德胡貝也做出了不小貢獻。他所在的實驗室培養出了阿爾法狗團隊四位創始成員中的兩人。
除了對學術成果受關注度的不滿，施米德胡貝還時常因聽似夸張的言論受到批評，部分科學家認為他對技術進步速度的樂觀是毫無依據的。
受科幻小說的啟發，從15歲開始，施米德胡貝的主要目標是建立一個比他更聰明且能自我完善的人工智能，然后退休。目前，他是瑞士人工智能公司NNAISENSE的聯合創始人和首席科學家，在那里，他希望打造第一個實用的通用人工智能。
施米德胡貝還擔任瑞士IDSI人工智能實驗室科學主任，瑞士USI&SUPSI大學人工智能教授。
他對澎湃新聞（www.thepaper.cn）記者表示，人工好奇心（Artificial curiosity）將成為下一輪人工智能的核心，智能機器人主要從自己發明的實驗中學習，偶爾才向人類學習。
當前，機器人的智慧仍然比不上兒童、甚至某些小動物。但施米德胡貝在采訪中說，在不到幾年的時間里，我們將能夠構建一個人工智能，使其逐漸變得至少像小動物一樣聰明，具有好奇心和創造性，并持續地學習如何計劃和推理，以非常普適的方式將各種問題分解為可快速解決（或已經解決）的子問題。
“一旦我們擁有動物級人工智能，幾年或幾十年后，我們就可能會擁有人類級人工智能，屆時所有文明都將發生變化，每一個事物都將發生變化。”
尤爾根·施米德胡貝（Jürgen Schmidhuber），受訪者提供
“機器將從自己發明的實驗中學習，偶爾才向人類學習”
澎湃新聞：
你對人工智能的定義是什么？
Jürgen Schmidhuber：
人工智能是一門自動解決問題的科學，特別是用自動學習地方式解決以前未解決的問題。
澎湃新聞：
你的另一個興趣是無監督學習（在不提供監督信息即預測量的真實值的條件下進行學習），近期這一領域有什么新發展？
Jürgen Schmidhuber：
目前的商業應用主要集中在監督學習上，它使人工神經網絡模仿人類老師。在許多實驗過程中，Linnainmaa在1970年提出的方法（今天通常稱為反向傳播）被用來逐步削弱某些神經連接并加強其他神經連接，使得網絡的行為越來越像老師。通過這種方法，我們的LSTM神經網絡學會了在數十億臺智能手機上為世界上最有價值的公司進行語音識別和自動翻譯。但問題是人類老師需要提供所有的訓練數據。
嬰兒在沒有老師的情況下就能學到很多東西。當他們與世界互動時，他們學習預測其行動的后果。他們還有好奇心，會用玩具設計實驗，從中獲得新的數據，了解更多信息。
為了構建具有好奇心的智能體，我在1990年引入了一種新型的主動無監督學習。它基于一個最大最小值博弈，其中一個神經網絡最小化一個目標函數，而這個目標函數卻被另一個網絡最大化。那么它具體是怎么工作的呢？第一個網絡稱為控制器，它生成可能影響環境的輸出。第二個網絡稱為世界模型，它預測環境對控制器輸出的反應。世界模型的目標是最小化其誤差，從而成為更好的預測器。但在零和博弈中，控制器試圖找到最大化世界模型誤差的輸出。也就是說，控制器想要找到某種新的實驗，這種實驗可以生成世界模型仍不熟悉的數據，直到這些數據對世界模型來說非常熟悉。如今，在算力比1990年便宜了一百萬倍的情況下，我們使用這一簡單原則的復雜變式來構建無監督的機器人，這些機器人為自己設定目標，從而在這個過程中能夠解決越來越普適的問題。
澎湃新聞：
無監督學習的成熟將對人類產生什么影響？
Jürgen Schmidhuber：
人工好奇心（Artificial curiosity）將成為下一輪人工智能（有時稱為“第四次工業革命”）的核心，這次革命中，智能機器人和其他機器將通過自己的行動來塑造他們的數據。他們將主要從自己發明的實驗中學習，偶爾才向人類學習。
目前還沒有出現，但在不久的將來，我們將會有我曾在訪談中提到的“展示和告知機器人”、“觀察和學習機器人”或“觀察和行動機器人”——人類快速地向一個復雜機器人展示如何執行復雜任務，例如只通過智能手機進行視覺演示和對話，不需要觸摸或直接指導機器人，整個過程就像我們教育孩子一樣。
下一輪人工智能將更廣泛地影響經濟；現在的人工智能浪潮主要涉及營銷和廣告，以智能手機被動模式識別的方式。當前的被動人工智能分析你的言辭、面部、偏見和閱讀偏好等，以預測你接下來可能對哪些文章感興趣，讓你在平臺上停留更長時間，讓你點擊更多廣告等。當然，參與當前人工智能浪潮的公司（亞馬遜、阿里巴巴、Facebook、騰訊、谷歌等）是目前最有價值的公司，但營銷和銷售廣告只是世界經濟的一小部分，下一輪人工智能浪潮將會波及更廣，影響所有工業生產。
“整個宇宙開始變得智能化”
澎湃新聞：
在更遙遠的將來會發生什么？
Jürgen Schmidhuber：
從長期來看，為自己設定目標的AI將嘗試進一步改進自己，主要使用我們自1987年以來發布的元學習方法。他們將學習改進自己的學習程序，并推開自己的局限性。
他們具體會做什么呢？太空對人類是敵視的，但對設計合理的機器人是友好的，它提供的物理資源比我們的生物圈要多得多，我們的生物圈接收了不到十億分之一的太陽光。雖然有些好奇的人工智能仍然會對生活著迷，但至少只要他們不完全理解它，大多數人工智能就會對太空中不可思議的新機遇更感興趣。通過在小行星帶及其以外的無數自復制機器人工廠，人工智能將改變太陽系，然后在數十萬年內改變整個銀河系，并在數百億年內改變可達宇宙的剩余部分，只有光速的限制能夠阻止。（人工智能或其部分部件很可能通過無線電從發射器傳輸到接收器，但將其安裝到位需要相當長的時間。)
這與20世紀科幻小說中描述銀河帝國和智慧人工智能的場景截然不同。小說的大多數情節都是以人為中心的，因而不切實際。例如，為了實現銀河系的長距離和人類壽命的兼容，科幻小說作者發明了物理上不可能的技術，如扭曲驅動器。然而，不斷發展的人工智能領域在物理速度限制方面不會有任何問題。
宇宙依然年輕，它還會比現在老很多倍。我們應該還有大量的時間去擴展人工智能的領域來實現并轉換它的所有內容。展望未來，宇宙將比現在老一千倍，然后，宇宙回首過去，說：“幾乎就在大爆炸之后，就在140億年之后，整個宇宙開始變得智能化。"
當然，人類在宇宙的智慧傳播方面不會發揮重要作用。但沒關系。不要將人類視為創造的王冠。相反，將人類文明視為更宏偉計劃的一部分，這是宇宙走向更高復雜性的重要步驟（但不是最后一步）。現在，它似乎已準備好邁出下一步，這一步與35億年前的生命發明本身相當。
這不僅僅是另一場工業革命。這是超越人類乃至生物學的新事物。我有幸見證了它的開始，并為它做出了一些貢獻。
“人工通用智能的拼圖碎片已經開始就位了”
澎湃新聞：
人工智能作為一門學科和一個行業，近年來備受關注。你如何看待這種現象？以史為鑒，我們是否應該警惕另一個人工智能寒冬的可能性？
Jürgen Schmidhuber：
我看不到另一個人工智能冬天的到來，因為人工智能已經在各地改善了生活，盡管許多人不知道這一點。例如，截至2016-2017年度，我們的LSTM已滲透到現代世界，占用了地球計算能力的很大一部分，使許多人的生活變得更加輕松，人們的生活已經離不開它。這正是即將到來的更大規模人工智能浪潮的高潮……
澎湃新聞：
你如何預測人工通用智能（AGI）的發展？在此階段阻礙AGI的因素有哪些？
Jürgen Schmidhuber：
我們已經在21世紀早期的瑞士人工智能實驗室中開發了數學上最優的通用人工智能和問題解決程序，例如Marcus Hutt針對所有定義明確的問題的最快算法，或者我的元學習、自引用、自我改進的Gdel Machine。這些系統在理論上是最優的，但還不夠實用。這就是為什么我們仍在開展業務，努力彌合理論和實踐之間的差距。我認為這一差距即將縮小；許多本質的見解已經存在，拼圖的碎片已經開始就位了。
我認為許多進展將建立在兩個相互作用的循環神經網絡（RNN）的基礎上。回想一下我剛才跟你說過的關于人工好奇心的事。其中一個RNN是一個控制器，它學習將輸入的數據（如視頻、音頻、饑餓和疼痛信號）映射到一個能夠最大化獎勵且最小化疼痛的動作序列上，直到智能體的生命結束。另一個是一個世界模型，它去學習預測環境對動作序列的反應。前者可以利用后者來計劃、思考和提高解決問題的能力。我們的第一個這樣的系統可以追溯到1990年，但現在我們更清楚如何把它做得更好了。
除此之外，我們仍然受益于這樣一個事實：每5年，同等價格可以獲得的算力能提高大約10倍。與摩爾定律（Moore's Law）不同，摩爾定律（Moore's Law）認為每片微芯片的晶體管數量每18個月翻一番，且這一趨勢最近被打破了。自從康拉德·祖斯（Konrad Zuse）于1935-1941年制造出第一臺能用的程序控制計算機以來，這種趨勢一直持續著。如今，75年后的今天，同等價格的硬件速度大約提升了一百萬倍。如果這一趨勢不被打破，很快我們將擁有廉價的，具有人類大腦的原始計算能力的設備。幾十年后，計算設備將擁有100億人的大腦計算能力。
“至少像小動物一樣聰明”
澎湃新聞：
在LSTM和GRU之后，RNN是否可能有一個新的主干網絡結構？如果是這樣的話，會有什么改進呢？
Jürgen Schmidhuber：
盡管LSTM現在消耗了世界上大部分的計算能力，但是沒有證據表明LSTM是最好的循環神經網絡。（更不用說功能較弱的LSTM變體GRU，它是許多LSTM變體中的一個）事實上，在2009年，我們已經有了一個系統，它自動設計了類似LSTM的架構，至少在某些應用中優于普通的LSTM。這種“神經架構搜索”現在被廣泛使用，也許我們可以開始期待下一個人工智能的重大突破是由人工智能本身產生的。
澎湃新聞：
人工智能領域的下一個突破可能會發生在什么領域？當前人工智能落地應用的真正困難是什么？例如，機器翻譯、閱讀理解有哪些困難？
Jürgen Schmidhuber：
目前，基于人工智能的翻譯和閱讀理解并不差。但現實世界中，機器人的人工智能比這個難得多，也比單純棋盤游戲（國際象棋、圍棋）或電子游戲（星際游戲、Dota游戲）的人工智能難得多。兒童、甚至某些小動物仍然比我們最好的自學機器人聰明得多。但我認為，在不到幾年的時間里，我們將能夠構建一個基于RNN的人工智能（RNNAI），使其逐漸變得至少像小動物一樣聰明，具有好奇心和創造性，并持續地學習如何計劃和推理，以非常普適的方式將各種問題分解為可快速解決（或已經解決）的子問題。
一旦達到了動物級的人工智能，邁向人類級人工智能的下一步可能就很小了：智能動物的進化需要數十億年的時間，而人類進化的時間只有幾百萬年。技術進化比生物進化快得多，因為死端被清除得快得多。也就是說，一旦我們擁有動物級人工智能，幾年或幾十年后，我們可能會擁有人類級人工智能，具有真正的無限應用程序，每一項業務都將發生變化，所有文明都將發生變化，每一個事物都將發生變化。
“上海的努力給我留下了特別深刻的印象”
澎湃新聞：
你如何看待中國在學術界和業界的人工智能發展情況？為什么決定參加世界人工智能大會？
Jürgen Schmidhuber：
盡管人工智能和深度學習是上一個世紀在歐洲發明的，但中美兩國目前在將人工智能轉化為金融利潤方面表現出色，特別是通過阿里巴巴和亞馬遜、騰訊和Facebook、百度和Google等大型平臺公司。
我對中國在人工智能領域取得領導地位的決心特別印象深刻。盡管瑞士在人工智能研究方面的人均引文影響仍居世界前列，但在絕對數字方面，中國現在是人工智能年產最多的國家。因此，我預計在不久的將來，我們將看到中國人工智能的顯著發展。
上海的努力給我留下了特別深刻的印象。瑞士的經濟規模與上海大致相當，然而，瑞士目前只向人工智能投資一小部分。我希望上海能明智地投資人工智能領域，然后我們將看到人工智能的突破源于上海。
