首頁熱門文章
大數據或消失，“全量數據時代”將到來
發布時間：2018-11-09 分類：趨勢研究
近日，全美排名第四的CTO、天睿公司首席技術官、全球數據倉庫技術專家Stephen Brobst發表了名為《數據分析的未來》的演講。
他指出，未來大數據這個詞可能會消失，我們將迎來“全量數據時代”；此外，數據分析的統計知識非常重要，只依靠技術工具進行數據分析的業務領域專家非常危險。
Stephen指出，未來的數據分析將呈現以下四個基本特點。
1. 從大數據思維到全量數據思維
Stephen提出的未來數據分析第一個趨勢，是從大數據思維向全量數據思維的轉變。
未來，數據的量級已經不再是衡量數據分析的最重要指標，最重要的價值將來自全量數據分析，整體數據的整合。
他指出，“未來，大數據這個詞或許會消失，取而代之的是【數據】或者【所有數據】，但數據分析會一直存在。”
無獨有偶，在剛剛結束的百度世界大會上，李彥宏也提出了百度的全量數據思維。他指出，互聯網時代和人工智能時代最大的不同，就是在數據分析上，到底是用抽樣方式還是全量數據獲取分析方式。
而顯然，后者更加符合當前時代的發展特點，特別是在一些特別的應用場景比如說智能交通領域，用全量實時的數據來感知交通實際情況，城市每一輛車所在具體位置，每一個紅綠燈口有多少輛車，這些車移動的方向等等。通過對這些情況進行全局調整，可以大幅度提升城市交通運營效率。
AI思維的智能交通，具備全面感知、全局決策、實時控制的特點，可以大幅度提升城市交通效率，改善人們的生活體驗，大大提高人們的幸福感。
2.新的分析技術將拓寬分析界限
斯坦福大學教授李飛飛曾公開表示：人工智能、機器學習仍然是一個進入門檻高的領域，需要大量專業知識和資源，而很少有公司自己能負擔得起這些資源。今天，雖然AI能為企業提供無數的益處，但由于資源稀缺，多數企業還無法開發個性化的模型。
越來越多的數據分析技術在算法自動化上的設置也顯然是奔著解決這一痛點而來。從谷歌的AutoML到Teradata最新產品下一代分析平臺Teradata Vantage，自動化的分析工具正在讓智能分析的門檻變低，界限變廣。
那么，高質量的數據分析工具是否會降低使用者對于數據和數據人才的重視程度呢？
“高質量的數據仍然非常重要”，針對這一問題，Stephen表示，現在盡管分析工具越來越智能，但他們的使用前提依然是沒有偏向（bias）的數據，和懂得這些數據的專業人士。
“深度學習算法實際上非常適合處理數據質量問題。很多公司現在用無監督學習的反饋循環來解決數據質量問題，但我們還是希望，在數據搜集的過程中就盡量最小化數據偏見。數據科學沒有魔法，它不是一個工具就可以解決的問題。你可以通過一些步驟來測試有偏見的數據，但這是件很微妙的事情。”
“你必須雇用那些知道自己在做什么的人。”Stephen稱，業內現在存在很多只懂業務、不懂統計的“公民數據科學家（citizen data scientist），這是非常危險的。他們嚴重依賴技術工具進行數據搜集和分析，并不知道自己在做什么，“這很可能會導致嚴重破壞性的結果。”
3.智能分析需要業務場景
的確，統計知識對于數據分析舉足輕重，但是這并不代表著可以忽略業務知識。
Stephen指出，未來，智能分析只是決策中非常小的一個部分，端到端的業務分析和場景都至關重要。
如何我有一小時拯救世界，我會花55分鐘定義問題，剩下5分鐘尋找答案。（if I had only one hour to save the world, I would spend fifty-five minutes defining the problem, and only five minutes finding the solution）—— 愛因斯坦
只有把系統部署到真實世界中用起來，拿到新的反饋、改進模型，才能獲得真實場景下解決問題的思路。Stephen也指出，如何吸取和提煉這種經驗也很重要，如果沒有總結能力和提取能力的話，換個新問題你還是不會做。
Stephen給出了一系列人工智能和數據分析的應用代表領域，比如很重要的一個應用場景是反欺詐，有了深度學習以后，它可以很大程度上降低欺詐的情況，使欺詐行為發生得越來越少，尤其是考慮到罪犯是變換不同的欺詐手法，因此機器學習迅速的學習速度非常適合這一場景。
還有一部分美國人愛寫支票，金融機構需要識別支票上的簽字，因為人寫字的時候寫得亂七八糟，有的寫得不清楚，所以識別起來還是挺不容易的。現在有了深度學習，深度學習來識別手寫字體，到底是在什么地方、誰寫的什么的時候，這些場景下，機器都比人要做得更好。
4.未來屬于能將數據轉化為產品的企業
“數據挖掘可以產生很多洞察，但只有生產落地才能創造真正的價值”，Stephen認為未來數據分析的第四個趨勢，是技術能力必須與產品結合起來。
“在硅谷，要么你已經是一家數據公司，或者將來會成為一家數據公司，或者已經被徹底淘汰。因為大數據正在變革各個行業認識自己的方式。”
現在，通信行業不再是收取訂閱費的行業，而變成了收集數據，并將數據貨幣化的過程。電信企業把數據收集起來，把信息遞交給業務的決策者，他們就會做出更好的決策。
Stephen稱，未來屬于能將數據轉化為產品的企業，現在我們就需要越過商業智能的思考，進入工業生產領域的思考，這樣才能真正的讓分析產生價值。
