說到最近幾年最熱門的技術(shù)流行語，少不了云計(jì)算、大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等熱詞。不過，盡管人人（至少是企業(yè)界）言必稱大數(shù)據(jù)，但是其在企業(yè)的采用周期要遠(yuǎn)遠(yuǎn)滯后于炒作周期。所以大數(shù)據(jù)從新奇酷的技術(shù)變成核心系統(tǒng)，從炒作到產(chǎn)品部署往往需要幾年的時間。從去年開始，大家越來越感覺到這項(xiàng)技術(shù)已經(jīng)在某種程度上陷入了停滯。不過好消息是，2017年大數(shù)據(jù)開始進(jìn)入部署階段，大數(shù)據(jù)的炒作逐漸散去，但它的應(yīng)用卻正在蓬勃發(fā)展，代表成熟度的標(biāo)志性IPO也正在出現(xiàn)。而大數(shù)據(jù)在幾年前經(jīng)歷的泡沫正在無可爭議地轉(zhuǎn)移到人工智能身上，過去幾個月AI所經(jīng)歷的共同意識“大爆炸”與大數(shù)據(jù)當(dāng)年相比甚至有過之而無不及。從2013開始制作大數(shù)據(jù)版圖的Matt Turck剛剛發(fā)布了最新的2017年大數(shù)據(jù)版圖，我們一起來看看在這個領(lǐng)域有哪些最新趨勢和玩家的分布情況。       

高層趨勢

大數(shù)據(jù)+AI=新棧

       2016年無疑是機(jī)器學(xué)習(xí)之年，任何目睹過眾多pitch的VC都應(yīng)該能感受到這一點(diǎn)，那就是每一家初創(chuàng)企業(yè)都成為了“機(jī)器學(xué)習(xí)公司”，“.ai”變成了必備域名，而“等等，可是我們是用機(jī)器學(xué)習(xí)做到這個的”也成為了pitch deck的必備幻燈片。機(jī)器學(xué)習(xí)正在迅速成為許多應(yīng)用的關(guān)鍵建構(gòu)塊。

相應(yīng)地，一個新興的技術(shù)棧正在出現(xiàn)，在這個技術(shù)棧里面，大數(shù)據(jù)被用于處理核心的數(shù)據(jù)工程挑戰(zhàn)，而機(jī)器學(xué)習(xí)則用于以分析洞察或者行動的形式從數(shù)據(jù)中析取出價值。
        換言之，大數(shù)據(jù)提供管道，AI提供智能。當(dāng)然，這種共生關(guān)系已經(jīng)出現(xiàn)多年，只是能實(shí)現(xiàn)這個的目前還不多而已。
       但是，現(xiàn)在這些技術(shù)開始大眾化的普及?！按髷?shù)據(jù)+AI”正在成為眾多現(xiàn)代應(yīng)用（不管是消費(fèi)者型還是企業(yè)型）的默認(rèn)技術(shù)棧。無論是初創(chuàng)企業(yè)還是一些財(cái)富1000強(qiáng)公司都在利用這一新的技術(shù)棧。而且在云巨頭的努力下，這個技術(shù)棧往往還有云計(jì)算這個更基礎(chǔ)的建構(gòu)塊的加入，以機(jī)器學(xué)習(xí)云的形式出現(xiàn)。
       但是AI的大眾化是否就意味著這種技術(shù)在短期內(nèi)能實(shí)現(xiàn)商品化呢？現(xiàn)實(shí)是AI在技術(shù)上仍然非常困難。盡管許多工程師都在爭先培養(yǎng)AI技能，但全球這方面的領(lǐng)域?qū)＜胰匀皇窒∪薄?br />        不過這股大眾化的趨勢已經(jīng)不可逆轉(zhuǎn)，而機(jī)器學(xué)習(xí)早晚都要從競爭優(yōu)勢演變成桌面籌碼。
       這對初創(chuàng)企業(yè)和大公司都會產(chǎn)生影響。對于初創(chuàng)企業(yè)來說，除非你把AI軟件做成自己的最終產(chǎn)品，否則的話自我標(biāo)榜為“機(jī)器學(xué)習(xí)公司”將變得毫無意義。對于大公司來說，如果現(xiàn)在你不積極推進(jìn)大數(shù)據(jù)+AI的戰(zhàn)略，就會有變得過時的風(fēng)險。AI已經(jīng)是下一個風(fēng)口了。

企業(yè)預(yù)算：一切向錢看

       企業(yè)預(yù)算：一切向錢看

       從2016年的情況來看，財(cái)富1000強(qiáng)公司已經(jīng)在紛紛增加預(yù)算用于升級核心基礎(chǔ)設(shè)施以及分析，其關(guān)鍵的關(guān)注點(diǎn)正是大數(shù)據(jù)技術(shù)。分析機(jī)構(gòu)IDC預(yù)計(jì)大數(shù)據(jù)和分析市場將從2016年的1300億美元增長到2020年的超過2030億美元。
       而且財(cái)富1000強(qiáng)公司里面的許多買家在大數(shù)據(jù)技術(shù)方面正在變得越來越嫻熟、越來越目光敏銳。這些公司過去幾年做了很多功課，正在進(jìn)入全面部署階段。這種情況不僅發(fā)生在技術(shù)導(dǎo)向型的公司，在很多行業(yè)都是如此。
       在大公司每隔幾年就要發(fā)生的舊技術(shù)替代自然周期的推動下，這種情況得到進(jìn)一步加速。大數(shù)據(jù)遭遇的環(huán)境也從逆風(fēng)變成了順風(fēng)。當(dāng)然，很多大公司仍然處在大數(shù)據(jù)部署的早期階段，但是情況似乎在快速演變。

企業(yè)數(shù)據(jù)向云端遷移

       直到幾年前，把企業(yè)數(shù)據(jù)遷移到公有云上面對于大公司CIO來說還是不可想象的事情，頂多是在開發(fā)環(huán)境下或者拿非關(guān)鍵的、面向外部的應(yīng)用來嘗試一下。但現(xiàn)在畫風(fēng)開始有所變化，大家對此的態(tài)度似乎變得更加開放了，比方說你會聽到這樣的說法“不管怎么說我們的客戶數(shù)據(jù)已經(jīng)放到Salesforce云上面了”，或者“在網(wǎng)絡(luò)安全方面我們永遠(yuǎn)也不會有像AWS那么多的預(yù)算”。但目前里大多數(shù)企業(yè)都向公有云遷移還遠(yuǎn)得很，這部分是因?yàn)檫z留系統(tǒng)和管制方面的原因。不過云供應(yīng)商正在竭盡全力來加速這一趨勢的轉(zhuǎn)變。比如說AWS甚至可以開卡車來運(yùn)你的硬盤到云端。

2017年大數(shù)據(jù)版圖

作為對比我們先看看2016年版本：

整合要來了嗎？

       從上圖可看出，這張圖已經(jīng)變得越來越擁擠，那么一個顯然的問題來了：行業(yè)是否瀕臨大規(guī)模整合的邊緣了呢？
似乎還沒有。至少目前如此。
       首先VC仍然繼續(xù)樂于給新老公司提供資金扶持。2017年的第一季度成長階段的大數(shù)據(jù)初創(chuàng)企業(yè)拿到了不少的可觀融資，其中包括：Looker（8100萬美元D輪），InsideSales （5000萬美元F輪），DataRobot （5400萬美元C輪），Confluent （5000萬美元C輪），Collibra （5000萬美元C輪），Uptake （4000萬美元C輪），WorkFusion （35M00萬美元D輪） and MapD （3500萬美元B輪）等。去年12月DataBricks也拿到了6000萬美元的C輪。
      2016年，大數(shù)據(jù)初創(chuàng)企業(yè)的總?cè)谫Y達(dá)到了148億美元，占到了全球技術(shù)風(fēng)險投資的10%。
      其次，自去年的大數(shù)據(jù)版圖推出以來，本領(lǐng)域的并購活動一直在穩(wěn)步推進(jìn)，但不是特別顯著，其中部分原因也許是未上市公司的估值仍然高企。入選2016大數(shù)據(jù)版圖的公司當(dāng)中   共有41家被收購（完整清單參見附注），這個節(jié)奏跟上一年是一致的。
      另一方面，2017年剛開始就發(fā)生了一些大型的并購事件，其中包括Mobileye（被英特爾以153億美元收購），AppDynamics（被思科以37億美元收購），以及Nimble Storage（被HPE以12億美元收購）。
       去年還有一個顯著的現(xiàn)象，那就是大型技術(shù)公司紛紛收購AI初創(chuàng)企業(yè)，尤其是那些解決水平問題、有著很好團(tuán)隊(duì)的AI初創(chuàng)企業(yè)。其中包括Turi（蘋果）、Magic Pony（Twitter）、Viv Labs（三星）、MetaMind（Salesforce）、Geometric Intelligence（Uber）、API.ai（Google）以及Wise.io（GE）。當(dāng)然，這種現(xiàn)象未必能持續(xù)太久，因?yàn)閷I的需求太旺盛了，人才實(shí)在是不夠用了。
       第三，一些較大的大數(shù)據(jù)初創(chuàng)企業(yè)羽翼漸豐，正在成為獨(dú)立的上市公司。Snap無疑引領(lǐng)了技術(shù)公司IPO的復(fù)興，但是目前為止是大數(shù)據(jù)公司借了這股東風(fēng)。
       2016年只有Talend一家大數(shù)據(jù)公司上市，但2017年大數(shù)據(jù)公司已經(jīng)呈現(xiàn)出爆發(fā)之勢。其中Mulesoft和Alteryx已經(jīng)上市并且表現(xiàn)不錯，而Cloudera也即將上市，其最新估值（41億美元）與收入（2.61億美元）之間的差異將延至“獨(dú)角獸”估值現(xiàn)象的成色。另外，MapR以及定位智能公司Yext也已經(jīng)在排隊(duì)等待了。
       下一個會是誰呢？也許是Palantir這個超級獨(dú)角獸。這家多年以來保持神秘的公司已經(jīng)公開表達(dá)了上市的興趣。其最新估值達(dá)到了200億美元，如果上市的話必將引起轟動。

云大戰(zhàn)

      雖然大規(guī)模并購尚未出現(xiàn)，但業(yè)界的另一股趨勢值得注意，這就是“功能性整合”，這種現(xiàn)象在云端尤其顯著。一些關(guān)鍵的玩家正在通過自研產(chǎn)品和開源計(jì)算引擎的實(shí)現(xiàn)逐步構(gòu)建“大數(shù)據(jù)+AI”的基礎(chǔ)構(gòu)件，面向眾多客戶群提供其所期盼的“一站式”的服務(wù)。
      AWS在產(chǎn)品發(fā)布的速度和幅度方面繼續(xù)給人留下深刻印象。目前AWS幾乎提供了大數(shù)據(jù)和AI方面的所有服務(wù)，包括分析框架、實(shí)時分析、數(shù)據(jù)庫（NoSQL、圖譜等）、商業(yè)智能以及日益豐富的AI能力，尤其是深度學(xué)習(xí)方面的能力。按照這種速度發(fā)展下去，AWS產(chǎn)品幾乎就要把大數(shù)據(jù)版圖的所有的基礎(chǔ)設(shè)施和分析細(xì)分領(lǐng)域都占據(jù)了。
      加入云大戰(zhàn)稍晚的Google一直在積極開發(fā)廣泛的大數(shù)據(jù)產(chǎn)品（BigQuery、DataFlow、Dataproc、Datalab以及Dataprep等），并且把AI視為跨越式發(fā)展的殺手锏。在AI方面Google去年做了很多事情，包括推出了新的翻譯引擎，聘請了李飛飛和李佳領(lǐng)導(dǎo)新成立的Cloud AI and Machine Learning部門，推出了視頻識別的機(jī)器學(xué)習(xí)API，并且收購了數(shù)據(jù)科學(xué)家社區(qū)Kaggle。
      其他大型的IT供應(yīng)商，比如微軟、IBM、SAP、Oracle以及Salesforce等也在努力推出大數(shù)據(jù)產(chǎn)品（包括云端和本地）。除了技術(shù)自研和進(jìn)行收購以外，這些玩家還越來越重視通過合作來打造生態(tài)鏈，其合作的重點(diǎn)是手上有數(shù)據(jù)的公司以及有“頭腦（AI）”的公司。IBM與Salesforce的合作以及SAP與Google的合作就是值得注意的案例。
      用企業(yè)IT的行業(yè)標(biāo)準(zhǔn)來看，云供應(yīng)商還比較小，但是其不斷膨脹的野心（其中包括從企業(yè)棧底層的IaaS向應(yīng)用發(fā)展的企圖）與企業(yè)數(shù)據(jù)逐漸向云端遷移的趨勢結(jié)合，將打開龐大的企業(yè)技術(shù)市場大門，與傳統(tǒng)IT供應(yīng)商展開激戰(zhàn)，而大數(shù)據(jù)和AI將是核心戰(zhàn)場。

2017數(shù)據(jù)生態(tài)體系概覽

     基礎(chǔ)設(shè)施
      去年的許多趨勢今年仍將延續(xù)，比如流處理技術(shù)，這方面Spark目前是主宰，不過像Flink這樣的有趣競爭者正在出現(xiàn)。此外，還有以下一些趨勢：

SQL正式回歸

       在給NoSQL當(dāng)了10年副手之后，曾經(jīng)的霸主SQL數(shù)據(jù)庫正式吹響了回歸的號角。Google最近發(fā)布了Spanner數(shù)據(jù)庫的云端版。Spanner和CockroachDB（Spanner的開源版）都提供了可行的、強(qiáng)一致性的、可伸縮的SQL數(shù)據(jù)庫。Amaozn推出了Athena，跟Snowflake等產(chǎn)品類似，這是一款SQL數(shù)據(jù)引擎，可直接查詢S3下的數(shù)據(jù)。Google BigQuery、SparkSQL以及Presto等在企業(yè)逐漸獲得采用——這些都是SQL產(chǎn)品。

數(shù)據(jù)可視化

       與公有云采用相關(guān)的一個有趣的趨勢是數(shù)據(jù)可視化。舊的ETL處理需要轉(zhuǎn)移大量的數(shù)據(jù)（而且往往要建立冗余數(shù)據(jù)集）并且建立數(shù)據(jù)倉庫，而數(shù)據(jù)可視化可以在數(shù)據(jù)保持不動的情況對其進(jìn)行分析，提高了速度和敏捷性。許多下一代的分析供應(yīng)商現(xiàn)在都可以同時提供數(shù)據(jù)可視化和數(shù)據(jù)準(zhǔn)備服務(wù)，并讓客戶可訪問存儲在云端的數(shù)據(jù)。

數(shù)據(jù)治理與安全

       隨著大數(shù)據(jù)在企業(yè)側(cè)走向成熟，以及數(shù)據(jù)的多樣性和體量的不斷發(fā)展，像數(shù)據(jù)治理這樣的主題也變得日益重要。許多公司已經(jīng)選擇了“數(shù)據(jù)湖”作為把所有數(shù)據(jù)收集起來的手段。但除非你知道里面有什么東西，并且能夠訪問到合適的數(shù)據(jù)進(jìn)行分析，否則的話數(shù)據(jù)湖再大也沒有意義。但是想讓用戶方便地找到想要的東西同時管理好權(quán)限并不容易。除了數(shù)據(jù)湖以外，治理的另一個集中的主題是以安全的、可審計(jì)的方式為任何人提供對可靠數(shù)據(jù)的便捷訪問。Informatica、 Collibra、Alation等大小供應(yīng)商提供了數(shù)據(jù)目錄、參考數(shù)據(jù)管理、數(shù)據(jù)字典以及數(shù)據(jù)幫助臺等服務(wù)。

分析

數(shù)據(jù)科學(xué)家會不會瀕臨滅絕？

僅僅幾年前數(shù)據(jù)科學(xué)家還被譽(yù)為是“二十一世紀(jì)最性感的職業(yè)”。而且“數(shù)據(jù)科學(xué)家”在Glassdoor的“美國最佳職位”排行榜中仍然高居榜首。

      但這個幾年前才出現(xiàn)的職業(yè)現(xiàn)在似乎有被圍困的感覺。這部分是因?yàn)楸匾浴M管學(xué)校和程序在批量制造出新的數(shù)據(jù)科學(xué)家軍團(tuán)，但周圍卻見不到多少，尤其是在招聘到頂級人才方面遭遇更大困難的財(cái)富1000強(qiáng)公司。在一些組織，數(shù)據(jù)科學(xué)部門正在從使能者演變?yōu)槠款i。
       與此同時，AI的大眾化以及自服務(wù)工具的蔓延使得數(shù)據(jù)科學(xué)技能有限的數(shù)據(jù)工程師，或者甚至是數(shù)據(jù)分析師執(zhí)行一些基本功能變得更加容易了，而這些功能直到最近仍然是數(shù)據(jù)科學(xué)家的領(lǐng)地。在自動化工具的幫助下，企業(yè)的大量大數(shù)據(jù)工作，尤其是那些簡單枯燥的工作，將由數(shù)據(jù)工程師和數(shù)據(jù)分析師進(jìn)行處理，而不是有著深厚技術(shù)技能的數(shù)據(jù)科學(xué)家。
       換言之，除非數(shù)據(jù)科學(xué)最終不是由機(jī)器來完全處理的。但一些初創(chuàng)企業(yè)開始旗幟鮮明地打出了“數(shù)據(jù)科學(xué)自動化”的口號——其中最顯著的包括剛剛獲得5400萬美元融資的DataRobot，Salesforce Einstein也宣稱自己可以自動生成模型。
       不奇怪的是，這些趨勢在數(shù)據(jù)科學(xué)社區(qū)不受歡迎并引起了爭議（當(dāng)然了，誰會歡迎搶自己飯碗的事情）。然而，數(shù)據(jù)科學(xué)家目前大概還不需要太過恐懼。在氪遇見的未來里，自服務(wù)工具和自動化模型選擇將會“增強(qiáng)”數(shù)據(jù)科學(xué)家而不是消滅他們，其作用將是解放他們，讓他們把焦點(diǎn)放在需要判斷、創(chuàng)造力以及社會化技能或者垂直行業(yè)知識的任務(wù)上面。

讓一切一起協(xié)作：數(shù)據(jù)工作臺的崛起

       在大多數(shù)大型企業(yè)里，大數(shù)據(jù)的采用都是從少數(shù)獨(dú)立項(xiàng)目（這里做一點(diǎn)Hadoop集群，那里用一用分析工具）以及一些新的職位（數(shù)據(jù)科學(xué)家、首席數(shù)據(jù)官）開始的。

       但現(xiàn)在異質(zhì)性已經(jīng)開始發(fā)展，各種各樣的工具在整個企業(yè)范圍內(nèi)得到了使用。在大公司的組織范圍內(nèi)，集中化的“數(shù)據(jù)科學(xué)部門”正在讓位于更加去中心化的組織，這個由數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師以及數(shù)據(jù)分析師組成的群體，正日益嵌入到不同的業(yè)務(wù)部門里面。因此，對于平臺來說需求已經(jīng)很明顯了，那就是要讓一切都能協(xié)作到一起來，因?yàn)榇髷?shù)據(jù)的成功正是建立在設(shè)立一條由技術(shù)、人以及流程組成的裝配線基礎(chǔ)之上的。
      因此，一個全新的協(xié)作平臺類型正在加快出現(xiàn)，引領(lǐng)著所謂的DataOps（與DevOps對應(yīng)）領(lǐng)域的發(fā)展。這方面值得關(guān)注的初創(chuàng)企業(yè)包括Dataiku 、Knime以及Domino Data Lab等。Cloudera最近剛剛基于收購的Sense發(fā)布了一款工作臺產(chǎn)品。該領(lǐng)域的開源運(yùn)動也很強(qiáng)勁，比方說Jupyter和Anaconda就是例子。

應(yīng)用

AI驅(qū)動的垂直應(yīng)用

       AI驅(qū)動的垂直應(yīng)用出現(xiàn)已經(jīng)有好幾年歷史了，但這股潮流已經(jīng)從涓涓細(xì)流變成了怒濤激流。突然之間似乎每個人都在開發(fā)AI應(yīng)用，不管是新的初創(chuàng)企業(yè)，還是后期階段的創(chuàng)業(yè)公司都押注到AI身上，希望能給自己帶來新的突飛猛進(jìn)式的發(fā)展。

       當(dāng)然，水變大了難免魚龍混雜，這里當(dāng)然有一些真正令人興奮的初創(chuàng)企業(yè)，但也有不少是掛羊頭賣狗肉來蹭熱點(diǎn)的。只是用了點(diǎn)機(jī)器學(xué)習(xí)的公司算不上AI公司。
       基本上來說，做一家AI公司是很棘手的。選擇一個垂直的問題當(dāng)然是個重要的開始。除了要有深厚的技術(shù)DNA以外，這還需要審慎的定位和戰(zhàn)術(shù)。但是AI帶來的無限可能性是很難不    讓人著迷的。
      尤其是在去年，把任何數(shù)據(jù)問題用AI來解決顯然已成趨勢，無論是企業(yè)一樣還是垂直行業(yè)都是如此。所以為了反映這一趨勢，今年的大數(shù)據(jù)版圖增加了交通、房地產(chǎn)、保險等垂直行業(yè)，并且把特別活躍的領(lǐng)域拆分了出來，比如營銷應(yīng)用現(xiàn)在分出了B2B和B2C，生命科學(xué)分成了醫(yī)療保健和生命科學(xué)。
      除了一些多少還是未來主義感覺的領(lǐng)域（比如無人車）以外，AI已經(jīng)在更加沒有想象空間的企業(yè)領(lǐng)域發(fā)揮作用，比如提供預(yù)測、后端事務(wù)自動化、安全等。
      盡管AI對人類工作的威脅還不是迫在眉睫，但將來沒有任何一種職業(yè)會對此免疫。其中包括一些最為根深蒂固的白領(lǐng)工作，如醫(yī)生或者律師等。（參見 Ben Thompson：AI 已來，你最應(yīng)該擔(dān)心的不是生命，而是存在的意義）
      金融界似乎一直在思考著AI的可能性和威脅。對沖基金正在為自己的算法尋找合適的替代數(shù)據(jù)。新的AI驅(qū)動的對沖基金盡管還處在發(fā)展的早期階段，但已經(jīng)表現(xiàn)出不錯的勢頭（比如Numerai、Data Capital Management等）。而華爾街一些最著名的機(jī)構(gòu)正在逐漸用AI來取代人力（黑石、高盛等）。

聊天機(jī)器人遭遇反沖

      喜歡也好，討厭也罷，2016年都可以稱得上是聊天機(jī)器人之年，這些全自動化的事實(shí)對話代理基本上都是出現(xiàn)在聊天服務(wù)里面。聊天機(jī)器人盡管出現(xiàn)的時間不長，但已經(jīng)經(jīng)歷了好幾個炒作周期，從早期給人希望，到Tay的災(zāi)難性收場，再到迷你復(fù)蘇，乃至于Facebook在其Messenger平臺推出的AI機(jī)器人錯誤率達(dá)到70%之后縮減了這方面的努力。

      現(xiàn)在看來對聊天機(jī)器人的興奮似乎高興太早，原因也許是大家從亞洲的聊天機(jī)器人崛起以及Slack等底層基礎(chǔ)設(shè)施的快速發(fā)展得出了過于樂觀的信號。當(dāng)然，聊天機(jī)器人最終的潛能肯定是非常巨大的，但它的真正成熟還需要很長的時間。目前為止，無論是“生產(chǎn)者”還是“消費(fèi)者”都需要調(diào)整一下對它的期望。實(shí)際上，Amazon Echo的成功正是在縮小了場景之后取得的，而用戶也不要指望機(jī)器人什么都能回答了?，F(xiàn)階段把人引入到過程里面，把AI作為增強(qiáng)因素的解決方案和服務(wù)應(yīng)該是最看好的模式。

結(jié)論

       通過大數(shù)據(jù)與AI的黃金搭檔，我們正在進(jìn)入大數(shù)據(jù)技術(shù)的“收獲”階段。其潛能將非常巨大。

        隨著核心基礎(chǔ)設(shè)施不斷走向成熟，以及在AI推動下應(yīng)用側(cè)的爆發(fā)，2017年的大數(shù)據(jù)（以及AI）生態(tài)體系將開足馬力，駛向光明的未來。

原文地址：http://36kr.com/p/5069984.html

素材源自：http://mattturck.com/bigdata2017/