2016即將結束，外媒KDnuggets日前針對大數據領(lǐng)域在2016年度取得的重大發(fā)展，以及2017年度可能出現的變化趨勢，詢(xún)問(wèn)了8位行業(yè)內的頂級專(zhuān)家。雖然各位專(zhuān)家的意見(jiàn)不盡相同，但從其發(fā)言中大約可以總結出一個(gè)共通點(diǎn)：大數據研究正在由前幾年的新鮮技術(shù)變得越來(lái)越普及和商業(yè)化。同時(shí)，由于研究的向前推進(jìn)，以數據為基礎的人工智能、機器學(xué)習和物聯(lián)網(wǎng)等其他各個(gè)領(lǐng)域也將會(huì )取得越來(lái)越大的成果。
1. Craig Brown，大數據、數據科學(xué)、數據庫技術(shù)領(lǐng)域專(zhuān)家。美國知名的青年導師、科技導師，以及作家。
在2016年，數據科學(xué)領(lǐng)域出現了一次大規模的數據增長(cháng)。這一增長(cháng)從需求端推動(dòng)了諸多云計算服務(wù)供應商的快速成長(cháng)，包括亞馬遜AWS、微軟Azure和Rackspace等。我認為，數據增長(cháng)的勢頭將在2017年得到延續。并且，2017年將會(huì )出現更多的基于這些大數據研究的應用項目，包括機器學(xué)習、認知計算以及預測分析等。不過(guò)，隨著(zhù)數據量的增加，應用項目的逐漸豐富，用戶(hù)的數據安全問(wèn)題也將變得日益嚴峻，這一點(diǎn)在2017年也不會(huì )有很大改善。2017年，數據科學(xué)家、首席數據官、首席數據架構師等職位將變得越來(lái)越搶手，崗位職責和定位也會(huì )越來(lái)越明晰。實(shí)時(shí)數據流和功能更強大的數據傳輸通道將徹底顛覆所謂“快速數據”（fast data）和“可操控數據”（actionable data）的定義。
總體上說(shuō)，大數據科學(xué)仍然是一個(gè)處于不斷發(fā)展中的學(xué)科，在2017年，這一學(xué)科一定會(huì )迎來(lái)比2016年更大的發(fā)展。如果把大數據比作一輛汽車(chē)的駕駛員，那么在這位駕駛員的帶領(lǐng)下，未來(lái)基于大數據的各種實(shí)際應用項目將會(huì )越來(lái)越豐富，也即這輛汽車(chē)上的乘客會(huì )越來(lái)越多。
2. James Kobielus，大數據領(lǐng)域專(zhuān)家，IBM公司大數據研究首席科學(xué)家。
分布式框架Hadoop在大數據領(lǐng)域的重要性正在日漸減弱，MapReduce模型、HBase數據庫，甚至分布式文件系統HDFS在大數據科學(xué)家眼中也遠沒(méi)有從前重要了。
2017年最顯著(zhù)的變化趨勢應該來(lái)自于程序員群體，他們將越來(lái)越關(guān)注數據庫領(lǐng)域的編程技能，通過(guò)這一技能的提升，獲得更多的職業(yè)發(fā)展優(yōu)勢。我認為在2017年，最熱門(mén)的大數據科學(xué)應用項目將會(huì )聚焦于流媒體分析、嵌入式深度學(xué)習、物聯(lián)網(wǎng)、聊天機器人、認知計算、自動(dòng)駕駛、計算機視覺(jué)和語(yǔ)音識別等領(lǐng)域。同時(shí)，我們也將會(huì )看到，新一代的神經(jīng)網(wǎng)絡(luò )芯片、GPU和其他的高性能認知計算框架也將在明年得到更大的發(fā)展。
3. Douglas Laney，美國著(zhù)名咨詢(xún)公司Gartner副總裁，首席分析師。
2016年，大數據領(lǐng)域一個(gè)最大的變化就是人們不再談?wù)摯髷祿耍驗榇髷祿呀?jīng)充斥了我們的生活，隨處可見(jiàn)。現在大家關(guān)注的焦點(diǎn)變成了如何將大數據業(yè)務(wù)化、商用化。在Gartner內部，我們和客戶(hù)現在談?wù)撟疃嗟膯?wèn)題是如何管理、評估信息資產(chǎn)，以及如何將信息資產(chǎn)變現。
2017年，我們應該努力搞清楚大數據領(lǐng)域幾項重要的權利和義務(wù)，包括數據的所有權、特權和隱私權，特別是由物聯(lián)網(wǎng)產(chǎn)生的數據。另外，關(guān)于數據能否被視為一種全新形態(tài)的資產(chǎn)，這一問(wèn)題會(huì )繼續引發(fā)會(huì )計行業(yè)、律師行業(yè)和保險行業(yè)的困惑。但隨著(zhù)機構投資人和股票分析師們越來(lái)越關(guān)注一家企業(yè)的信息化進(jìn)程，傳統行業(yè)的這種困惑將會(huì )有所緩解。2017年，各行各業(yè)都將會(huì )更加關(guān)注大數據領(lǐng)域的人才招攬，例如數據經(jīng)理人和其他的信息整合者。
4. Yves Mulkers，知名博客一切皆數據（All Things Data）博主之一，負責維護大數據板塊。
在2016年，大數據這個(gè)詞似乎不像前幾年那樣熱門(mén)。隨著(zhù)大數據相關(guān)的基礎設施、服務(wù)器、軟件系統和理論體系的持續發(fā)展，目前大數據分析方面的解決方案已經(jīng)逐漸成熟，并且越來(lái)越普及，而不像前幾年那樣還是少數科技極客眼中的新領(lǐng)域。隨著(zhù)技術(shù)的成熟，自助和自動(dòng)化的信息服務(wù)也將越來(lái)越受到重視。大數據分析工具和相關(guān)的解決方案雖然會(huì )變得越來(lái)越簡(jiǎn)單易用，但我們仍然需要具備基本的通信技術(shù)和信息處理領(lǐng)域的專(zhuān)業(yè)知識，隨時(shí)準備迎接下一個(gè)發(fā)展階段的到來(lái)。未來(lái)，和機器學(xué)習、人工智能、VR/AR、物聯(lián)網(wǎng)相關(guān)的大數據解決方案將越來(lái)越完備，摩爾定律的邊界也會(huì )受到更多的挑戰。
5. Mark van Rijmenam，Datafloq網(wǎng)創(chuàng )始人，大數據相關(guān)書(shū)籍《Think Bigger》作者。
對于大數據領(lǐng)域來(lái)說(shuō)，2016是令人激動(dòng)的一年，因為“大數據”終于不再是一個(gè)流行詞。這說(shuō)明研究者們正在基于大數據開(kāi)發(fā)真實(shí)可用的解決方案和應用程序，而不再是簡(jiǎn)單的噱頭。
2017年，隨著(zhù)技術(shù)的進(jìn)步，以大數據為基礎而開(kāi)發(fā)的應用將越來(lái)越豐富。由于計算機的計算能力和真實(shí)可用的龐大數據量不再是問(wèn)題，因此以人工智能和深度學(xué)習為代表的智能應用也將變得更加聰明，更加普及。總體上說(shuō)，由于大數據、智能應用和越來(lái)越豐富的智能終端產(chǎn)品的出現，2017年應該是值得我們期待的一年。不過(guò)，隨著(zhù)大數據的廣泛應用，數據安全和隱私問(wèn)題也將越來(lái)越嚴峻。
6. Ronald van Loon，Adversitement網(wǎng)站主管，大數據科學(xué)領(lǐng)域年度10大影響力人物之一。
今年是大數據科學(xué)領(lǐng)域產(chǎn)生重大變化的一年。可以看到，無(wú)論是單一學(xué)科還是跨學(xué)科的用戶(hù)，在這一年中都在向著(zhù)以數據驅動(dòng)為核心的組織架構調整。而且通過(guò)物聯(lián)網(wǎng)的進(jìn)一步普及，我們已經(jīng)在某些核心應用場(chǎng)景積累了大數據處理和傳輸的寶貴經(jīng)驗。另外，由于強大的云計算平臺的支持，越來(lái)越多的機器學(xué)習應用也正在研發(fā)之中。
在2017年，這一趨勢將得以延續，人工智能、機器學(xué)習和物聯(lián)網(wǎng)應用在大數據的支撐下將迎來(lái)一個(gè)爆發(fā)性的增長(cháng)。目前，技術(shù)研發(fā)能力已經(jīng)就緒，對于市場(chǎng)需求的靈活迭代機制也越發(fā)成熟，根據預測，截止2020年，接入互聯(lián)網(wǎng)的設備總數將達到100億-340億之間。
7. Jeff Ullman，斯坦福大學(xué)計算學(xué)科教授，主要研究數據庫理論、數據庫集成一體化和數據挖掘等。
歐盟剛剛針對大數據的使用和分析模型的建立出臺了一個(gè)新的隱私保護法（雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))獲悉，這一法案將于2018年1月起正式施行）。現在還無(wú)法確定這一法案將會(huì )造成怎樣的影響，但有一點(diǎn)似乎可以確定，那就是它將在很大程度上避免深度學(xué)習領(lǐng)域內由于分析模型亂用導致的意外問(wèn)題。目前許多公司都在與歐盟溝通，試圖確認究竟哪些數據資源和分析模型是可用的，而哪些不行。比如說(shuō)，谷歌可以探測一封郵件的內容，并且將其和已知的垃圾郵件對比，如果內容類(lèi)似就判定這封郵件為垃圾郵件。那么谷歌到底有沒(méi)有讀取用戶(hù)郵件的權利？這些問(wèn)題都還有待確定。
8. Matei Zaharia，Databricks平臺首席科學(xué)家，大數據處理框架Apache Spark創(chuàng )始人。
1) 公有云正在成為部署大數據應用的主流平臺。根據今年夏天的用戶(hù)調查結果顯示，在公有云部署Spark框架的用戶(hù)比例高達61%，而使用Hadoop YARN的用戶(hù)則只有36%。更重要的是，使用公有云的61%的用戶(hù)去年只有51%，而使用Hadoop YARN的用戶(hù)則從去年的40%下滑到36%，這說(shuō)明公有云的用戶(hù)正在持續的增長(cháng)。分析原因，這或許是由于亞馬遜AWS S3這樣的云服務(wù)產(chǎn)品正在變得越來(lái)越經(jīng)濟，性能越來(lái)越穩定，易用性也越來(lái)越好。
2) 今年7月，我們發(fā)布了Apache Spark 2.0版，這一版本針對Spark SQL和數據幀（Dataframes）在新款硬件的使用方面進(jìn)行了較大的性能提升。值得一提的是，我們已經(jīng)看到2.0版的使用率正在快速增長(cháng)，目前大約有40％的集群用戶(hù)正在使用它。這說(shuō)明用戶(hù)需要對新硬件建立快速的支持。
轉載于：雷鋒網(wǎng)
天坦動(dòng)態(tài)