時間：2019-07-26 來源：互聯網 瀏覽量：
杭州的雲棲小鎮，樹立著一尊飛天5K紀念碑，記錄了一段阿裏雲為自研大數據平台奮鬥的曆史。
這座紀念碑的底座，在一側刻著參與“戰鬥”的227個工程師的名字，另一側刻著王堅的一段話：“一群有理想的平凡人經曆了1757個日日夜夜，用生命和熱血寫成代碼，為雲計算開啟了未來之勢。堅持你相信的，相信你堅持的。”
這就是2013年，被阿裏雲內部稱做“5K戰役”的4個月無休的研發經曆。經過連續4個多月的努力，阿裏雲成功的將原有的數據處理平台全部遷移到基於飛天5K的MaxCompute上，這就是飛天大數據平台的由來。
作為目前中國唯一自主研發的計算引擎，也是全球集群規模最大的計算平台。阿裏雲飛天大數據平台的算力，也遠遠超過了當初的5K。數據顯示，飛天大數據平台目前已經可以擴展至10萬台計算集群，規模全球第一。
被“逼出來”的飛天
2008年，王堅從微軟亞洲技術研究院空降阿裏，擔任首席架構師。這個在阿裏內部尊稱為“博士”的首席架構師並非程序員出身，是一個不會寫代碼的架構師，但他對技術方向的前瞻性，給阿裏雲的自研之路奠定了堅實的基礎。
王堅在他的《在線》一書中寫道：不是 “去IOE”，而是計算去掉了計算機。為了完成這樣一個目標，阿裏雲自己的大數據在2008年緊鑼密鼓的在籌備，並在2009年寫下了第一行代碼。這才有了2013年5K的故事，有了今天的飛天大數據平台。
事實上，在當時大數據這條路線的選擇麵是很狹窄的，要麼繼續建Oracle集群，要麼走開源的Greenplum或是Hadoop路線。但是這個方向對阿裏來說，似乎都不夠好。
首先，以Oracle集群為代表的IOE架構很難滿足當時淘寶快速的業務拓展需求，盡管當時阿裏已開始把數據遷移到更大規模的開源平台，但後者在百台機器規模時就遇到瓶頸，給業務增長造成極大阻礙。
其次，Greenplum、Hadoop之類的開源技術在可靠性、安全性上也遭遇了天花板。
可以這樣理解，當初阿裏決定自研大數據平台，本質是被“逼出來”的決定。
如當初王堅所說，“將單一集群做到數千乃至更高，技術上是國家和企業競爭力的標誌。阿裏巴巴必須攻克這道難關。”飛天大數據平台也的確做到了這一定，飛天也是中國雲計算，乃至中國科技界的驕傲。
屹立世界之巔
不想做將軍的士兵，不是一個好士兵，不想成為世界第一的公司，也不是一個好公司。
客觀的說，以今天的眼光看，能夠走獨立自研大數據平台路線的公司，無一不是世界級的科技巨頭，如Google、亞馬遜AWS、微軟以及阿裏雲。
2013年8月15日，阿裏雲曆史性地突破了同一個集群內5000台服務器同時計算的局限，為未來的大規模服務奠定基礎。
今天的飛天大數據平台，不僅以10萬台計算集群達到規模全球第一，同時單日數據處理量從2015年100PB、2016年180PB、2017年320PB，一直到2018年超過600PB，僅用三年時間便提升了5倍。如今，能做到這一能力的科技公司在全球都寥寥可數。
應該說從2009年的第一行代碼，到2019年，整整十年裏，飛天都在不斷的進化之中。
比如，基於這套創新技術，2015、2016年，阿裏雲刷新世界計算奧運會之稱的SortBenchmark多個世界紀錄。在2017年10月，阿裏雲將TPC的benchmark適配到MaxCompute，進行了全球首次基於公共雲的bigbench大數據基準測試，數據規模被拓展到100TB，並成為首個突破7000分的引擎，性能達到 7830QPM。2018年9月，性能較2017年10月提升一倍多，達到18176.71QPM。另外，在超小型10TB規模的指標上，MaxCompute與其他開源競品進行了比對分析，性能超過開源競品3倍。
在我看來，如果將2008年到2013年看做是飛天創世的第一階段，那麼從2015年到2019年就是飛天大數據平台頻頻登上世界舞台，通向巔峰的第二階段。
在這個階段，隨著技術創新能力的不斷突破，飛天也收獲了很多權威機構的認可。比如，2018年3月，Gartner發布《2017年分析型數據管理解決方案（DMSA）魔力象限》報告，對各大廠商的大數據服務能力進行了全麵評估。全球共20家頂尖廠商入選。阿裏雲作為雲服務商成功衝進Gartner魔力象限；同時，2018年11月，MaxCompute，DataWorks和AnalyticDB代表阿裏雲入選Forrester Wave™ Q4 2018雲數據倉庫研究報告，產品能力綜合得分全球第7，中國第一，並在產品功能（Current Offering）方麵力壓微軟。今年5月，阿裏雲自研大數據計算平台 MaxCompute 獲得浙江省科技進步一等獎。
飛天就如同它的名字所代表的含義一樣，一步一個腳印，從零起步，十年一個輪回，實現了從0到1的跨越。
腳踏實地，實踐出飛天
毫無疑問，任何技術的有效性，都需要實踐來驗證。飛天的十年，不僅是技術創新的十年，更是實踐落地的十年。
首先，飛天最初的實踐舞台就是阿裏巴巴自己。雙11，就像是阿裏巴巴永不落幕的旗幟，創造了中國零售的巔峰，也給阿裏雲帶來了世界級的技術試煉場。客觀的說，如果沒有雙11這麼巨大的業務壓力，王堅當初也不會毫不猶豫做出放棄Oracle路線和開源路線，走向自研。
在2018年的雙11狂歡節中，MaxCompute單日數據處理超過600PB，同時平穩支撐電商混布單元在線流量洪峰12萬筆/s交易，穩定承載45%導購流量，順利完成1200台DB業務混部的目標，為雙11交易峰值提供了有力保障和平滑支撐。
我認為，飛天今日之成就，雙11居功至偉，雙11和飛天兩個“符號”，最為充分的表達了技術與業務之間，相互促進的典型模式。
其次，飛天在行業市場也取得了非常多的突破。例如，在政務領域，飛天大數據平台支撐下，杭州“最多跑一次”打通與辦事最密切相關的100個事項70多億條數據，老百姓甚至有可能一次都不跑；在交通領域，杭州城市大腦實時指揮1300個紅綠燈路口、200多名交警，從2016年到2018年，杭州從全國最擁堵城市排行榜上下跌52名；在工業領域，阿裏雲的大數據處理技術幫助製造企業尋找上千個參數的最優搭配，提升製造的良品率。協鑫光伏、天合光能等行業龍頭企業，都在嚐試這一全新的生產模式；在海外市場，MaxCompute也已進入新加坡、歐洲等市場，將這一技術服務給更多用戶。
第三，作為中國唯一自主研發的計算引擎，也是全球集群規模最大的計算平台。飛天這十年不斷對實體經濟的賦能，其實為中國的數字經濟的發展，提供了一個很好的表率：我們有能力用自己的核心技術，推動符合自身特色的經濟增長模式。
