時間:2019-11-11 來源:互聯網 瀏覽量:
資料來源:阿裏雲、螞蟻金服科技、財新等
物聯網智庫 整理發布
導 讀
在度過2019天貓雙11流量峰值後,阿裏巴巴正式宣布,其核心係統已100%跑在阿裏雲公共雲上。由此,阿裏巴巴成為全球首個將核心交易係統100%運行在公共雲上的大型互聯網公司。站在11年前遙望今天,沒有幾個人曾料想到這一切能夠照進現實。
俗話說,“躲得過初一,躲不過雙十一”。
無論之前我們怎麼拚命捂緊錢包以窮為名指天發誓說要當“東方不buy”,最後八成會在全民狂熱購物氛圍的影響下忍不住按下提交訂單的按鈕。為了榨幹大家銀行卡裏的餘額,各種滿減廣告鋪天蓋地而來,仿佛在大聲吆喝“快看這四舍五入簡直是不要錢”,信用卡和花唄也都煞費苦心的悄悄提高了消費額度,簡直是全世界都在慫恿人們買!買!買!
“昨天的最好表現,是今天的最低要求”,毫無懸念的,今年的天貓雙11再次延續了“神話”——0點開啟,幾乎每1秒都有新的記錄誕生。
1分36秒破100億,比去年用時快29秒;
12分49秒突破500億,用時較去年縮短一半;
1小時03分59秒衝破1000億大關,比去年快了43分鍾27秒;
14時21分27秒衝破2000億大關,比去年提前8小時7分10秒;
剛剛,經過16小時31分12秒 ,天貓雙11再次突破去年全天2135億元的總成交額。
這筆堪稱天文數字的成交額意味著全球最大的流量洪峰——對數以億計的消費者來說,從提交訂單到付款成功不過是指尖下短短的幾秒而已;對阿裏後台的服務器來說,要承受的卻是數據岩漿的瞬間噴發——隻有扛住了這一流量洪峰,剁手黨們才能夠支付順暢、購物不卡殼。
這是一場購買力極限與技術極限的戰爭,也是支付寶新技術的最佳演練場。正如阿裏巴巴董事局主席張勇說的那樣,“過去11年我們從不回答預測雙11銷售額的問題,我最關心的是,我們的技術每秒鍾能夠支撐多少筆訂單的處理。”
據天貓最新數據,2019天貓雙11交易峰值創下新紀錄,達到54.4萬筆/秒,是2009年第一次雙11的1360倍,這一數字在2018年為48萬筆/秒。
“我們抗住了!”阿裏雲官方微信號如此表示。
在度過2019天貓雙11流量峰值後,阿裏巴巴正式宣布,其核心係統已100%跑在阿裏雲公共雲上。由此,阿裏巴巴成為全球首個將核心交易係統100%運行在公共雲上的大型互聯網公司。
站在11年前遙望今天,沒有幾個人曾料想到這一切能夠照進現實。
阿裏的“去IOE”革命
10月25日,阿裏巴巴副總裁劉振飛發表了名為《十年磨一劍:
從2009啟動“去IOE”工程到2019年OceanBase拿下TPC-C世界第一》的文章,回顧了阿裏巴巴“去IOE”的完整曆史。
據劉振飛回憶,十年前(2009年)的9月,他奉命組建當時的淘寶技術保障部,隨即啟動了2010年的技術預算工作。當他第一次給時任集團首席架構師的王堅博士彙報預算的時候,曾得意地說到:“(淘寶)2010年不再購買小型機”。
不料,這句話非但沒有取得王堅的讚賞,反而被王博士狠狠批評了一頓:“既然2010年可以不再購買小型機,為何還要給自己留下活口,2011年以後還可以買呢?加一個字:2010年起不再購買小型機!”
由此,阿裏啟動了後麵幾年備受爭議的“去IOE”工程。
所謂“去IOE”,是對去IBM、Oracle、EMC的簡稱,三者均為海外IT巨頭,其中IBM代表硬件以及整體解決方案服務商,Oracle代表數據庫,EMC代表數據存儲。IOE 這個說法最初來自阿裏技術團隊內部的稱謂,然後才在整個業界流傳開來,並且有了更加廣泛的含義——即對一些核心領域要求其IT係統及設備做到自主可控,比如金融、電信、能源等領域。在這些領域,“IOE”為代表的國外IT廠商占據絕對優勢,其中尤以IBM大型服務器壟斷地位尤為明顯。
為了滿足王博士的要求,劉振飛隻好“攢出”一條去IOE的技術路線:“低成本、線性可控、去中心化(分布式):去IBM,PC Sever替代小型機;去Oracle,用MySQL替代;去EMC,用中低端存儲”。
他最後以驚歎號結尾,粗體寫上一句:“淘寶2010年起不再購買小型機了!”第二年,劉振飛進一步提出用MySQL+自研數據庫(OceanBase)替代Oracle,並不再使用高端存儲。
當年阿裏在搞“去IOE”的時候可能並沒有一定要讓中國在數據庫領域實現自主可控的雄心,反而,這項策略一開始頗有些迫於無奈的意味。
財新發表的一篇題為《以阿裏雲去IOE》的文章講述了其中的故事:從2006年和2007年開始,業務快速增長的阿裏開始麵臨世界級難題——數據庫太大。2008年,阿裏的數據庫已經成為全亞洲最大的數據庫用戶。以當時的技術能力,如此大的數據庫已經幾乎不具備擴展可能。
“我們把全中國最知名的頂尖的DBA(數據庫管理員)請到公司,一個晚上一張報表都做不出來,沒有任何一家公司包括IBM、微軟,能夠為我們提供一整套的技術服務。”阿裏巴巴研發院業務發展專家孫黎明回憶道。
IOE架構也無法滿足阿裏電商平台秒殺類營銷推廣,“為了準備一次秒殺營銷,從社會采購到安裝部署至少需要半年的時間,才能完成IT係統寬容量的過程,但半年以後,這項業務幾乎已經不存在了。”
對於“雙十一”這樣的業務暴增時點,IOE架構最讓人頭痛的則是需要估算交易量,到底需要多大的服務器和數據庫才能保證不宕機?一次性上馬太大服務器和數據庫等於浪費,但若買小了又無法保證業務。
治標的方法快要山窮水盡,必須要從治本的角度出發尋找新的解決方案,比如,從架構層麵“搞革命”,做單元化。
2010年5月,正祥加盟淘寶,由此拉開了 OceanBase的自主研發之路。站在十年後的今天回望過去,期間經曆的種種磨難,遭遇的各種反對,忍受的諷刺挖苦,都已經成了長篇傳奇故事中的動人細節。這十年間,有無數次可能讓OceanBase夭折,但OceanBase還是堅持了下來:
2011.11OceanBase第一次支持雙十一,服務淘寶收藏夾
2012.11OceanBase轉戰支付寶
2014.11OceanBase承擔支付寶交易10%流量
2015.11 OceanBase承擔支付寶交易100%、支付50%流量
2016.11OceanBase承擔支付寶交易100%、支付100%、花唄賬務30%流量
2017.11 OceanBase承擔支付寶交易100%、支付100%、賬務100%流量,“去O”大功告成!並第一次走出阿裏,應用到南京銀行互聯網核心係統
2018.09雲棲大會發布了OceanBase 2.0,正式宣布兼容Oracle
2019.10OceanBase發布Oracle兼容版本2.2,並公布TPC-C結果
OceanBase到底是如何做到的?
與傳統企業相比,以阿裏為代表的互聯網企業最大的不同之一是並發訪問量非常大。傳統商業企業、銀行,用戶需要通過收銀台、銀行終端、ATM櫃員機、POS機等專用設備開展業務並訪問數據庫,幾百和幾千的數據庫並發訪問比較常見,幾萬以上的並發訪問相當少見。在互聯網上,每一個草根網民都可以發起購物交易並訪問數據庫,幾十萬的數據庫並發訪問時常可見,幾百萬甚至千萬的並發訪問都可以見到(例如雙11下的淘寶、天貓和支付寶)。如此之大的並發訪問下,商業數據庫軟件及其高可靠的數據庫服務器和共享存儲的成本成為了不可承擔之重。
所以就像上文中說的那樣,傳統的數據庫架構搞不定阿裏的實際需求。那麼,IBM、微軟等公司都做不到的事情,阿裏自研的OceanBase是如何做到的呢?
螞蟻金服高級研究員陽振坤曾在《揭秘阿裏服務互聯網金融的關係數據庫——OceanBase》中詳細介紹了OceanBase背後用到的技術。
OceanBase的一個基本假設就是硬件(服務器、存儲、網絡等)是不可靠的,另一個基本假設是單機(數據庫服務器及共享存儲)無法滿足互聯網業務的需求。因此,OceanBase必須是一個多機(分布式)係統,並且必須保證任何時刻出現的少量硬件(服務器、存儲、網絡等)異常不影響業務。
為此,OceanBase引入了Paxos協議,每一筆事務,主庫執行完成後,要同步到半數以上庫(包括主庫自身),例如3個庫中的2個庫,或者5個庫中的3個庫,事務才成功。這樣,少數庫(例如3個庫中的1個庫,或者5個庫中的2個庫)異常後業務並不受影響:
與傳統數據庫相比,OceanBase的另外一個關鍵特征是軟件版本的灰度升級。
主備方式的傳統數據庫是“單活”的,隻有主庫可執行寫事務,盡管維護升級時可以先操作備庫,操作完成後備庫變成主庫並且接受用戶訪問是一步到位的,如果新版本有問題,則業務受到影響:
OceanBase則是“多活”設計,即多個庫(3個,5個等)每個都可以有部分讀寫流量,升級時先把要升級的庫的讀寫流量切走,升級後先進行數據對比,正常後逐步引入讀寫流量(白名單,1%,5%,10%......),一切正常並運行一段時間後再升級其他的庫:
基於硬件不可靠的假設並且能夠容忍少量服務器的故障,OceanBase使用了相對廉價的PC服務器代替高可靠服務器並且不再使用昂貴的共享存儲,從而不僅提供了比使用高可靠服務器和共享存儲低得多的成本,容忍少數服務器乃至少數機群故障意味著比傳統數據庫更高的可靠性。通過灰度升級,OceanBase避免了傳統數據庫的“一錘子買賣”的升級,極大地降低了數據庫維護升級的風險。
OceanBase“擊敗”甲骨文?
10月2日,70年大慶的假日期間,國際權威的性能測試機構TPC(TransactionProcessing Performance Council,事務處理性能委員會)發布了最新的TPC-C性能測試結果排名(TPC-C - All Results - Sortedby Performance Version 5 Results)。
在這個最新排名中,名列第一的是阿裏巴巴螞蟻金服集團提交並經過TPC嚴格審計的測試結果。
一時之間,“中國自研數據庫超越Oracle登頂全球第一”成為了各大媒體的頭條!
然而,大家高興還沒多久,有不少業內人士開始出來“潑冷水”:按照性能的測試結果,螞蟻金服的確排名第一,從每分鍾能處理的事務數量來看,“螞蟻”的60,880,800 tpmC的確是“甲骨文”30,249,688 tpmC的兩倍。但值得注意的是,這份榜單中的測試結果有效期僅為3年,除了“螞蟻”意外,其他公司因為太久沒有參與測試,以前的測試結果統統過期了。
所以,我們隻能說——“螞蟻金服OceanBase現在的測試成績,達到了甲骨文Oracle數據庫在9年前測試成績的兩倍。”
但即便如此,OceanBase也依然值得讚賞。
過去,國產數據庫經過了多年的發展,雖有很大長進,但一直被認為三大基礎軟件中最薄弱的環節,始終無法取代以Oracle為代表的等國外數據庫,也始終沒有在國際權威的測試中取得過一些亮眼的成績。因此,OceanBase參與了TPC-C測試,也是國產數據庫在國際競技舞台上的首次公開比武。就憑這份參與的勇氣,以及要為此付出的努力和成本,就足以使OceanBase讓業界刮目相看。更何況OceanBase的測試結果表明,它至少已達到Oracle九年前的水平,這也已大大縮短國產數據庫與國際頂級水平的差距。
結語
這是第十一個雙11 ,也是馬雲卸任之後的第一個雙11。
看到如此的好成績,曾經“悔創阿裏”已於今年9月卸任阿裏巴巴集團董事局主席職位馬雲在看台上笑得合不攏嘴。
吃吃吃、買買買,永遠是能讓人心情變好的事物,用自己賺的錢在這樣一個節日裏獎勵一下自己,又有什麼不可呢?
於是,你為今年的雙11貢獻了多少【偷笑】?
現已入駐
今日頭條、騰訊企鵝號、搜狐號、新浪看點、一點資訊、界麵、網易、虎嗅網、鈦媒體等平台,
覆蓋商業財經核心受眾群。
推薦閱讀:(點擊下方藍字)
重磅頭條:2019世界智能製造大會/ 製造業名城市長論壇 / 數商大會 / 2019(第13屆)蘇商領袖年會 / 2018世界智能製造大會 / 2018(第六屆)蘇商大會 / 2018數字江蘇峰會 / 第三屆金茉莉 / 2018蘇商領袖年會 / "係統思維"報告會 / 大健康產業峰會
蘇商講壇:沙鋼沈文榮 / 紅豆周海江 / 徐工王民 / 金箔江寶全 / 遠東蔣錫培 / 英達科技施偉斌 / 著名經濟學家樊綱 / 對話牟其中 / 亞洲知識管理協會院士陸德 / 工信部原部長李毅中 / 著名經濟學家郎鹹平 / 南京大學教授錢誌新 / 知名財經評論員葉檀 / 吉利李書福 / 格力董明珠 / 亨通崔根良 / 揚子江船業任元林 / 揚子江藥業徐鏡人 / 波司登高德康 / 南京大學範從來
一學六會:走進好孩子集團 / 走進中億豐 / 問道光芒集團 / 蘇商·棲霞書記區長麵對麵 / 蘇商·鎮江市長麵對麵 / 走進阿特斯 / 問道江蘇天成科技 / 走進阿裏巴巴 / 走進永鋼集團 / 走進長電科技 / 走進勝利精密 / 走進大亞科技集團 / 走進隆力奇集團 / 宿遷企業家蘇南名企行 / 走進揚子江藥業 / 走進徐工集團 / 走進中南集團 / 走進淮海控股集團 / 走進愛康集團 / 走進銀寶控股 / 問道常盛集團
連線蘇商:格力董明珠 / 亨通崔根良 / 建華建材王剛 / 新海石化範建民 / 金箔江寶全 / 福中楊宗義 / 羅萊薛偉斌
END