Facebook、微信團隊、Twitter、微軟開源軟件列表一覽

編輯｜小智

對於為什麼要發布開源項目，Facebook開源項目負責人曾經解釋過：一是開源能夠幫助他人更快地開發軟件，促進世界創新，主要是社會價值層麵的考慮。二是開源能夠倒逼Facebook的工程師寫出更好的代碼。三是開源能夠更有效利用社區的力量，幫助Facebook一起解決難題。開源，讓世界更美好，不是嗎？

Facebook開源軟件列表

從Facebook的GitHub賬戶中可以看到，Facebook已經開源的開源項目有近300個，領域涉及移動、前端、Web、後端、大數據、數據庫、工具和硬件等。Facebook開源項目負責人James Pearce曾在OSCON解釋過Facebook究竟為何要使用、支持和發布開源項目。具體如下：

共享Facebook的代碼（通常是軟件“棧”，偶爾也包括硬件設計）促進了這個世界的創新。這些代碼幫助他人更快地開發軟件。因為Facebook不是一家軟件公司，所以它在開源過程中沒有麵臨競爭對手的威脅，相反，開源帶來的價值在逐漸顯現。用戶使用Facebook的開源代碼可以更快地構建應用，而他們也樂於回饋代碼，使Facebook從中受益。

擁抱開源，意味著Facebook必須一開始就寫出更優秀的軟件。如果他們知道某個軟件從誕生起就要公開，那就必須要好好做，提高可用性和可靠性，因為將來外麵的人都會用它。這種壓力也會給公司內部帶來更多的價值。

開源帶來了共享挑戰的機會。開源項目麵臨的難題會吸引一些外部的優秀人員，而結果是，他們也帶動了公司內部人員的能力提升。每天Facebook都承載了超過一億人的溝通互聯，何以能做到？唯有開源的力量。

下麵是InfoQ編輯整理的Facebook現有的比較活躍的開源項目列表，歡迎交流討論。

移動開發框架：React Native

React Native是Facebook在2015年開源的基於React.js的移動開發框架，它的設計理念是讓移動應用既擁有Native的用戶體驗，同時又可以保留React的開發效率，提高代碼的複用率。React Native的宗旨是，學習一次，高效編寫跨平台原生應用。開發者可以使用JavaScript編寫應用，並利用相同的核心代碼就可以創建Web、iOS 和Android平台的原生應用，目前已經實現了對iOS和Android兩大平台的支持。

GitHub主頁：https://github.com/facebook/react-native

Star數量：33108

數據查詢語言：GraphQL

GraphQL是Facebook開源的數據查詢語言。Facebook在構建移動應用程序時，需要用API獲取足夠強大的數據來描述所有的臉譜，同時簡單易學易用，於是開發了GraphQL，並支持每天千億級的調用。GraphQL不是像MySQL或Redis這樣直接麵向數據的接口，而是麵向已經存在的應用代碼的接口。你可以把GraphQL看作是為了調用應用服務器上的方法的一些內嵌的RPC。

GitHub主頁：https://github.com/facebook/graphql

Star數量：2902

大數據查詢引擎：Presto

Presto是Facebook開發的一款分布式SQL引擎，主要用於針對各種大小的數據源（從GB到PB）來運行交互式分析查詢。Facebook創建Presto的主要目的在於幫助他們更快地分析數據，因為Facebook的數據量一直在持續增長，產品周期的節奏也變得越來越快。自從2013年11月開源後，Presto的用戶量呈現了爆發式增長。諸如Airbnb、京東、Dropbox以及Netflix等公司都將Presto作為自己的交互式查詢引擎。

GitHub主頁：https://github.com/prestodb/presto

Star數量：4792

PHP執行引擎：HHVM

HHVM（HipHop Virtual Machine）是Facebook於2013年開源的PHP執行引擎。它采用一種JIT（just-in-time）的編譯機製實現了高性能，同時又保持對 PHP 語法的充分支持。HHVM常常用作獨立的服務器，用於替代Apache與mod_php，旨在執行使用Hack與PHP所編寫的程序。它使用了即時編譯方法來實現超高的性能，同時又保持了PHP開發者所習慣的靈活性。

GitHub主頁：https://github.com/facebook/hhvm

Star數量：13652

JavaScript庫：React

React是Facebook開發的用於構建用戶界麵的JavaScript庫，現已為很多公司所用，因為它采用了一種不同的方式來構建應用：借助於React，開發者可以將應用分解為彼此解耦的獨立組件，這樣就可以獨立維護並迭代各種組件了。2015年，React有兩個主要的發布，同時還發布了React Native，並且發布了新的開發者工具。現在已經有越來越多的公司（包括Netflix與WordPress）開始使用React構建自己的產品了。

GitHub主頁：https://github.com/facebook/react

Star數量：43146

鍵值存儲係統：RocksDB

RocksDB是Facebook開源的嵌入式、可持久化鍵值存儲係統，它基於Google的LevelDB，但提高了擴展性可以運行在多核處理器上，可以有效使用快速存儲，支持IO綁定、內存和一次寫負荷。過去一段時間，RocksDB在社區非常流行，Facebook分析其原因在於它能夠對由於網絡延遲等原因造成的慢查詢響應時間起到消除的作用，RocksDB非常靈活，完全可以針對各種新興的硬件發展趨勢進行定製。LinkedIn與Yahoo都是RocksDB的重度使用者。

GitHub主頁：https://github.com/facebook/rocksdb

Star數量：5418

人工智能硬件平台：Big Sur

近些年，人工智能和機器學習方向取得了長足的發展。據Kevin Lee透露，Facebook的AI軟件已經能夠閱讀故事、回答相關場景的問題、玩遊戲以及通過一些例子來學習非指定的內容。作為計算密集型的應用，AI軟件的性能與數據集規模/硬件性能密切相關。尤其是硬件方麵，高性能微處理器、存儲器以及圖形處理器（Graphics Processing Unit，GPU）的發展為AI算法的快速運行提供了堅實基礎。為了進一步更好地服務大規模AI計算，Facebook推出了基於GPU的、用於訓練神經網絡的“Big Sur”硬件係統。

網絡模擬測試工具：ATC

Augmented Traffic Control（ATC）能夠利用Wi-Fi網絡模擬2G、2.5G（Edge）、3G以及LTE 4G移動網絡環境，測試工程師們可以快速在各種不同的模擬網絡環境中切換，從而實現對智能手機和App在不同國家地區和應用環境下的性能表現進行測試。ATC是Facebook內部團隊在2013年的一次Hackathon活動上開發出來的工具，其原理實際是利用了Linux流量控製係統，通過純Python的網絡庫pyroute2調用netlink的API控製，而開發其的目的是為了確保更多的用戶獲得最好的應用體驗。

GitHub主頁：https://github.com/facebook/augmented-traffic-control

Star數量：2962

開源數據庫：HydraBase

HydraBase是HBase數據庫的升級版。Facebook是HBase的重度用戶，Facebook的HBase數據庫係統存儲著Facebook的很多關鍵業務數據，包括內部監控係統、搜索索 引、流數據分析以及數據抓取等。HydraBase相比HBase穩定性和可用性更高，可以減少服務器宕機時間。HydraBase能夠讓一個數據域分布在多個域服務器中，域服務器之間能相互備份，因此能夠大大減少數據恢複所用的時間。Facebook聲稱HydraBase能將Facebook全年的宕機時間縮減到不到5分鍾。

Facebook已經將HydraBase捐贈給Apache，目前很多代碼都已經被合並到HBase中。

關係型數據庫：WebScaleSQL

WebScaleSQL是基於MySQL 5.6 社區版本改編的MySQL通用分支，基於GPL開源協議發布。WebScaleSQL目前已經做了很多性能改進工作，包括：客戶端異步協調、邏輯預讀、查詢限流、服務端線程池優化、InnoDB大頁支持等等。WebScaleSQL上的功能都是很“Web Scale”和接地氣的。比如線程池優化，WebScaleSQL基於Mariadb的線程池實現進行重寫並優化，對讀寫隊列進行分離，重新設計隊列優先級策略，避免了餓死現象。要知道線程餓死在有些場景下是很嚴重的。尤其是在並發連接數往往很大的互聯網應用裏麵。

GitHub主頁：https://github.com/webscalesql/webscalesql-5.6

Star數量：2940

代碼審查工具Phabricator

代碼審查方麵，Facebook開源了可視化工具Phabricator。工程師可以在頁麵上非常方便的針對每一段（單行或者多行）代碼進行交互討論；負責審查的工程師可以接受代碼改變，可以提出疑問要求原作者繼續修改，可以提出自己不適合以推出該代碼審查，等等。隻有代碼被明確接受之後才能被工程師提交到服務器端的代碼庫，這一點集成到提交工具中強製執行。

GitHub主頁：https://github.com/phacility/phabricator

Star數量：7022

C++HTTP框架：Proxygen

Proxygen是一款Facebook開源的支持SPDY 3.1的HTTP框架。其目的不是替換Apache，而是有能力創建一個專用的高性能Web服務器，使其可以嵌入到Facebook提供Web服務的現有應用中。Facebook從2011年開始構建一款代理服務器（Proxygen這個名字也是由此而來），在該項目演進並在生產環境中測試了數年之後，Facebook將其代碼開源了。 Facebook內部做的基準測試表明，在一個Proxygen echo服務器上，每秒可以支撐多達304 197次基於SPDY 3.1的內存GET請求。

GitHub主頁：https://github.com/facebook/proxygen

Star數量：3961

開源動畫庫：Pop

Pop是Facebook推出的一個可擴展的iOS 和OS X動畫庫，其新聞聚合閱讀應用Paper背後的核心技術就是由Pop支持。除了增加基本的靜態動畫外，還支持Spring和衰變動態動畫，可非常方便的構建現實的、基於物理的交互。Pop動畫庫的動畫效果非常流暢，因為它使用了CADisplayLink來刷新畫麵（幀），一秒鍾刷新幀數為60幀，接近於遊戲開發引擎。Pop動畫的自成體係，與係統的CoreAnimation有很大的區別，但使用上非常相似。

GitHub主頁：https://github.com/facebook/pop

Star數量：15468

靜態代碼分析工具：Infer

Infer是Facebook的開發團隊在代碼提交內部評審時，用來執行增量分析的一款靜態分析工具，在代碼提交到代碼庫或者部署到用戶的設備之前找出bug。由OCaml語言編寫的Infer目前能檢測出空指針訪問、資源泄露以及內存泄露，可對C、Java或Objective-C代碼進行檢測。Facebook使用Infer自動驗證iOS和安卓上的移動應用的代碼，bug報告的正確率達80%。Infer通過捕獲編譯命令，把要被編譯的文件轉換為可用於分析潛在錯誤的中間語言格式。整個過程是增量進行的，意味著通常隻有那些有修改過並提交編譯的文件才會被Infer分析。Infer還集成了大量的構建或編譯工具，包括Gradle、Maven、Buck、Xcodebuild、clang、make和javac。

GitHub主頁：https://github.com/facebook/infer

Star數量：5259

操作係統監控工具：osquery

osquery是一款麵向OSX和Linux的操作係統檢測框架。它將操作係統暴露為一個高性能的關係型數據庫，允許用戶編寫SQL查詢查看操作係統數據。在osquery中，SQL表代表像下麵這樣的抽象概念：

正在運行的進程

已加載的內核模塊

打開的網絡連接

雖然osquery利用了非常底層的操作係統API，但它允許用戶在Ubuntu、CentOS和Mac OS X上構建並使用它。osquery性能極高，內存占用小，支持用戶在整個基礎設施上執行查詢。

GitHub主頁：https://github.com/facebook/osquery

Star數量：6209

JavaScript靜態類型檢查工具：Flow

Flow是Facebook出品的一個JavaScript代碼的靜態類型檢查工具，該工具采用開放源碼的OCaml（Objective Caml）語言開發,。Flow能夠幫助開發人員查找出JavaScript代碼中的類型錯誤，從而提高開發效率和代碼質量。Flow已經能夠捕獲JavaScript代碼中的常見問題，如靜態類型轉換不匹配、空指針引用等問題。同時，Flow還為JavaScript新增了類型語法，如類型別名。

GitHub主頁：https://github.com/facebook/flow

Star數量：7510

Web應用架構：Flux

Facebook認為MVC無法滿足他們的擴展需求，因此他們決定使用另一種模式：Flux。由於Facebook非常巨大的代碼庫和龐大的組織，所以MVC真的很快就變得非常複雜，於是他們得出結論，認為MVC不適合於大規模應用。

每次Facebook工程師努力增加一項新特性時，係統的複雜性成級數增長，代碼變得“脆弱和不可預測”。對於剛接觸某個代碼庫的開發人員來說，這正成為一個嚴重的問題。Flux是一個Facebook開發的、利用單向數據流實現的應用架構，用於 React。Flux應用有三個主要的部分組成：調度程序、存儲和視圖（React 組件）。

GitHub主頁：https://github.com/facebook/flux

Star數量：11616

Android調試工具：Stetho

Stetho是一個Android應用的調試工具。當Android應用集成Stetho時，開發者可以通過訪問Chrome，在Chrome Developer Tools中查看應用布局、網絡請求、sqlite、preference等等，可視化一切應用操作（更重要的是不用root）。開發者也可通過它的dumpapp工具提供的命令行接口來訪問應用內部。

GitHub主頁：https://github.com/facebook/stetho

Star數量：5079

微信團隊開源項目列表

從GitHub上可以看出，到目前為止，由騰訊微信團隊發起的開源項目已經有6個，並且這其中大部分都是在2016年開源的，領域涉及移動、數據庫、基礎類庫、框架。中國大公司的開源曾經給社區留下不好的印象，比如有人就這麼說，大公司的開源，開源也就意味著結束。也有人說，大公司的開源大部分都是KPI項目，開源與業務不能相得益彰，所以根本無法持續投入。

開源不僅是一種態度，更是一種能力，微信希望通過開源打通內部團隊和外部社區，一方麵可以把微信的頂級技術輸出給了社區，另一方麵也可以把外部的優秀的思想傳遞到內部團隊。

C/C++協程庫Libco

Libco是微信後台大規模使用的C/C++協程庫，2013年至今穩定運行在微信後台的數萬台機器上。Libco提供了完善的協程編程接口、常用的Socket族函數Hook等，使得業務可用同步編程模型快速迭代開發。

早期微信後台因為業務需求複雜多變、產品要求快速迭代等需求，大部分模塊都采用了半同步半異步模型。接入層為異步模型，業務邏輯層則是同步的多進程或多線程模型，業務邏輯的並發能力隻有幾十到幾百。隨著微信業務的增長，係統規模變得越來越龐大，每個模塊很容易受到後端服務/網絡抖動的影響。基於這樣的背景，微信開發了Libco，實現了對業務邏輯非侵入的異步化改造。

Star數量：1043

生產級paxos類庫PhxPaxos

PhxPaxos是微信後台團隊自主研發的一套基於Paxos協議的多機狀態拷貝類庫。它以庫函數的方式嵌入到開發者的代碼當中，使得一些單機狀態服務可以擴展到多機器，從而獲得強一致性的多副本以及自動容災的特性。PhxPaxos在微信服務裏麵經過一係列的工程驗證和大量的惡劣環境下的測試，在一致性的保證上極為健壯。

PhxPaxos的特性包括使用基於消息傳遞機製的純異步工程架構、每次寫盤使用fsync嚴格保證正確性、支持Checkpoint以及對PaxosLog的自動清理、使用點對點流式協議進行快速學習、支持跨機器的Checkpoint自動拉取、內置Master選舉功能、自適應的過載保護等。

Star數量：970

高可用、強一致的MySQL集群PhxSQL

PhxSQL是一個兼容MySQL、服務高可用、數據強一致的關係型數據庫集群。PhxSQL以單Master多Slave方式部署，在集群內超過一半機器存活的情況下、即可提供服務，並且自身實現自動Master切換、保證數據一致性。PhxSQL不依賴於ZooKeeper等任何第三方做存活檢測及選主。PhxSQL基於MySQL的一個分支Percona 5.6開發，功能和實現與MySQL基本一致。

MySQL主備在主機上支持完整SQL、全局事務、以repeatable read和serializable級別的事務隔離，在金融、帳號等關鍵業務中有巨大的價值。但是MySQL傳統主備方案也有其缺點。最明顯的就是主機故障後的自動換主和新舊主數據一致性，即所謂的一致性和可用性。為了解決這個問題，並同時完全兼容MySQL，微信在MySQL的基礎上應用Paxos，設計和開發了PhxSQL。

Star數量：1485

RPC框架PhxRPC

PhxRPC是微信後台團隊推出的一個簡潔小巧的RPC框架，編譯生成的庫隻有450K（編譯隻依賴第三方庫Protobuf）。PhxRPC的特性如下：

使用Protobuf作為IDL用於描述RPC接口以及通信數據結構。

基於Protobuf文件自動生成Client以及Server接口，用於Client的構建，以及Server的實現。

半同步半異步模式，采用獨立多IO線程，通過Epoll管理請求的接入以及讀寫，工作線程采用固定線程池。IO線程與工作線程通過內存隊列進行交互。

提供完善的過載保護，無需配置閾值，支持動態自適應拒絕請求。

提供簡易的Client/Server配置讀入方式。

基於lambda函數實現並發訪問Server，可以非常方便地實現Google提出的 Backup Requests 模式。

Star數量：467

終端跨平台網絡組件：Mars

Mars是微信官方的終端基礎組件，是一個結合移動應用所設計的基於Socket層的解決方案，在網絡調優方麵有更好的可控性，采用C++開發。目前已接入微信 Android、iOS、Mac、Windows、WP 等客戶端。

在微信中，任何網絡實現的bug都可能導致重大事故。例如微信的容災實現，如果因為版本的實現差異，導致某些版本上無法進行容災恢複，將會嚴重的影響用戶體驗。微信研發了統一的跨平台的網絡基礎庫Mars來滿足發展的需要，一方麵，基礎組件可以提高研發效率，另外一方麵，也可以提高係統的穩健性。

在設計上，Mars以跨平台、跨業務為前提，遵從高可用，高性能，負載均衡的設計原則。以網絡的可用性為例，移動互聯網有著丟包率高、帶寬受限、延遲波動、第三方影響等特點，使得網絡的可用性，尤其是弱網絡下的可用性變得尤為關鍵。Mars 的STN組件作為基於 socket 層的網絡解決方案，在很多細節設計上會充分考慮弱網絡下的可用性。

Star數量：5895

熱補丁技術Tinker

Tinker是微信官方的Android熱補丁解決方案，它支持動態下發代碼、So庫以及資源，讓應用能夠在不需要重新安裝的情況下實現更新。

當前市麵的熱補丁方案有很多，其中比較出名的有阿裏的AndFix、美團的Robust以及QZone的超級補丁方案，但它們都存在無法解決的問題，所以微信研發了自己的解決方案。總的來說，AndFix作為native解決方案，首先麵臨的是穩定性與兼容性問題，更重要的是它無法實現類替換，它是需要大量額外的開發成本的。而Robust兼容性與成功率較高，但是它與AndFix一樣，無法新增變量與類隻能用做的bugFix方案。Qzone方案可以做到發布產品功能，但是它主要問題是插樁帶來Dalvik的性能問題，以及為了解決Art下內存地址問題而導致補丁包急速增大的。

Tinker的具體設計目標如下：

開發透明：開發者無需關心是否在補丁版本，他可以隨意修改，不由框架限製。

性能無影響：補丁框架不能對應用帶來性能損耗。

完整支持：支持代碼，So 庫以及資源的修複，可以發布功能。

補丁大小較小： 補丁大小應該盡量的小，提高升級率。

穩定，兼容性好：保證微信的數億用戶的使用，盡量減少反射。

Star數量：6707

Twitter開源軟件項目列表

從Twitter的GitHub賬戶中可以看到，Twitter已經開源的開源項目有近200個，領域涉及分布式架構、大數據、異步網絡傳輸（客戶端、服務端）、Web、工具等。Twitter可以稱為構建於開源項目之上，該公司開源負責人Chris Aniszczyk表示，如果沒有開源軟件，Twitter將不會存在，用戶在移動端和PC端發送和接收的每一條推文都會需要開源軟件。

Twitter從開源社區中獲得了大量的好處，而Twitter也在不斷地回饋社區，開源了大量基礎設施和工具，使得其他企業和開發者不必重新發明輪子，在這些開源項目的基礎上更加快速地實現自己所需。可以看到，Twitter在開源社區的貢獻是顯著的，甚至其貢獻的某些開源項目在一定程度上比Twitter本身帶來的影響力更大。

下麵是InfoQ編輯整理的Twitter現有的比較活躍的開源項目列表，歡迎交流討論。

jQuery插件，快速、全功能的自動完成庫：Typeahead.js

Typeahead.js是Twitter的一個jQuery插件，支持遠程和本地的數據集。比較有特色的地方在於，你可以將數據集使用本地存儲（local storage）來保存在本地，有效的提高用戶體驗。同時也擁有很多遠程數據集的處理選項，例如請求頻率，最大的並發請求數，等等。它的主要特性有：

支持數據本地保存，客戶端加載，優化加載速度；

支持多語言，並且支持阿拉伯文；

支持Hogan.js模板引擎整合；

支持多數據集拚裝；

支持本地和遠程的數據集。

GitHub主頁：https://github.com/twitter/typeahead.js

Star數量：12700

JavaScript庫：Twemoji

Twemoji是Twitter於2014年開源的完整的Emoji表情圖片，Twemoji包含872個表情，兼容最新的Unicode 7.0。Emoji，來自日本的小巧符號，通過圖像表達感情，已經征服了移動互聯網的信息世界。現在，你可以在虛擬世界中隨處使用它們。開發者可以去GitHub下載完整的表情庫，並把這些表情加入到自己的應用或網頁中。

GitHub主頁：https://github.com/twitter/twemoji

Star數量：4899

JavaScript模板引擎：Hogan.js

Hogan.js是Twitter團隊所製作的一個針對mustache模板的語法解析器。Hogan.js不依賴其他任何庫或框架，同時保證了高效率的模板解析，而其體積卻僅有2.5K。用它作為你的一部分資產打包編譯模板提前或將它包括在你的瀏覽器來處理動態模板。

Star數量：4470

RPC框架：Finagle

Finagle是一個允許開發者使用Java、Scala或其他JVM語言來構建異步RPC服務器和客戶端的庫，主要用於Twitter的後端服務。Finagle是Twitter基於Netty開發的支持容錯的、協議無關的RPC框架，該框架支撐了Twitter的核心服務。

Twitter麵向服務的架構是由一個龐大的Ruby on Rails應用轉化而來的。為了適應這種架構的變化，需要有一個高性能的、支持容錯的、協議無關且異步的RPC框架。在麵向服務的架構之中，服務會將大多數的時間花費在等待上遊服務的響應上，因此使用異步的庫能夠讓服務並發地處理請求，從而充分發揮硬件的潛能。Finagle構建在Netty之上，並不是直接在原生NIO之上構建的，這是因為Netty已經解決了許多Twitter所遇到的問題並提供了幹淨整潔的API。

GitHub主頁：https://github.com/twitter/finagle

Star數量：4690

自動化測試工具：Diffy

Diffy是一個開源的自動化測試工具，它能夠自動檢測基於Apache Thrift或者基於HTTP的服務。使用Diffy，隻需要進行簡單的配置，之後不需要再編寫測試代碼。

Diffy主要基於穩定版本和它的副本的輸出，對候選版本的輸出進行比較，以檢查候選版本是否正確。因此，Diffy首先假設候選版本應該和穩定版本有“相似”的輸出。即不論候選版本和穩定版本係統模塊是否相同，他們的最終輸出應該是“相似”的。這裏一直使用“相似”，而不是使用相同，是因為相同請求可能會有一些Diffy不需要關心的幹擾，比如：

響應中包含服務器生成的時間戳；

代碼中使用了隨機數；

係統服務間有條件競爭。

GitHub主頁：https://github.com/twitter/diffy

Star數量：2544

Scala庫：Scalding

Scalding是一個Scala庫，簡化了Hadoop MapReduce作業開發，基於Cascading構建。Scalding跟Pig類似，但提供更緊密的Scala集成。Scalding是用於Cascading的Scala API。Cascading是一個構建於Hadoop上的API，用來創建複雜和容錯數據處理工作流，它抽象了集群拓撲結構和配置，允許開發者快速開發複雜分布式的應用，而不用考慮背後的MapReduce。

GitHub主頁：https://github.com/twitter/scalding

Star數量：2536

數據實時分析平台：Heron

2016年5月25日，Twitter正式宣布Heron開源。Heron的基本原理和方法：實時流係統是在大規模數據分析的基礎上實現係統性的分析。另外，它還需要：每分鍾處理數十億事件的能力、有秒級延遲，和行為可預見；在故障時保證數據的準確性，在達到流量峰值時是彈性的，並且易於調試和在共享的基礎設施上實現簡單部署。

為了滿足這些需求，Twitter討論出了幾種方案，包括：擴展Storm、使用其他的開源係統、開發一個全新的平台。因為有幾個需求是要求改變 Storm的核心架構，所以對它進行擴展需要一個很長的開發周期。其他的開源流處理框架並不能完美滿足Twitter對於規模、吞吐量和延遲的需求。而且，這些係統也不能兼容Storm API——適應一個新的API需要重寫幾個topologies和修改高級的abstractions，這會導致一個很長的遷移過程。所以，Twitter決定建立 一個新的係統來滿足以上提到需求和兼容Storm API。

在Twitter，Heron作為主要的流媒體係統，運行數以百萬計的開發和生產topologies。由於Heron可高效使用資源，在遷移Twitter所有的topologies後，整體硬件減少了3倍，導致Twitter的基礎設置效率有了顯著的提升。

GitHub主頁：https://github.com/twitter/heron

Star數量：1873

Web安全開發工具：SecureHeaders

SecureHeaders是Twitter送給Web開發者的一份大禮，作為一款Web安全開發工具，Secureheaders能夠自動實施安全相關的header規則，包括內容安全政策（CSP），防止XSS、HSTS等攻擊，防止火綿羊（Firesheep）攻擊以及XFO點擊劫持等。

GitHub主頁：https://github.com/twitter/secureheaders

Star數量：1697

代理服務器：Twemproxy

Twemproxy是一個快速的單線程代理程序，支持Memcached ASCII協議和更新的Redis協議。它全部用C寫成，使用Apache 2.0 License授權。Twemproxy的強大之處在於可以通過配置的方式讓它禁用掉失敗的結點，同時還能在一段時間後進行重試，抑或使用指定的鍵->服務器映射。這意味著在將Redis用作數據存儲時，它可以對Redis數據集進行分片（禁用掉結點驅逐）；在將Redis用作緩存時，它可以啟用結點驅逐以實現簡單的高可用性。它的特性是：

通過代理的方式減少緩存服務器的連接數；

自動在多台緩存服務器間共享數據；

通過不同的策略與散列函數支持一致性散列；

通過配置的方式禁用失敗的結點；

運行在多個實例上，客戶端可以連接到首個可用的代理服務器；

支持請求的流式與批處理，因而能夠降低來回的消耗；

速度快；

輕量級。

GitHub主頁：https://github.com/twitter/twemproxy

Star數量：5434

微軟開源軟件列表

提起微軟公司，不少人第一反應是老牌巨頭專注於私有化軟件盈利模式，這大抵是源於微軟前CEO Steve Ballmer曾經宣稱“Linux是顆毒瘤（Linux is a cancer）”，並曾經偏執地認為所有開源軟件都不值一提。但是，這是2001年的事情了，是時候更新大家對微軟的刻板印象。

2014年10月，出任微軟首席執行官的薩提亞∙ 納德拉，第一次公開宣布“微軟愛Linux”。同年，微軟首次發布.NET Core並將其開源；眾所周知，微軟核心的技術棧長期以來基於.NET和Windows綁定。在重寫標準庫之後，2016年6月.NET Core 1.0實現跨平台（Windows、Linux和Mac），這意味著開發者可以使用Windows開發而Linux部署。

2016年3月，Windows原生支持 Ubuntu Linux Bash, 這意味著Windows操作係統級別的開放，Win10 可以當作一台Ubuntu開發機來使用。此外，微軟稱Azure全麵支持所有開源技術棧，並且從IaaS（VM），PaaS和SaaS（CRM、PowerBI、Office365）全麵支持用戶的靈活選擇。

InfoQ對數個較受社區歡迎的項目進行了整理如下：

Visual Studio Code：跨平台源代碼編輯器

Visual Studio Code是微軟於2015年正式發布的項目，可以運行在Mac OS X、Windows和Linux之上，麵向Web和雲應用的一款跨平台源代碼編輯器。

雖然它的名字與Visual Studio相近，但前者是代碼編輯器，後者是集成開發環境（IDE）並且目前隻運行在Windows上。

Star數量：24.3k；Fork數量：3.3k

GitHub主頁：https://github.com/Microsoft/vscode

TypeScript：開源編程語言，JavaScript的超集

TypeScript是JavaScript強類型的超集，可以編譯成純JavaScript。由微軟開發的自由和開源的編程語言，可以運行在各類瀏覽器和操作係統之上。

Star數量：19.8k ；Fork數量：2.8k

GitHub主頁：https://github.com/Microsoft/TypeScript/

CNTK: 深度學習開源工具包

CNTK全稱為The Microsoft Cognitive Toolkit, 將神經網絡描述為計算機可處理的有向圖，有向圖的葉節點表示輸入值或網絡參數，其他節點表示輸入對應的矩陣運算。CNTK便於實現並且也結合了很多流行計算模型如前饋DNN，卷積網（CNN）和複現網絡（RNN / LSTM）。它可以跨多個GPU和服務器實現隨機梯度下降（SGD，誤差反向傳播）學習與自動微分和並行化。

可以在Python或者C++語言中如同庫版應用，也可以使用其自有的描述語言BrainScript單機化使用。CNTK可適用於64位的Linux和Window，於2015年4月開源。

下圖比較CNTK的處理速度（每秒處理的幀數）與四個其他眾所周知的工具包的處理速度。 配置使用完全連接的4層神經網絡（參見微軟的基準腳本）和有效的迷你批量大小（8192）。在相同硬件上獲得的結果。

Star數量：9.9k；Fork數量：2.4k

Donnet：采用係統虛擬機運行的編程平台

.NET是微軟研發的XML Web services平台，此框架支持多種語言（如C#、F#、VB.Net、C++、Python等）的開發。.NET框架曆經亟待，最終於2014年開源。

C#通常被認為是微軟專屬，是.NET框架上最常用的編程語言之一， 其著名競爭對手是Java。

Star數量：7.8k ；Fork數量：1.2k

GitHub主頁：https://github.com/Microsoft/dotnet/network

PowerShell ：為任何係統提供Windows的命令行工具

一個跨平台（Windows、Linux和macOS）自動化和配置工具/框架，可與現有工具完美配合，並優化用於處理結構化數據（例如JSON，CSV，XML等）、REST API 和對象模型。 它包括命令行shell，相關的腳本語言和用於處理cmdlet的框架。

Star數量：6.4k；Fork數量：800

MSOpenTech/redis： 在Windows使用Redis

官方隻支持64位，可自行構建32位版。

該開源項目，在2.8版本中，替代UNIX forkAPI中的內存映射文件模擬寫時複製行為。 版本3.0類似，為了便於係統文件分頁，刪除了內存映射文件，在管理堆碎片方麵進行了改進。

Redis對文件描述符的值做了一些假設，微軟構建了一個虛擬文件描述符映射層。

Star數量：5.8k；Fork數量：8.7k

WinObjc：Windows下的Objective-C

為Visual Studio提供了一個Objective-C開發環境並支持iOS API。通過重新使用Objective-C代碼和iOS API，配以Windows自有Cortana（中文名：微軟小娜，微軟發布的全球第一款個人智能助理）和通知等功能，用戶可以創建通用Windows平台（UWP）應用程序並運行在Windows設備上。

Star數量：5.8k；Fork數量：745

ASP.NET之MVC核：模型(model)－視圖(view)－控製器(controller)框架

旨在TDD友好，用於創建符合最新Web標準的複雜應用程序、構建動態網站，可以在IIS中托管或自我托管。

Star數量：4.4k；Fork數量：1.6k

BashOnWindows：解決Ubuntu Bash在Windows的使用問題

微軟在Build 2016大會上宣布了一條振奮人心的消息，大家驚呼Ubuntu on Windows。Bash on Windows 為開發者們提供了Bash shell、Linux類似環境，在不需要Linux虛擬機的情況下，大部分的Linux命令行工具基本上可以不經修改地運行在Windows上。

Star數量：3.7k；Fork數量：129

Azure相關：文檔、SDK和代碼示例

微軟支持開發者們將各種開源軟件工具和技術帶入Azure。Azure 應用市場支持很多Linux 分發，包括 Ubuntu、Debian 和 SUSE；也支持借助支持 Node.js、PHP、Python 和 Java 的 Azure 應用服務，生成 Web 和移動應用。

在GitHub上Azure相關的存儲庫有1700+個。

Star數量（共計）：149k；Fork數量（共計）：291k

今日薦文

一名合格的架構師應該具備哪些特質？