穀歌首次透露TPU細節:處理速度是GPU/CPU的15-30倍

在2016年5月的I/O開發者大會上，穀歌首次向外透露了其機器學習專用芯片Tensor處理單元(TPU)。之後，穀歌除了公布它們是圍繞公司自身進行優化的TensorFlow機器學習框架之外，就再未透露更多的細節。今日，穀歌的硬件工程師Norm Jouppi首次向外分享了更多關於該項目的細節和測試結果。

如果你是一個芯片設計師，你可以在穀歌公布的研究報告裏找到很多關於這一TPU如何運作的細節。

在此次測試中，穀歌基於自己的基準測試對自研芯片進行了測試。測試結果表明，TPU在執行穀歌常規機器學習工作負載方麵，比一個標準的GPU/CPU組合(一般是Intel Haswell處理器和Nvidia K80 GPU組合的情況下)平均要快15-30倍。另外，由於數據中心的功耗計算，TPU還能提供高達30-80倍瓦特的速率。研究報告作者表示，如果將來使用更快的內存，該TPU還有進一步優化的空間。

值得注意的是，這些數字是關於在生產中使用機器學習模型的，而不是首次創建模型。

穀歌還指出，雖然大多數架構師為卷積神經網絡(convolutional neural networks，例如，對於圖像識別工作良好的特定類型的神經網絡)優化了其芯片。然而，穀歌表示，這些網絡隻占其數據中心工作負載的5%左右，而大部分應用使用的是多層感知器( multi-layer perceptrons)。

機器學習的本質是密集計算，比如 Google 工程師舉的例子 —— 如果人們每天用三分鍾的語音搜索，但運行沒有 TPU 加持的語音識別人物的話，該公司將需要建造兩倍多的數據中心。

事實上，據穀歌表示，該公司在2006年就已開始研究如何其數據中心中使用GPU，FPGA和自定義ASICS(其實質上是TPU)。然而，由於他們所需的大量工作負載，可能隻能利用數據中心裏麵已經可用的多餘硬件，而當時並沒有那麼多的應用程序真的可以在這種特殊硬件中受益。

據悉，穀歌已經將TPU用於許多內部項目，如機器學習係統RankBrain、Google街景、以及AlphaGo等。但Google尚未給出將TPU應用於外部項目的計劃。

穀歌在其研究報告裏表示：2013年，我們預計到DNN或許在將來會成為非常受歡迎的方向，而這可能會使數據中心的計算需求增加一倍，如果要滿足傳統的CPU將會需要高昂的價格。“因此，我們開始了這個高度優先的項目，以快速生成用於推理的定製ASIC(並購買了現成的GPU來進行培訓)。”穀歌一位工程師表示。

據雷鋒網(公眾號：雷鋒網)了解，穀歌不太可能在其雲端之外提供TPU。不過穀歌表明，預計將來會有其他人采用我們所學到的知識，並“成為更高水準的繼任者”。

來源：雷鋒網