【導讀】 益于大數(shù)據(jù)的興起以及算力的快速提升，機器學習技術在近年取得了革命性的發(fā)展。在圖像分類、語音識別、自然語言處理等機器學習任務中，數(shù)據(jù)為大小維度確定且排列有序的歐氏（Euclidean）數(shù)據(jù)。然而，越來越多的現(xiàn)實場景中，數(shù)據(jù)是以圖（Graph）這種復雜的非歐氏數(shù)據(jù)來表示的。
應用AchronixSpeedster7t FPGA設計高能效、可擴展的GNN加速器
作者：袁光（KevinYuan），Achronix資深現(xiàn)場應用工程師
1.概述
得益于大數(shù)據(jù)的興起以及算力的快速提升，機器學習技術在近年取得了革命性的發(fā)展。在圖像分類、語音識別、自然語言處理等機器學習任務中，數(shù)據(jù)為大小維度確定且排列有序的歐氏（Euclidean）數(shù)據(jù)。然而，越來越多的現(xiàn)實場景中，數(shù)據(jù)是以圖（Graph）這種復雜的非歐氏數(shù)據(jù)來表示的。Graph不但包含數(shù)據(jù)，也包含數(shù)據(jù)之間的依賴關系，比如社交網(wǎng)絡、蛋白質(zhì)分子結構、電商平臺客戶數(shù)據(jù)等等。數(shù)據(jù)復雜度的提升，對傳統(tǒng)的機器學習算法設計以及其實現(xiàn)技術帶來了嚴峻的挑戰(zhàn)。在此背景之下，諸多基于Graph的新型機器學習算法—GNN（圖神經(jīng)網(wǎng)絡），在學術界和產(chǎn)業(yè)界不斷的涌現(xiàn)出來。
GNN對算力和存儲器的要求非常高，其算法的軟件實現(xiàn)方式非常低效，所以業(yè)界對GNN的硬件加速有著非常迫切的需求。我們知道傳統(tǒng)的CNN（卷積神經(jīng)網(wǎng)絡網(wǎng)絡）硬件加速方案已經(jīng)有非常多的解決方案；但是，GNN的硬件加速尚未得到充分的討論和研究，在本文撰寫之時，Google和百度皆無法搜索到關于GNN硬件加速的中文研究。本文的撰寫動機，旨在將國外最新的GNN算法、加速技術研究、以及筆者對GNN的FPGA加速技術的探討相結合起來，以全景圖的形式展現(xiàn)給讀者。
2.GNN簡介
GNN的架構在宏觀層面有著很多與傳統(tǒng)CNN類似的地方，比如卷積層、Polling、激活函數(shù)、機器學習處理器（MLP）和FC層等等模塊，都會在GNN中得以應用。下圖展示了一個比較簡單的GNN架構。
圖 1：典型的GNN架構（來源：https://arxiv.org/abs/1901.00596）
但是， GNN中的Graph數(shù)據(jù)卷積計算與傳統(tǒng)CNN中的2D卷積計算是不同的。以圖2為例，針對紅色目標節(jié)點的卷積計算，其過程如下：
l Graph卷積：以鄰居函數(shù)采樣周邊節(jié)點特征并計算均值，其鄰居節(jié)點數(shù)量不確定且無序（非歐氏數(shù)據(jù)）。
l 2D卷積：以卷積核采樣周邊節(jié)點特征并計算加權平均值，其鄰居節(jié)點數(shù)量確定且有序（歐氏數(shù)據(jù)）。
圖 2：Graph卷積和2D卷積（來源：https://arxiv.org/abs/1901.00596）
3. GraphSAGE算法簡介
學術界已對GNN算法進行了非常多的研究討論，并提出了數(shù)目可觀的創(chuàng)新實現(xiàn)方式。其中，斯坦福大學在2017年提出的GraphSAGE是一種用于預測大型圖中動態(tài)新增未知節(jié)點類型的歸納式表征學習算法，特別針對節(jié)點數(shù)量巨大、且節(jié)點特征豐富的圖做了優(yōu)化。如下圖所示，GraphSAGE計算過程可分為三個主要步驟：
圖3：GraphSAGE算法的視覺表述（來源：http://snap.stanford.edu/graphsage）
l 鄰節(jié)點采樣：用于降低復雜度，一般采樣2層，每一層采樣若干節(jié)點
l 聚合：用于生成目標節(jié)點的embedding，即graph的低維向量表征
l 預測：將embedding作為全連接層的輸入，預測目標節(jié)點d的標簽
為了在FPGA中實現(xiàn)GraphSAGE算法加速，我們需要知悉其數(shù)學模型，以便將算法映射到不同的邏輯模塊中。下圖所示的代碼闡述了本算法的數(shù)學過程。
圖 4：GraphSAGE算法的數(shù)學模型（來源：http://snap.stanford.edu/graphsage）
對于每一個待處理的目標節(jié)點xv，GraphSAGE執(zhí)行下列操作：
1）通過鄰居采樣函數(shù)N（v），采樣子圖(subgraph)中的節(jié)點
2）聚合被采樣的鄰節(jié)點特征，聚合函數(shù)可以為mean()、lstm()或者polling()等
3）將聚合結果與上一次迭代的輸出表征合并，并以Wk做卷積
4）卷積結果做非線性處理
5）迭代若干次以結束當前第k層所有鄰節(jié)點的處理
6）將第k層迭代結果做歸一化處理
7）迭代若干次以結束所有K層采樣深度的處理
8）最終迭代結果zv即為輸入節(jié)點xv的嵌入（embedding）
4.GNN加速器設計挑戰(zhàn)
GNN的算法中涉及到大量的矩陣計算和內(nèi)存訪問操作，在傳統(tǒng)的x86架構的服務器上運行此算法是非常低效的，表現(xiàn)在速度慢，能耗高等方面。
新型GPU的應用，可以為GNN的運算速度和能效比帶來顯著收益。然而GPU內(nèi)存擴展性的短板，使其無法勝任海量節(jié)點Graph的處理；GPU的指令執(zhí)行方式，也造成了計算延遲過大并且不可確定，無法勝任需要實時計算Graph的場景。
如上所述種種設計挑戰(zhàn)的存在，使得業(yè)界急需一種可以支持高度并發(fā)實時計算、巨大內(nèi)存容量和帶寬、以及在數(shù)據(jù)中心范圍可擴展的GNN加速解決方案。
5.GNN加速器的FPGA設計方案
Achronix公司推出的Speedster7t系列高性能FPGA，專門針對數(shù)據(jù)中心和機器學習工作負載進行了優(yōu)化，消除了CPU、GPU以及傳統(tǒng) FPGA 存在的若干性能瓶頸。Speedster7t FPGA 基于臺積電的 7nm FinFET工藝，其架構采用革命性的新型 2D 片上網(wǎng)絡（NoC），獨創(chuàng)的機器學習處理器矩陣（MLP），并利用高帶寬 GDDR6 控制器、400G 以太網(wǎng)和 PCI Express Gen5 接口，在保障ASIC 級別性能的同時，為用戶提供了靈活的硬件可編程能力。下圖展示了Speedster7t1500高性能FPGA的架構。
圖5: AchronixSpeedster7t1500高性能FPGA架構（來源：http://www.achronix.com）
如上所述種種特性，使得AchronixSpeedster7t1500 FPGA器件為GNN加速器設計中所面臨的各種挑戰(zhàn)，提供了完美的解決方案。
表1：GNN設計挑戰(zhàn)與Achronix的Speedster7t1500 FPGA解決方案
5.1GNN加速器頂層架構
本GNN加速器針對GraphSAGE進行設計，但其架構具有一定的通用性，可以適用于其他類似的GNN算法加速，其頂層架構如下圖所示。
圖6: GNN加速器頂層架構（來源：Achronix原創(chuàng)）
圖中GNNCore為算法實現(xiàn)的核心部分，其設計細節(jié)將在下文展開談論；RoCE-Lite為RDMA協(xié)議的輕量級版本，用于通過高速以太網(wǎng)進行遠程內(nèi)存訪問，以支持海量節(jié)點的Graph計算，其設計細節(jié)將在本公眾號的后續(xù)文章中討論；400GE以太網(wǎng)控制器用來承載RoCE-Lite協(xié)議；GDDR6用于存放GNN處理過程中所需的高速訪問數(shù)據(jù)；DDR4作為備用高容量內(nèi)存，可以用于存儲相對訪問頻度較低的數(shù)據(jù)，比如待預處理的Graph；PCIeGen5x16提供高速主機接口，用于與服務器軟件交互數(shù)據(jù)；上述所有模塊，皆通過NoC片上網(wǎng)絡來實現(xiàn)高速互聯(lián)。
5.2GNNCore微架構
在開始討論GNNCore微架構之前，我們先回顧一下本文第3節(jié)中的GraphSAGE算法，其內(nèi)層循環(huán)的聚合以及合并（包含卷積）等兩個操作占據(jù)了算法的絕大部分計算和存儲器訪問。通過研究，我們得到這兩個步驟的特征如下：
表2：GNN算法中聚合與合并操作對比（來源：https://arxiv.org/abs/1908.10834）
可以看出，聚合操作與合并操作，其對計算和存儲器訪問的需求完全不同。聚合操作中涉及到對鄰節(jié)點的采樣，然而Graph屬于非歐氏數(shù)據(jù)類型，其大小維度不確定且無序，矩陣稀疏，節(jié)點位置隨機，所以存儲器訪問不規(guī)則并難以復用數(shù)據(jù)；在合并操作中，其輸入數(shù)據(jù)為聚合結果（節(jié)點的低維表征）以及權重矩陣，其大小維度固定，存儲位置規(guī)則線性，對存儲器訪問不存在挑戰(zhàn)，但是矩陣的計算量非常大。
基于以上分析，我們決定在GNNCore加速器設計中用兩種不同的硬件結構來處理聚合操作與合并操作，功能框圖如下圖所示：
圖7: GNNCore功能框圖（來源：Achronix原創(chuàng)）
聚合器（Aggregator）：通過SIMD（單指令多數(shù)據(jù)處理器）陣列來對Graph進行鄰居節(jié)點采樣并進行聚合操作。其中的“單指令”可以預定義為mean()均值計算，或者其他適用的聚合函數(shù)；“多數(shù)據(jù)”則表示單次mean()均值計算中需要多個鄰居節(jié)點的特征數(shù)據(jù)作為輸入，而這些數(shù)據(jù)來自于子圖采樣器（SubgraphSampler）；SIMD陣列通過調(diào)度器Agg Scheduler做負載均衡；子圖采樣器通過NoC從GDDR6或DDR4讀回的鄰接矩陣和節(jié)點特征數(shù)據(jù)h0v，分別緩存在AdjacentListBuffer和NodeFeature Buffer之中；聚合的結果hkN(v)存儲在AggBuffer之中。
合并器（Combinator）：通過脈動矩陣PE來執(zhí)行聚合結果的卷積操作；卷積核為Wk權重矩陣；卷積結果通過ReLU激活函數(shù)做非線性處理，同時也存儲在PartialSumBuffer中以方便下一輪迭代。
合并的結果通過L2BN歸一化處理之后，即為最終的節(jié)點表征hkv。
在比較典型的節(jié)點分類預測應用中，該節(jié)點表征hkv可以通過一個全連接層（FC），以得到該節(jié)點的分類標簽。此過程屬于傳統(tǒng)的機器學習處理方法之一，沒有在GraphSAGE論文中體現(xiàn)，此設計中也沒有包含這個功能。
6.結論
本文深入討論了GraphSAGEGNN算法的數(shù)學原理，并從多個維度分析了GNN加速器設計中的技術挑戰(zhàn)。作者通過分解問題并在架構層面逐一解決的方法，綜合運用AchronixSpeedster7t1500FPGA所提供的競爭優(yōu)勢，創(chuàng)造了一個性能極佳且高度可擴展的GNN加速解決方案。
免責聲明：本文為轉(zhuǎn)載文章，轉(zhuǎn)載此文目的在于傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題，請電話或者郵箱聯(lián)系小編進行侵刪。
