在由深圳灣 WARE 2018 AI 芯片與應用峰會上，杭州國芯人工智能事業部總經理凌云從 AI 芯片被重視的背景、國芯如何做 AI 芯片以及 AI 芯片的應用前景等方面做了分享。

凌云認為，深度學習技術的突破是這一波人工智能浪潮的主要驅動力。深度學習算法具有很高的通用性，同時計算架構又是統一的，并且未來對算力的需求越來越大，這些因素綜合起來呼喚這專用 AI 芯片的到來。

凌云從神經網絡加速、NPU 工具鏈、SoC 集成等多個角度解析了一款 AI 芯片誕生背后的基本過程和邏輯。

關于 AI 芯片的前景，凌云認為核心還是大家的積極性和創造力能不能充分被調動出來。目前，針對電視、故事機、白色家電等產品和場景，國芯也已經面向行業準備了包括語音電視、IoT、兒童機器人、智能音箱等在內的一系列解決方案。

以下是凌云在 WARE 2018 AI 芯片與應用峰會演講及會后問答實錄，由深圳灣整理發布。

深度學習技術呼喚新一波 AI 芯片熱潮

我做芯片已經差不多有十五年了。十五年前，芯片行業是一個很火熱的行業。隨著互聯網和移動互聯網的興起，芯片有很長一段時間進入一個挺冷的時期，或者說跟大眾沒有什么關系。我們現在看到這兩年突然之間芯片又變成一個很火熱的焦點，這背后到底是什么呢？這是我想跟大家探討的第一個問題，也就是為什么 AI 芯片現在火了。

AI 芯片會火的根源首先是人工智能現在火了。

人工智能歷史上起起伏伏有很多輪，這一輪人工智能的核心是因為深度學習的突破和在各個領域的效果。深度學習有什么特點呢？我認為最大的優勢，它是一個非常通用的方法，可以用在很多很多地方，比如說我們熟知的語音識別、人臉識別，比如醫療領域的自動診斷、手勢識別、智能家居等各方面。我們說深度學習是一個萬能膏藥，只要掌握這一個技術，就可以應用在各行各業里面。過去在各行各業都需要專業的科學家，這些科學家對這個行業有很多年積累才可以解決問題，但是今天只要掌握了這個技術，理論上你有數據，都可以很快的解決各行各業的問題。

深度學習依賴于兩個東西，一是數據，二是它需要很大的計算力，不斷地循環反復的運算和迭代。

有一個非常大的好處，深度學習里面用的神經網絡的計算方法，雖然有各種變種，但是它的計算框架整體上是非常類似的。也就是說，不管是 DNN、RNN、LSRM 等各種神經網絡，它的模型計算是非常類似的。

綜合以上幾點，大家會發現，既然這個算法是萬能的，它的計算架構又是統一的，而且未來我們對算力的需求越來越大。既然是這樣，為什么不做一個專用的芯片來解決這個問題呢？所以大家看到Google 做了 TPU，很多互聯網公司、算法公司都會把芯片放在一個很重要的地位，因為它的確有非常大的價值。

以上幾點，希望通過我個人的觀點，能夠幫大家了解AI芯片背后的邏輯，為什么現在它這么重要。

一款 AI 芯片的基本邏輯

做 AI 芯片，第一步是做神經網絡的加速。Google 做了一個東西叫 TPU，更多的人叫它 NPU，也就是神經網絡處理器。我們從 2016 年開始做神經網絡處理器，第一版已經量產在賣了，我們內部在做第二個版本。

NPU 說起來很玄乎，其實內在原理比較簡本，因為神經網絡是高度并行的架構。如果用 CPU 來跑，需要寫一個循環，不停地一遍一遍地跑。我們做 NPU 就可以做并行化，比如說做 64 路、128 路并行，通過硬件和流水線的結構，可以把效率提升上來。

當然，這里面有很多技巧和效率的問題，比如說神經網絡運算的時候，一方面消耗計算力，另外一方面對內存計算的帶寬要求很高。有一個技術很重要，我們叫做神經網絡參數壓縮的技術。前兩天大家應該看到國內做壓縮最有名的一家公司剛剛被一家美國公司收購了。在神經網絡壓縮這個領域，國芯也有很多積累，我們在后面的很多芯片里面也會把壓縮的優勢發揮出來。

是否完全可編程是神經網絡加速器和處理器基本區別

過去有很多公司做 NPU，他們做的其實是神經網絡加速器。神經網絡加速器和處理器有什么區別？我認為最大的區別在于是不是完全可編程。有人質疑硬件 NPU 是不是不夠靈活，這取決于架構，如果完全可編程就很靈活。

做完全可編程離不開一個 NPU 的工具鏈，或者叫神經網絡的編譯器。我們在這方面做了非常多的工作，我們現在的工具鏈可以做到和訓練平臺對接，你在平臺上把程序編好，生成一個模型，通過我們的編譯器，可以自動轉到我們芯片上去跑。如果你做量化、壓縮，我們的工具鏈都可以幫助你做。

SoC 集成產品落地全鏈條

光有 NPU 也不夠，產品要落地是很長的鏈條。大家做產品都知道，AI 交互涉及到的環節很多，有輸入、輸出，語音和圖像輸入進來以后需要做增強，語音要做降噪，圖像要做 3D、動態等等，需要做很多東西。傳統算法會用信號處理，現在也會做信號增強，未來混合的框架會越來越多。信號處理完之后才可以做識別，比如語音識別、圖像識別。還需要業務邏輯，需要跑操作系統，跟云端交互，最后給用戶反饋。

這是一個復雜的鏈條，要做芯片就需要把這些東西全部集成在一起。在芯片行業我們叫 SoC，把整個系統做到芯片里面，這才是真正可以落地的產品。

我們去年推出的第一代產品里面把語音麥克風的通道 DSP、圖像的接口、前處理和 NPU、CPU 全部集成在一顆芯片上，這就是我們的第一代芯片，代號叫 GX8010。

AI 芯片前景：被打開的 IoT 智能化市場

從 AI 這幾年的爆發來看，它的應用做得好不好，核心還是大家的積極性和創造力能不能充分被調動出來。

這個應用肯定是要全行業一起來做。我認為有兩件事情對整個 AI 行業的幫助非常大：第一件事情，AlphaGo 戰勝了李世石，戰勝了中國的圍棋選手，讓大家認為人工智能已經這么厲害了，一下把大眾對人工智能的熱情喚起來了。第二件事情，也就是今天深圳灣的主題里面講的，通過大家對智能音箱的投入和銷售，智能音箱對大眾起到非常大的宣傳和示范作用。過去我們認為人工智能離我們很遠，但是今天我可花 99 塊錢買一個智能音箱放在家里，我就發現原來人工智能可以已經做到這樣，原來體驗已經可以做到這么好。

有了這個概念之后，做很多傳統電子產品的人，他的腦子里面就會突然冒出很多想法，既然智能音箱可以做到這樣，那我的產品是不是也可以這樣做，我原來的產品上是不是也可以加這種功能？所以在今年開始，我們看到越來越多行業用戶開始擁抱 AI、擁抱語音。

舉幾個典型的例子，比如說電視。過去我們看電視都是用遙控器，但是當你的電視變成 OTT、IPTV 之后，要用遙控器按鈕搜索一個電視節目變得異常困難，電視機廠商就想到要用語音。前段時間有一個產品，通過 USB 插到電視上，完全可以不用遙控器，遠場進行語音交互，坐在沙發上用很自然的方式跟電視交互，電視的很多空間一下就打開了。

類似的例子非常多，應該說，AI 改變了交互和控制的模式，在很多 IoT 領域里面都能夠得到應用。針對這些場景，國芯也準備了很多解決方案，包括語音電視的方案、IoT的方案、兒童機器人的方案、智能音箱的方案。

嘉賓問答

訪談嘉賓：SpeakIn COO 易鵬宇

云端 AI 芯片和端側 AI 芯片的區別

易鵬宇：AI 需要算力、算法，后面還有很多數據的支持，一個 AI 芯片也許具有綜合的素質能力會更好。國芯這邊做的芯片，您覺得在處理算法、算力、數據上，相比傳統的英偉達這種超強的芯片，對 IoT 芯片能力的認知是不是劃一個清晰的邊界？

凌云：云端與端側 AI 芯片定義不一樣，云端要處理很多用戶的需求，性能越強越好，對單顆芯片的成本不敏感，考慮的是整臺服務器或者整個部署的成本，所以單顆芯片規模比較大。我們做的 AI 芯片跟功耗成本息息相關，按照應用場景需要為原則來做。算力對芯片來說就是部署的問題，你需要部署很多，我就可以給你堆很多計算在里面，成本就會升高，就像一個玩具狗，我放了AlphaGo 的芯片進去你就買不起了，所以端側一定要按照應用場景出發，跟云端比算力會低一些。

定制化芯片的投入產出衡量

易鵬宇：現在定制一個新的芯片，發現基本上做的是從 0 到 1 很多東西要做，列出來時間很長、投入費用很大。現在看到的方案大部分基于通用的模組和芯片來做，但對我們來說，定制化的芯片價值更大，可以用在特殊的產品里面。這里面的投入要怎么衡量？

凌云：定制芯片一定有一個原則，定制的東西一定要有足夠大的量來平攤成本。如果定制一個芯片，量不夠大的話，成本是無法收回的。你提到有一些私有化的需求，去定制的話，時間周期肯定會比較長。

芯片公司定義一款芯片的時候，通常都會盡可能覆蓋更多的應用場景，其實你可以把這個需求告訴芯片公司，芯片公司會在合適的場景面考慮你的需求，覺得需求合理就可以把功能做進去，這樣你不用支付太高的定制成本。當然，你覺得這個市場巨大，你有核心技術，那就可以砸錢定制，這個收益也很大。

易鵬宇：我們的芯片達到某個規模在是經濟適用的，站在您的角度，到底多大規模算是經濟適用的門檻？

凌云：我們覺得最好這款芯片能夠達到千萬級的水平，我們覺得這才是比較有商業價值的。當然，如果你要定制，我覺得至少是上百萬的規模，這樣定制才會有一些意義。

AI 芯片如何進行升級迭代

易鵬宇：我們都知道，芯片本身其實就是算法邏輯，我認為，只有把算法邏輯徹頭徹尾的在芯片里面優化、定制化以后性能才是最高的。在這種情況下，算法在人工智能里面遇到一個問題，就是它的更新迭代。所有人工智能都在快速自我學習和迭代，但一旦做到芯片里就做死了，怎么解決迭代的問題？

凌云：做芯片，雖然物理的東西是做死的，但是架構上可以想很多文章，盡量讓硬件加速可以做成可編程的，可以通過軟件去調動各種資源，去靈活的運用。比如說我們的 NPU，物理上是做死的，但是通過模塊、運算單元的劃分和編譯器軟件的調度，可以靈活的處理各種模型，就是你的模型是可以變的，不是一定是做死的。

當然，這里面也會存在算法可能產生了非常巨大變化的情況，導致我的架構都不支持了，這時候只能靠芯片本身迭代來做。芯片公司每年都會出新的芯片來支持更新的架構，至于當前架構上一些小的變化，我們做架構本身的時候一定要把它兼容進去，通過軟件方式做到自動適應。