上個月，Rokid 發布了最新的便攜式智能音箱 Rokid Me，和此前 Rokid 兩款家用智能音箱產品不同，便攜類 AI 產品對芯片提出了新的要求。Rokid 副總裁及基礎平臺負責人周軍博士在深圳灣 WARE 2018 AI 芯片與應用峰會上提到，便攜式 AI 產品對芯片的功耗和運算能力要求更苛刻，算法也要適配很多場景，通用芯片已經不能滿足這類產品的需要。

「為了真正的做好這樣一個產品，需要從系統層面上考慮到芯片的規劃，這也是我們當時做芯片的初衷?！怪苘姀男阅?、功耗、集成度、成本等維度分享了 Rokid 自研 AI 芯片 KAMINO18 的設計過程。

以下是周軍博士在 WARE 2018 芯片與應用峰會上的演講及會后問答實錄，由深圳灣整理發布。

- 現場回放 -

移動 AI 產品的新需求催生自研 AI 芯片

我今年加入 Rokid 公司，之前一直在三星工作。Rokid 2014 年成立，主要做人機交互方面技術的探索，現在總部在杭州。我們音箱方面的產品第一款叫外星人，2014 年開始研發，帶屏幕顯示和攝像頭。后面還有一款產品（月石），價格稍微低一點，主要在家庭里面使用。

最新的產品叫 Rokid Me，它是帶電池的，可以隨身攜帶。這樣的產品出來，我們發現對芯片要求特別高。放在家里的產品插上電源就可以，對功耗的要求不是那么嚴格，如果做成像手機一樣便攜，對功耗和運算能力有非常高的要求，算法也要適配很多場景，對芯片的需求也就更高。

我們第一代產品用了三星 410，第二代產品用的是高通芯片。為了做實時的喚醒，我們綁定了兩個核在上面跑，兩個比較大的核會一直在工作，所以整個產品的功耗就會比較高，沒有辦法做到便攜，而且對芯片要求比較高，最少需要四核或者八核的芯片才能跑完這樣的系統。

智能音箱最早都是用通用芯片做開發，通用芯片沒有考慮到智能音箱場景的特殊要求，所以為了真正的做好一個產品，需要從系統層面上考慮到芯片的規劃，這也是我們當時做芯片的一個初衷。

2016 年開始，我們和國芯一起聯合開發了這樣一款芯片。我們這款芯片是一款「物盡其用的 AI 芯片」，名字叫 KAMINO18，KAMINO 是『星球大戰』里面生產克隆人的星球的名字，所以我們希望這樣的方案和芯片出來之后可以快速和穩定，在各個行業可以進行使用。

芯片的設計的幾個考量維度：性能、功耗、集成度和成本

我們從幾個維度考慮芯片的設計，首先是性能。通用的芯片都是用 CPU 做運算。我們首先要考慮到語音信號的處理，所以還選擇集成 DSP 的芯片，處理語音算法會有一個數量級的提升，用比較小的空間就可以做更多的事情。我們現在的 ASR 或者 NLP 都是使用深度學習、神經網絡的算法，因為 CPU 運算會非常低效，所以我們定制了 NPU ，可以提高 30！50 倍的效果，我們用異構的架構提升性能，而不是單純用 CPU 來算復雜的算法。

第二個比較重要的是功耗。剛才說了，用通用芯片來做喚醒功能，可能需要兩個大核綁定來運算，造成整個功耗沒有辦法下來，所以定義這個芯片的時候，我們會考慮到功耗方面針對智能音箱的優化，比如我們加入硬件 VAD 的功能，它的作用就是有語音的時候就把系統喚醒喚醒，沒有語音的時候系VAD統在睡眠狀態，大部分情況下不工作，可以省電，而通用芯片會可能就會一直在工作。我們會針對智能音箱產品的特點，我們會劃分出幾個不同功率管理的模塊，比如喚醒模塊，只需要用的 MCU加一個小型的 NPU 就可以完成工作，所以喚醒的時候并不需要把 CPU 全部打開，整個系統的功耗可以做到非常低。

再一個考慮的是集成度。比如之前的通用芯片不能支持多路麥克風的接入，最早的產品我們還用了 CPID 對音頻信號進行合成，現在的芯片支持多路麥克風輸入和模擬麥克風輸入，就不需要外部芯片來做，為了體積和面積的減少，我們集成了 Audio Codec、DDR，如果做模組，整個面積會非常非常小。

KAMINO 18 芯片的主要特點

它是 SoC 的芯片，我們用了 NPU、DSP 和 CPU 異構的計算，會支持 TensorFlow 等通用模型，我們也支持擴展的私有算法，直接對 NPU 進行操作，比如 TensorFlow 為了通用性的，數據搬運流程非常復雜，我們在上面做了很多優化，所以我們的效率會提高非常多。

軟件方面集成了很多先進的算法，我們支持 CTC 的模型，這是端到端的聲學模型。它的好處，一是可以支持離線的識別，不需要連上網絡也可以做一些指令控制家電和故事機等等；二是支持自定義的喚醒詞，尤其是對便攜式、個性化的產品特別特別重要，可能會做出一些個性化的產品出來。

另外由于它有 DSP，所以我們可以做更復雜、更強大的算法，我們叫相控陣麥克風技術。以前算力不夠的情況下，針對空間的音源，我們會用輪詢的方式在 360 度的空間里面運算，但是這樣會有滯后性。我們的 DSP 和 NPU 比較強大，可以同時監聽 12 路方向，根據聲音的強度和頻譜的特點選出 4 路或者 8 路聲音做實時追蹤，還可以做定向語音接收的增強，然后把這些數據導入到 NPU 里面，實時判斷是不是需要被喚醒的方向。這也是芯片運算能力強大之后才能做這樣的算法。

我們現在一方面是我們自己的產品會用自己的芯片做量產，因為有成本優勢和技術上面的突破。我們還有一些其他的客戶，包括內容提供商、家電公司、互聯網公司，他們可能做兒童教育或者各種各樣的產品，已經在用我們的芯片來做，已經可以實現百萬級量產。

- 媒體對話芯片廠商 -

對談嘉賓：
周軍 / Rokid 副總裁及基礎平臺負責人
炫姐姐 / 深圳灣

炫姐姐：從三星加入 Rokid 這樣一家創業公司之后整體的感受有什么變化？

周軍：變化還是蠻大的，因為三星屬于循規蹈矩的大公司，有規范的流程，也很好，但是 Rokid 屬于創業的公司，更加有激情。我們公司有幾個核心價值觀，其中一個是自我驅動，所以大家都是比較努力干活和追求極致的。我們還講究玩的精神，我們不僅僅是做產品，也在探索新的技術，也會有很多新東西讓大家一起玩，有很多新的技術大家一起探索。「玩」的精神也是我們其中一個核心的價值觀。

炫姐姐：您現在負責的工作是整體架構，您在開始負責這塊工作之后為 Rokid 帶來了哪些方面的優化？

周軍：之前 Rokid 基本上還是產品導向，做產品的開發，代碼架構也是按照這樣的方式管理，但是客戶和產品比較多之后，這個模式會遇到瓶頸，比如某個項目中發生的問題解決掉，但是不能反饋到其他客戶或者其他項目，所以一個大的改變是以平臺為主導，一個客戶、一個項目出現的問題會很快反饋到其他項目，我們平臺會越來越穩定，會支持更多客戶、更多項目，這是比較大的變化。