最近开始玩B站了，第一次拍摄Vlog，由于搬家仓促所以其实还有很多工具没有来得及拍，等新家布置完毕了以后可能会再投一篇来介绍，希望对大家有帮助~

目前还只是个小UP，以后会尽量抽空多发视频的，也欢迎大家关注，本博客标题下面有我的主页的跳转链接。

国庆假期造的，废话不多说，直接看视频~

前言

关注我的同学都知道，在搞项目方面我一点也不挑食，有啥玩啥，擅于给自己找麻烦。

由于个人本职工作是搞AI的，在不久之前的一个项目中，我用STM32制作了一个小模块，探讨了一下“推理一个实用神经网络最低需要什么样的算力”这个问题。项目的演示视频如下：

基于Cortex-M的M4CNN模块

在那个项目中，我成功在主频只有不到100MHz，sram只有32K的单片机上推理了一个自己训练的CNN-SLR网络模型，效果甚至还不错。

而这一次我准备来一波反向操作：尽可能用上算力最强的MCU，来看看在上面能跑多复杂的网络，因垂丝汀。

注意，我这里指明了使用的是MCU，所以移动设备上的各种SoC就不在讨论范畴了，要说原因的话，是因为移动端SoC之间的battle过于激烈，这个讨论留作后话，在这一篇里面就暂时按下不表了；另一方面由于二者不在一个价位段，没有可比性。

为了引出本篇要使用的MCU型号，首先我们来讨论一下嵌入式处理器的一个守恒定律，也即 功耗-价格-性能 不可兼得，如下图：

“天下没有免费的处理器”

稍微解释一下上图的话就是，由于物理定律限制我们可以认为：在其他条件一定的情况下，性能和功耗肯定成正比，更强的性能意味着更大的功耗也就会产生跟多的热量；而要想提升性能的同时还能保证功耗不变甚至更低的话，就只能改进芯片的架构或者改进制程工艺，这又会带来成本的提高。因而根据不同应用方向，我们可以选择兼顾其中两者的一些硬件平台：

• 成本低，性能弱，功耗也低：代表是各种单片机如STM32/AVR等。
• 成本低，性能强，但制程不高易发热：代表是各种低端SoC比如全志的H系列。
• 性能强，制程先进，但价格十分不友好，有钱还不一定给卖系列：代表是现在智能手机上使用的各种旗舰SoC，比如高通骁龙/海思麒麟/苹果A系。

那难道真的就没有三者兼得的芯片平台了吗？

其实还真有，本篇的主角K210就勉强算是一个，这也是我这次选择折腾这个项目的主要原因，接下来请听我仔细分析~

K210是个啥

K210是由一家叫做嘉楠的曾经做挖矿芯片的公司在去年推出的一款MCU，其特色在于芯片架构中包含了一个自研的神经网络硬件加速器KPU，可以高性能地进行卷积神经网络运算。

可不要以为MCU的性能就一定比不上高端SoC，至少在AI计算方面，K210的算力其实是相当可观的。根据嘉楠官方的描述，K210的KPU算力有0.8TOPS ，作为对比，拥有128个CUDA单元GPU的英伟达Jetson Nano的算力是0.47TFLOPS （浮点）；而最新的树莓派4只有不到0.1TFLOPS 。

当然了，这个性能跟某些旗舰级别的SoC还是有差距的：A76级别的CPU本身就已经很变态，更何况旗舰SoC上面都会搭载用于AI加速的硬件用于异构运算，比如高通的Hexagon DSP、苹果的Neural Engine、华为的达芬奇架构NPU等等，这些NPU在某些应用下甚至能达到与数百W功耗的桌面级GPU接近的算力（顺便提一下GTX1080Ti的双精度浮点算力是11.3 TFLOPS ），可以说是丧心病狂了。

值得注意的是，芯片的算力不一定和模型推理速度成正比，嵌入式AI的另一个核心是inference框架。对于CPU架构来说，是否使用SIMD（ARM从v7开始就支持NEON指令了）、是否使用多核多线程、是否有高效的卷积实现方式、是否有做汇编优化等等都会极大影响模型运行速度；而对DSP/NPU等硬件架构来说，是否对模型进行量化推理、量化的方式、访存的优化等也会有很大影响。

K210的其他参数如下：

• 双核 64-bit RISC-V RV64IMAFDC (RV64GC) CPU / 400MHz（可超频到600MHz）
• 双精度 FPU
• 8MiB 64bit 片上 SRAM（6MiB通用SRAM+2MiB的AI专用SRAM）
• 神经网络处理器（KPU） / 0.8TFLOPS
• 音频处理器（APU）
• 可编程 IO 阵列 (FPIOA)
• 双硬件512点16位复数FFT
• SPI, I2C, UART, I2S, RTC, PWM, 定时器支持
• AES, SHA256 加速器
• 直接内存存取控制器 (DMAC)

芯片采用BGA144封装，28nm制程工艺，芯片功耗低至0.35W，而成本，只要20RMB。

想一下一块Arduino的板子要多少钱……Arduino的性能和外设在K210面前就是个弟中弟（摊手）。

芯片架构图

那么K210又能做哪些事情呢？

多到让你怀疑它是否真的只是个单片机……人脸检测、物体识别、播放视频、声场成像、3D渲染，甚至还能在上面跑FC模拟器玩游戏……

可以参考下面链接里的视频演示，相信看完你会爱了的：

Maix能做哪些事 · MaixPy 文档maixpy.sipeed.com

好了芯片就吹到这里，下面介绍一下市面上已有的一些K210开发板。

推理一个CNN模型最低需要什么性能的硬件呢？

最近想试试把以前搞嵌入式单片机的一些经验和最近在做的深度学习结合起来，正好前段时间看到新闻说新款iPhone和下一代Pixel似乎都要加入隔空手势识别功能，所以idea就来啦。

为了在Cortex-M的MCU上成功跑起CNN，用的模型是一个不到10层FCN网络，但是即便如此，对于主频只有不到100MHz，SRAM只有不到100K的单片机来说依然是极其吃力的，模型不做量化的话肯定无法做到实时的。

实现细节等有空整理好资料再来详细介绍，先来看看最终效果，整个代码包括量化工具都是纯手撸hardcode，没做成框架，主要是因为，我懒🤫。

2015年本科毕业那个暑假，秉承自娱自乐精神，筹建了这个个人网页。
出于对科技的热爱，出于手痒，也出于分享需求，走上了持续挖坑填坑的不归之旅。
网站部署至今将近3年时间，共发表文章40多篇，发布项目20余个。
学生的时光打马而过，如今研究生阶段又即将迎来尾声，这里谨以这一个项目纪念我过去充实而胡闹的三年😘。

Pico是什么？

Pico算是我的毕业作品吧，虽然跟我的毕业论文研究方向（一点都）不相关😂
我的毕业论文是研究通信算法的。
不过俗话说得好，买卖不成仁义在 ，科研归科研，毕业不瞎搞快乐哪里找？
学生生涯迎来尾声，我feel like急需一个炫酷的作品来安置我积压许久无处安放的创造力😂 所以这个作品，就是我品察生活、大开脑洞、倾力实践之后，耗时5个月时间完成的一个解决个人使用智能音箱痛点的语音助手小机器人。

来看一下最终效果的视频演示

那为什么叫Pico呢？pico是一个数量级单位，也即10^-12（中文叫做皮）。
大家都知道我对小巧精致的东西有着执着的追求😉
以往的作品中mini、nano之类字眼的已经都使用过了，所以这次找到了pico来作为名称。
可真是聪明啊。

按照这个（并不）巧妙的命名套路，相信大家已经可以预见我未来作品中的词汇量了😃 。
其实还有一个更合理的原因，p-i-c-o的发音清脆，音节突出，语音唤醒的成功率会更高，所以拿来做唤醒词实在是坠吼的啦。

“你好，Pico！”