继华为旷视之后，腾讯优图开源人脸识别底层技术，意欲何为？

    【CPS中安网 cps.com.cn】6月10日，腾讯优图团队开源了全新升级的轻量级深度学习前端推理框架TNN，通过底层技术优化实现在多个不同平台的轻量部署落地，性能优异、简单易用。

　　开源助力底层技术发展

　　作为腾讯旗下顶级AI实验室，腾讯优图长期致力于AI基础设施的研发和推进。

　　此前，腾讯优图已开发了 Rapidnet 前向计算框架、RapidAIoT 边缘计算框架，实现了业界首个专注移动端的推断框架 ncnn 的开源，并在业界受到广泛推崇。

　　从2017年开源至今，ncnn在GitHub上的star(8.9k)数和fork(2.3k)数均领先于其它推理框架。

　　据悉，TNN已于3月中旬在腾讯内部开源，为腾讯QQ、QQ空间、腾讯微视、腾讯云、天天P图等多款产品和服务持续提供技术能力，释放出更多效能。

TNN框架结构图

　　TNN框架特性总结：

　　TNN采用统一的ONNX模型作为中转，兼容各大框架，这也反映出业界对于ONNX模型的中转方式的认可和推动；

　　TNN支持FP16和int8的量化；

　　TNN支持计算图的优化，至于具体采用了何种优化模式进行优化，还需要进一步深入代码了解；

　　TNN通过抽象化的kernel接口使得算子可以跑在不同的硬件平台之上，支持ARM，GPU，NPU等计算。

　　另外，根据TNN官方的描述，它还具有优点：

　　通过ONNX支持TensorFlow，PyTorch，MXNet，Caffe等多种训练框架，充分利用和融入不断完善的ONNX开源生态。当前支持ONNX算子55个，近期会完善到约80个，覆盖主流CNN网络；

　　支持主流安卓、iOS、Embedded Linux 操作系统，支持ARM CPU，GPU硬件平台（近期还会加入达芬奇 NPU 支持）；

　　模块化设计，将模型解析、计算图构建、优化、底层硬件适配、高性能kernel实现各部分抽象隔离，通过Factory Mode注册、构建设备，方便接入更多的底层硬件、加速方案；

　　Runtime无任何第三方库依赖，CPU动态库尺寸仅约400KB，并提供基础图像变换操作，调用简单便捷。跨平台模型统一、调用接口统一，通过单个配置参数快速切换。

　　轻量级部署，TNN助力深度学习提速增效

　　深度学习对算力的巨大需求一直制约着其更广泛的落地，尤其是在移动端，由于手机处理器性能弱、算力无法多机拓展、运算耗时长等因素常常导致发热和高功耗，直接影响到app等应用的用户体验。

　　针对这些问题，优图团队对TNN框架做出了三类主要优化：

　　❶‍ 计算优化

　　针对不同架构在硬件指令发射、吞吐、延迟、缓存带宽、缓存延迟、寄存器数量等特点，深度优化底层算子，极致利用硬件算力；

　　主流硬件平台(CPU: ARMv7，ARMv8，GPU: Mali，Adreno， Apple) 深度调优；

　　CNN核心卷积运算通过Winograd，Tile-GEMM，Direct Conv等多种算法实现，保证不同参数、计算尺度下高效计算；

　　Op融合：离线分析网络计算图，多个小Op（计算量小、功能较简单）融合运算，减少反复内存读取、kernel 启动等开销。

　　❷‍低精度优化

　　支持INT8，FP16低精度计算，减少模型大小、内存消耗，同时利用硬件低精度计算指令加速计算；

　　支持INT8 Winograd算法，(输入6bit)，在精度满足要求的情况下，进一步降低模型计算复杂度；

　　支持单模型多种精度混合计算，加速计算同时保证模型精度。

　　❸‍ 内存优化

　　高效”内存池”实现：通过 DAG 网络计算图分析，实现无计算依赖的节点间复用内存，降低 90% 内存资源消耗；

　　跨模型内存复用：支持外部实时指定用于网络内存，实现“多个模型，单份内存”。

　　腾讯优图基于自身在深度学习方面的技术积累，并借鉴业内主流框架优点，推出了针对手机端的高性能、轻量级移动端推理框架TNN。

　　TNN在设计之初便将移动端高性能融入核心理念，对2017年开源的ncnn框架进行了重构升级。通过GPU深度调优、ARMSIMD深入汇编指令调优、低精度计算等技术手段，在性能上取得了进一步提升。

　　目前TNN框架在腾讯QQ、腾讯微视、天天P图等应用中的落地，也获得了广泛的好评。优图团队的框架开源，显示出腾讯在推动底层技术革新和拥抱开源文化的态度。

　　近期，继旷视天元Brain++，华为MindSpore框架后，腾讯也开源了其深度学习推理框架。

　　目前人工智能技术的火热发展，离不开作为基础设施的深度学习组件、框架的积累。

　　在开源文化兴起的大环境下，头部企业对于底层框架的开源，将带动整个行业对底层技术的关注和投入，从而更好地推动人工智能技术地发展与升级。 

声明:

凡文章来源标注为"CPS中安网"的文章版权均为本站所有，如需转载请务必注明出处为"CPS中安网"，违反者本网将追究相关法律责任。非本网作品均来自互联网并标明了来源，如出现侵权行为，请立即与我们联系，待核实后，我们将立即删除，并向您致歉。