侦探小说速度22.3倍提升，北航、字节跳动提出二值化关键字识别模型

>是标准偏差。所致 [Martinez et al., 2020] 的启发，该研究课题最小化了来自的校内的

和单独来自校内的隐蔽层构造

中间的注意力烘烤人员伤亡，透露为：

其中都

透露第

个块，

是 L2 范数。

后面的 HED 计划使二值化校内网络平台易于来进行时务实的同类型可用性透露中都的概念上文档并大大提高可用性。

2.2 TBA —— 可简化二值骨架

该研究课题提出批评了一种用做 KWS 的 Thinnable Binarization Architecture (TBA)，它可以在运行时并不需要很强来得少层的来得薄数学方法，从而单独缩减推算消耗。该研究课题把包含 N 个块

的概念上二值化指令集的整个结合体网络平台

透露为：

其中都

分别是二值化网络平台和

二值化 D-FSMN 块，

是网络平台的读写。

形成的 TBA 骨架可以表述为：

其中都

是所选层的每隔，也就是说仅极少于可整除 N。每个可简化块

可以表述为：

可简化网络平台指令集将通过用恒等线性替换中都间块来跳过每个

层的中都间块， 下图显示了该研究课题的可简化二值化指令集的假定。

此外，该研究课题还共享了

的实例，可视。

为了简化同意的 TBA 的二值化感知特训，该研究课题改用确立层映射策略来来得好地对齐和学习 HED 中都的透露：

来自不同分支的梯度在反向传播流程中都累积以共同来得新值。根据可简化指令集中都的增压，基准人员伤亡可以推算为：

其中都

透露

的对角熵人员伤亡，

是遏制烘烤负面影响的激匹配。

2.3 FBCK —— 用做高效显卡协同不作战的慢速按位推算多线程

为了在推算能源极少的破碎电子元件上高效协同不作战，该研究课题通过新的命令和内存分配策略来得进一步简化 1 位推算，以慢速破碎电子元件上广泛适用的 ARMv8-A 指令集的解答。该研究课题称之为慢速按位推算多线程 (FBCK)。

根据 ARMv8 指令集上的内存适用量，该研究课题首先将多线程中都的内存平均分配为五个北区，以大大提高内存来进行时率并缩减内存迁走：北区 A 有四个内存（内存 v0 除外）用做一个读写（值 / 激活)，B 有两个用做另一个读写，C 有 8 个用做 EOR 和 CNT 的中都间结果，D 有 8 个用做一个反向中都的输出，E 有 8 个用做之后结果。每个读写都自带为 INT16。A 中都的每个内存加载一个读写并重复 8 次，而 B 中都的每个内存加载 8 个不同的读写。该研究课题先对 A 和 B 的一个内存进行时 EOR 和 CNT，获取 32 个 INT8 结果到中都间北区 C，然后执行 ADD 将 INT8 相乘到 D，对 B 的另一个内存做正因如此的事。经过 16 次反向，最后，该研究课题适用长命令 ADALP 将加载在 D 中都的 INT8 样本会有一个 INT16 内存（在 E 中都），它将 INT8 样本扩展为双倍宽度。FBCK 在推算流程中都充分来进行时了内存，大部分没有空闲位。

3. 试验

在本章，该研究课题从应为可用性、概念推算、协同不作战可用性等取向对 BiFSMN 进行时同类型面评估。实试验者明，BiFSMN 在各个方面大幅抛离整体的二值人工智慧平台，并展现了在实际协同不作战场景下的娴熟潜力。

3.1 对比试验者

该研究课题首先进行时复元研究课题，以调查所提出批评的高频减弱烘烤 (HED) 和可简化二值化指令集 (TBA)在 D-FSMN 上对 Speech Commands V1-12 和 Speech Commands V2-12 KWS 特殊任务的负面影响，之外高频减弱烘烤 (HED) 和可简化二值化指令集 (TBA)。

表 1 中都结果表明，一般而言二值化弧分析方法在两个样本密集都再次出现了显著的可用性增高。朴素的烘烤计划 Distill 有利于大大提高概念上 D-FSMN 指令集的可用性，而 HED 的系统设计大大提高了基于烘烤的可用性。联合行动适用 HED 和 TBA 来得进一步增大了二值化数学方法和同类型可用性数学方法中间的生存率差距，之后使得在这两个样本集上的生存率均少于 3%。

其次将 BiFSMN 与整体的骨架相关联二值化分析方法进行时比较，之外 BNN [Courbariaux et al., 2016]、DoReFa [Zhou et al., 2016]、XNOR [Rastegari et al., 2016]、Bi-Real [Liu et al., 2018]、IR-Net [Qin et al., 2020] 和 RAD [Ding et al., 2019]。

表 2 中都结果表明，该研究课题的 1 位 BiFSMN 完同类型优于其他 SOTA 二值化分析方法。值得注意的是，BiFSMN在两个样本集上的平均生存率增高仅有为4%，并远激其他二值化分析方法。

其次，为了从指令集的取向试验者 TBA 的压倒性，该研究课题还将其与 KWS 中都广泛适用的各种网络平台进行时了比较，之外 FSMN [Zhang et al., 2015]、VGG190 [Simonyan and Zisserman, 2014]、BCResNet [Kim et al.，2021] 和 Audiomer [Sahu al.，2021]。该研究课题适用 XNOR 和 IR-Net 对这些指令集进行时二值化。

表 3 表明， HED 一般而言可系统设计做基于类似 FSMN 的指令集，并对二值化数学方法可用性造成负面影响。此外，备有 TBA 的 BiFSMN 可以来得进一步在运行时在可用性和稳定性中间获取平衡。例如，来得薄的版本 BiFSMN0.5× with 4 blocks 和 BiFSMN0.25× with 2 blocks 甚至在 Speech Commands V1-12 特殊任务上充分利用了 23.8× 和 28.8× FLOPs 耗用，而不牺牲可用性（仅有增高 0.16% 和 0.13%）。该研究课题来得进一步修剪数学方法宽度并共享一个非常大的 BiFSMNS（很强 32 个结合体内存大小和 64 个隐蔽大小），只有 0.05M 匹配和 9.16M FLOP，证明该研究课题的分析方法在微型网络平台上也能很好地工不作。

3.2 协同不作战稳定性

除了解答可用性与概念推算可用性，在其本质世界的破碎电子元件上运行时，KWS 特殊任务对于偏高内存迁走和慢速短每隔时间内响应很强盼望需要。为了试验者 BiFSMN 的实际协同不作战稳定性，该研究课题在 1.2GHz 64 位 ARMv8 CPU Cortex-A53 的 Raspberry Pi 3B + 上测试了 BiFSMN 的实际速度。

如图 5 所示，由于提出批评了简化的 1 位慢速按位推算多线程， BiFSMN 与同类型可用性对应物相比共享了 10.9 倍的角速度。它也比整体的开源高可用性二值化框架（如 daBNN 和 Bolt）快得多。此外，所致益于可简化指令集，BiFSMN 可以根据电子元件上的能源二阶地平衡运行时的可用性和稳定性，读取到

分别产生了 15.5× 和 22.3× 慢速。这表明 BiFSMN 可以在实际解答中都考虑到不同的能源实质上。

请注意

[Meyer, 1992] Yves Meyer. Wavelets and Operators: Volume 1. Cambridge university press, 1992. [Rosso et al., 2001] Osvaldo A Rosso, Susana Blanco, Juliana Yordanova, Vasil Kolev, Alejandra Figliola, Martin Schurmann, and Erol Bas¸ar. Wavelet entropy: a new tool ¨ for analysis of short duration brain electrical signals. J. Neurosci. Methods, 2001. [Martinez et al., 2020] Brais Martinez, Jing Yang, Adrian Bulat, and Georgios Tzimiropoulos. Training binary neural networks with real-to-binary convolutions. In ICLR, 2020. [Courbariaux et al., 2016] Matthieu Courbariaux, Itay Hubara, Daniel Soudry, Ran El-Yaniv, and Yoshua Bengio. Binarized neural networks: Training deep neural networks with weights and activations constrained to+ 1 or-1. arXiv, 2016. [Zhou et al., 2016] Shuchang Zhou, Yuxin Wu, Zekun Ni, Xinyu Zhou, He Wen, and Yuheng Zou. Dorefa-net: Training low bitwidth convolutional neural networks with low bitwidth gradients. arXiv, abs/1606.06160, 2016. [Rastegari et al., 2016] Mohammad Rastegari, Vicente Ordonez, Joseph Redmon, and Ali Farhadi. Xnor-net: Imagenet classification using binary convolutional neural networks. In ECCV, 2016. [Liu et al., 2018] Zechun Liu, Baoyuan Wu, Wenhan Luo, Xin Yang, Wei Liu, and Kwang-Ting Cheng. Bi-real net: Enhancing the performance of 1-bit cnns with improved representational capability and advanced training algorithm. In ECCV, 2018. [Qin et al., 2020] Haotong Qin, Ruihao Gong, Xianglong Liu, Mingzhu Shen, Ziran Wei, Fengwei Yu, and Jingkuan Song. Forward and backward information retention for accurate binary neural networks. In CVPR, 2020. [Ding et al., 2019] Ruizhou Ding, Ting-Wu Chin, Zeye Liu, and Diana Marculescu. Regularizing activation distribution for training binarized deep networks. In CVPR, 2019.。

爱丽滴眼液和海露有什么区别
广州肿瘤医院哪个好
郑州看妇科的专业医院
北京妇科专科医院哪家好
成都看白癜风哪个医院比较好