发布时间：2021-11-11
自组织反向传播（SBP）机制可以在降低计算能耗的同时不损失精度。图片来源：unsplash
云计算、大数据、人工智能等技术的快速发展和广泛应用，让这些领域成了“电老虎”。新思界产业研究中心《2021年全球及中国数据中心加速器产业深度研究报告》预测，到2025年，仅全球数据中心消耗的电能就将占全球总发电量的五分之一。
近日，中科院脑智卓越中心研究员徐波、蒲慕明院士联合研究团队在线发表于《科学进展》的研究，利用介观尺度自组织反向传播（SBP）机制，在更高效率、更灵活的类脑局部学习方面取得了重要进展。该技术能在机器学习过程中，降低计算能耗的同时又不损失精度，让这些“电老虎”可以少吃多干。
能耗的瓶颈
人工智能在某些领域表现出巨大的优势，比如，AlphaGo 完胜人类世界围棋冠军；在电子游戏竞技中，AlphaStar以10：1的总比分“狂虐”职业玩家。
近年来，随着数据量越来越大、算力越来越强、大规模预训练模型对能源的要求也越来越高。据伦敦大学学院教授David Attwell团队通过对单个神经元耗能进行计算，发现整个大脑的能耗约16.6瓦。对于人体而言，大脑只需要不到20瓦的功率就可以应对复杂思考任务。与之相比，战胜柯洁的AlphaGo，耗电量相当于12760个人类大脑。
“预训练模型的参数提高以后，人工智能的性能确实更强了，但能耗问题也不容忽视。”该论文第一作者、中国科学院自动化所副研究员张铁林对《中国科学报》说，“研究者普遍认为，人工智能的表现还应更好一些。比如，进行同样运算而消耗更少的能源。”
模拟人类大脑运行过程是人工智能的一个重要途径，在人工智能研究领域，目前神经网络中被广泛使用的反向传播算法（BP）采用全局优化策略。这种端到端的学习方法性能卓越，但学习过程能量消耗大，缺乏灵活性。
“在精度不受影响的前提下，降低能耗是我们的研究目的之一。”徐波告诉《中国科学报》，“现在包括人工智能大模型在内的很多算法也远未达到人脑的参数量。而大脑维持这么多神经元运算，却是非常节能的。如果我们在算法设计之初，让机器能像人那样去学习，也许模型不必那么庞大，学习训练的时候也不会那么耗电。”
向大脑学习
“我们想借用一些生物学领域取得的进展，弄清楚大脑是怎么在低能耗的情况下高效学习的。”张铁林说，“所以蒲慕明老师给徐波老师团队推荐了很多算法，并保持着深度合作。”
1997年，蒲慕明团队在《自然》杂志发表论文，揭示了海马体内神经元可以将长时程抑制（LTD）可塑性自组织地传播到三个方向，分别是突触前侧向传播、突触后侧向传播和反向传播，这个发现就是SBP。
进一步的研究证实，SBP现象具有普遍性，不仅覆盖更多的神经区域如视网膜—顶盖系统，还覆盖更多的可塑性类型，如长时程增强。该机制的形成归结于生物神经元内分子调制信号的天然逆向传递，被认为是可能导致生物神经网络高效反馈学习的关键。
研究团队受到该机制的启发，对SBP的反向传播方向（第三个方向）单独构建数学模型，重点描述了神经元输出突触的可塑性能够反向传播到输入突触中，可塑性的发生可以通过时序依赖突触可塑性，也可以通过人工局部梯度调节。在标准三层脉冲神经网络（SNN）的学习过程中，SBP机制可以自组织地完成前一层网络权重的学习，并可以结合短时突触可塑性、膜电位平衡等，形成更强大的SNN组合学习方法。
由于涉及前沿生物技术，有很多生物机制计算机验证起来非常困难。
“蒲老师讲完这一机制，我们读相关论文时还觉得这项工作并不复杂。”张铁林说，“但真正应用到模型上却困难重重、一筹莫展。”
张铁林等人是计算机领域的，生物领域论文对他们来说比较难，“很多时候并不完全懂”。而且，大脑中有多个关联机制，要不要跟SBP结合、怎么结合、神经元的突触往前传多少、传给谁、有没有倾向性，这些问题都没有答案，感觉“有很多缺失的信息需要去补充”。
没有标准答案，研究人员只能先结合网络情况进行论证分析，再设置一个可优化的参数，用一些特殊的方法构建“能量函数”来约束一些变量，然后把这个机制放到脉冲网络里去验证。
然而，经过多次尝试，结果却并不理想。他们只好回过头来重新认识“生物学规则”。随着学习的深入，蒲慕明建议他们做一些小实验来模仿类似生物的小网络。慢慢的，这种机制逐步明确起来。
“从科研角度来讲，要先做减法，把它的重要性弄清楚、体现出来，后面再做加法，加更多的机制、变量和条件。”张铁林说，“目前我们只是在一些标准的简单模型上进行了验证。因为如果模型太复杂，会说不清楚SBP在其中到底贡献了什么。下一步我们会在更大规模的模型上进行验证。”
研究团队针对性地提出一种统计训练过程中能量消耗的新方法。在图片分类、语音识别、动态手势识别等多类标准数据集上，SBP机制通过组合其它可塑性机制，实现了更低能耗和更高精度的SNN局部学习。在一些人工网络的学习中，SBP机制也可以大量替换BP机制实现全局和局部交叉学习，在降低计算能耗的同时不损失精度。
“自组织”的优势
“生物智能计算的本质，很可能就是灵活融合多类微观、介观等可塑性机制的自组织局部学习，结合遗传演化赋予的远程投射网络结构，达到高效的全局优化学习效果。”蒲慕明告诉《中国科学报》，“该工作可以进一步引导生物和人工网络的深度融合，最终实现能效比高、可解释性强、灵活度高的新一代人工智能模型。”
目前，反向传播机制已经是一种优化的结果，作为一种标准模型，它基本上覆盖了脉冲和人工网络模型，效果也不错。
“但其能耗和学习效率方面，还可以再优化一些，从各个尺度上再提升一下。”张铁林说，“我们在训练时，也采取混合式的训练方法，一部分采用BP方法，一部分采用SBP方法。”
研究人员认为，SBP是一类介观尺度的特殊生物可塑性机制，具有自平衡、自组织、可传播等特点，因此在神经网络学习中展示出较好的组合优化优势。
“人工的反向传播算法靠整体目标函数驱动，每次计算时既慢又耗能，特别是在网络比较大的时候，问题就更明显了。”张铁林说，“如果一个算法是自组织的，它就可以像大脑一样无监督学习，可以进行局部运算，就比较节能了。”
目前，该团队已经在一些小型、浅层的人工网络上做过测试。结果表明，最好的时候，其可以在保持原来性能的基础上，把能耗降到原来的21%左右。
“比如，原来需要100块GPU去训练，现在只需要21块就够了。”张铁林说，“这在进行大模型训练的时候就比较重要了。”
SBP只是一个开始，它对进一步深入探索类脑局部计算具有很大的启示。
“将来还有很多和脑智卓越中心生物科学团队的交叉合作研究。”徐波说，“相信人工智能领域未来还有很大的进步空间，这些受生物启发的学习法则可以帮助人们更好地填补这些空白。”
附件下载： 
