比微软的ryptFlow2还快
博雯 发自 凹非寺
非常AI | 公众号 QbitAI
如何在不查看图片的前提下,几秒之内就识别一张图片?
这个看似在找茬的问题,却是隐私计算领域会真实碰到的问题。
著名的“百万富翁问题”所描述的就是这样的场景:两位富翁如何在不知道对方财富的前提下,比较谁的财富更多?
近年来出现出现的一些方法,比如两方计算网络推理(2PC-NN)可以解决上述问题,但同时又会造成大量的计算成本和通信开销。
但现在,只要2.5分钟,2.3GB的通信费用,就能在ResNet50的基准上进行端到端的执行。
比起现在最好的两方计算网络推理框架,微软的CryptFlow2还要分别高出5.9倍和12.9倍。
目前,这项研究已经被国际四大安全顶会之一的USENIX Security Symposium 2022接收,研究团队来自阿里巴巴。
这也是我国团队首次在USENIX Sec22上发表安全多方计算(MPC)方向的论文,相关代码目前已开源。
如何减少开销?
这是一个叫做猎豹(Cheetah)的新型框架,是一个用于深度神经网络的两方计算网络推理系统。
为了使系统尽量高效,现有的两方计算网络推理框架常常会使用多种类型的加密基元(Cryptographic Primitive)。
比如,DELPHI和CrypTFlow2就会利用同态加密(HE)来评估DNN的线性函数,而猎豹就是这样一种混合系统。
不同的是,在设计基础协议、如何协调不同类型的加密基元上,猎豹进行了新的改进:
- 重新设计了基于同态加密的协议,可在不需要任何轮调操作(Rotation Operation)以的情况下评估线性层(即卷积、批量归一化和完全连接)
- 设计了几个用于非线性函数(如ReLU和Truncation)的更加精简,通信效率更高的基元
开发者将新的线性协议与先进技术进行比较,所有的运行都是用单线程执行,结果是计算速度最高快了20倍,通信成本最低低到2倍:
而在所有的协议和优化都完成时,在大型DNN上运行加密推理,在3分钟内,猎豹就可以评估SqueezeNet、ResNet50和DenseNet121:
放到实际应用上:假如客户甲有一张图片,服务器乙需要对该图片进行AI识别,判断是否含有不合规的内容,但出于隐私保护要求,又不能查看甲的图片本身。
这时,使用微软的ryptFlow2,需要数百秒才能完成一张图片识别。
而猎豹在保证同等的可证明安全前提下,让速度快了5倍,数十秒就能识别。
作者介绍
论文共有两位一作,黄智聪(Zhicong Huang)和Wen-jie Lu。
其中,黄智聪本科毕业于北京大学的计算机科学系,2018年从瑞士洛桑联邦理工学院(EPFL)获得博士学位。
他现在就职于阿里巴巴安全部双子座实验室,负责研究数据保护与共享技术,研究领域包括应用密码学,数据安全与隐私,差分隐私,机器学习,安全计算,同态加密,隔离计算。
论文:
https://eprint.iacr.org/2022/207
开源地址:
https://github.com/Alibaba-Gemini-Lab/OpenCheetah