用安卓手机解锁目标检测模型YOLOv5,识别速度不过几十毫秒

新闻 2021-12-07 丰色
433

可下载试玩

现在,目标检测界明星模型YOLO,最新v5版本也可以在手机上玩儿了!

瞧~只需要区区几十毫秒,桌上的东西就全被检测出来了:

这速度似乎不比电脑差?

想要亲手搭建一个?上教程。

在安卓手机上部署YOLOv5

更确切的说是YOLOv5s

YOLOv5于2020年5月发布,最大的特点就是模型小,速度快,所以能很好的应用在移动端。

而且其实最开始YOLOv5就是作为一款对图像进行检测、分类和定位的iOS端APP进入人们的视野,而且APP还是由YOLOv5的作者亲自开发。

现在,想要在安卓设备上部署它,你需配备的环境如下:

  • 主机 Ubuntu18.04
  • Docker

Tensorflow 2.4.0
PyTorch 1.7.0
OpenVino 2021.3

  • 安卓APP

Android Studio 4.2.1
minSdkVersion 28
targetSdkVersion 29
TfLite 2.4.0

  • 安卓设备

小米11 (内存 128GB/ RAM 8GB)
操作系统 MUI 12.5.8

然后直接下载作者在GitHub上的项目。

git clone —recursive https://github.com/lp6m/yolov5s_android

使用Docke容器进行主机评估(host evaluation)和模型转换。

cd yolov5s_android docker build ./ -f ./docker/Dockerfile -t yolov5s_android docker run -it —gpus all -v pwd:/workspace yolov5s_anrdoid bash

将app文件夹下的./tflite\u model/*.tflite复制到app/tflite\u yolov5\u test/app/src/main/assets/目录下,就可在Android Studio上构建应用程序。

构建好的程序可以设置输入图像大小、推断精度和模型精度。

如果选择其中的“Open Directory”,检测结果会被保存为coco格式的json文件。

从摄像头进行实时检测模式已将精度和输入图像大小固定为int8/320,该模式在小米11达到的图像帧数为15FPS。

由于本项目是作者参加的一个”Yolov5s Export”竞赛(并且最终得了奖,奖金还是2000美元),所以他也进行了性能评估。

评估包括延时和准确度。

  • 延迟时间

在小米11上测得,不包含预处理/后处理和数据传输的耗时。

结果如下:

不管模型精度是float32还是int8,时间都能控制在250ms以内,连半秒的时间都不到。

△ float32

△ int8

大家可以和YOLOv5在电脑上的性能对比:

  • 准确度

各种模式下的mAP(mean Average Precision)值最高为28.5,最低也有25.5。

最后,详细教程可戳下方链接;如果你只想试玩,作者也在上面提供了安卓安装包

项目地址:

https://github.com/lp6m/yolov5s_android

相关文章