-pink.svg){kind=icon}
简体中文 | English | 启智OpenI | github
注：项目会第一时间在OpenI启智社区首发，其余平台保持同步。
求求了，点个Star
吧
- 因项目不断扩大，将本Smart_container项目架构拆分为组织架构，并计划拓展边界，您可以移步至ColugoMum进行查看；
- 提供基于PPLCNET骨干网络的端侧级RP2K预训练模型，精度达96.91%；
- 提供图像识别教程，并提供在线实训环境方便开发者进行训练调优。此教程也已收录于飞桨产业实践范例库；
- 已经提供基于PPLCNETV2的端侧级模型，即将提供基于PPHGNET的服务端模型，以及相关推理模型。敬请期待；
- 欢迎感兴趣的开发者加入RP2K的打榜活动！
- 项目部署文档：发布项目部署文档Demo版，便于开发者能更快部署本项目进行体验；
- 发布训练代码：发布模型训练代码及实验结果，以便开发者进行适应性调参工作；
- 代码bug修复： Pipeline部署方式下检索库更新后需重启服务；
- 精度大幅提升：自采集数据集测试精度高达99.10%；
- 文档全面升级：Logo全面更新，提供PP-ShiTu模型训练及部署详细文档；
- 部署方式优化：预测速度提升65%，基于CPU整体流程控制在0.9s左右.
目前在零售行业的实际运营过程中，会产生巨大的人力成本，例如导购、保洁、结算等，而其中，尤其需要花费大量的人力成本和时间成本在识别商品并对其进行价格结算的过程中，并且在此过程中，顾客也因此而需要排队等待。这样一来零售行业人力成本较大、工作效率极低，二来也使得顾客的购物体验下降。
随着计算机视觉技术的发展，以及无人化、自动化超市运营理念的提出，利用图像识别技术及目标检测技术实现产品的自动识别及自动化结算的需求呼之欲出，即自动结账系统（Automatic checkout, ACO）。基于计算机视觉的自动结账系统能有效降低零售行业的运营成本，提高顾客结账效率，从而进一步提升用户在购物过程中的体验感与幸福感。
袋鼯麻麻——智能零售结算平台致力于为大型线下零售体验店提供基于视觉的零售结算方案。
- 结算效率要求极高：在大型线下零售体验店购物场景中，若顾客购买的商品较多，采用传统的条形码结算，效率较低，顾客购物体验较差；
- 品类更新极快：像新零售这种行业，新品几乎都是按小时级别在更新，每增加新的产品都要辛辛苦苦重新训练模型，仅靠单一模型想要跟上步伐，着实望尘莫及；
- 不同商品相似度极高：比如同一种饮料的不同口味，就很可能拥有非常类似的包装。而且即便对于同一件商品，在不同情况下所获得的商品图像都往往存在相当大的差异；
- 商品类别数以万计：根本没法事先把所有类别都放入训练集。
“袋鼯麻麻——智能零售结算平台”具体实现在零售过程中对用户购买商品的自动结算。即：利用PaddleClas团队开源的图像识别PP-ShiTu技术，精准地定位顾客购买的商品，并进行智能化、自动化的价格结算。当顾客将自己选购的商品放置在制定区域内时，“袋鼯麻麻——智能零售结算平台”能够精准地定位识别每一个商品，并且能够返回完整的购物清单及顾客应付的实际商品总价格。而当系统有新商品增加时，本系统只需更新检索库即可，无需重新训练模型。
本项目为轻量级通用图像识别系统PP-ShiTu提供了扎实的落地应用案例，对新零售行业中无人零售视觉化智能解决方案提供了非常好的基础和思路，尤其针对解决多类别、小样本、高相似和更新频繁的特殊图像识别场景痛难点提供了可参考的示范，极大地降低零售行业实际运营过程中巨大的人力成本，提升零售行业无人化、自动化、智能化水平。
袋鼯麻麻——智能零售结算平台 基于PaddleClas作为主要的功能开发套件，利用其开源的PP-ShiTu进行核心功能的开发，并通过PaddleInference将其部署于Jetson Nano，并基于QPT打包.exe打通Windows系统，开发一套符合实际应用需求的工业级智能零售结算平台。
PP-ShiTu是一个实用的轻量级通用图像识别系统，主要由主体检测、特征学习和向量检索三个模块组成。该系统从骨干网络选择和调整、损失函数的选择、数据增强、学习率变换策略、正则化参数选择、预训练模型使用以及模型裁剪量化8个方面，采用多种策略，对各个模块的模型进行优化，最终得到在CPU上仅0.2s即可完成10w+库的图像识别的系统。
整个图像识别系统分为三步（详情见PP-ShiTu训练模块）：
（1）通过一个目标检测模型，检测图像物体候选区域；
（2）对每个候选区域进行特征提取；
（3）与检索库中图像进行特征匹配，提取识别结果。
对于新的未知类别，无需重新训练模型，只需要在检索库补入该类别图像，重新建立检索库，就可以识别该类别。
【The first one】:Products-10K Large Scale Product Recognition Dataset
【The second one】:RP2K: A Large-Scale Retail Product Dataset for Fine-Grained Image Classification
袋鼯麻麻——智能购物平台基于上述两个数据集，结合爬虫，对此两种数据集进行适应性处理。
东古酱油一品鲜
东古黄豆酱750G
东鹏特饮罐装
中华（硬）
中华（软）
乳酸菌600亿_2
乳酸菌600亿_3
乳酸菌600亿原味
乳酸菌600亿芒果
乳酸菌600亿芦荟
...
目前处理后的数据集已在AIStudio开源。
| model | num epoch | batch size/gpu cards | learning rate | use cutout | use ssld | top1 recall | 配置文件 |
|---|---|---|---|---|---|---|---|
| PP_LCNet_x2_5 | 400 | 256/4 | 0.01 | N | N | 98.189% | 配置文件 |
| PP_LCNet_x2_5 | 400 | 256/4 | 0.01 | Y | N | 98.21% | 配置文件 |
| PP_LCNet_x2_5 | 400 | 256/4 | 0.005 | N | N | 98.201% | 配置文件 |
| PP_LCNet_x2_5 | 400 | 256/4 | 0.005 | Y | N | 98.29% | 配置文件 |
| PP_LCNet_x2_5 | 400 | 256/4 | 0.001 | Y | N | 98.26% | 配置文件 |
| PP_LCNet_x2_5 | 400 | 64/4 | 0.005 | Y | Y | 98.30% | 配置文件 |
| PP_LCNet_x2_5 | 400 | 64/4 | 0.0025 | Y | Y | 98.37% | 配置文件 |
| PP_LCNet_x2_5 | 400 | 64/4 | 0.002 | N | Y | 98.38% | 配置文件 |
| PP_LCNet_x2_5 | 400 | 64/4 | 0.002 | Y | Y | 98.39% | 配置文件 |
注:
- 本实验均基于 GPU:Tesla V100* 4; CPU:Inter Xeon* 32; RAM:DDR4 128GB 进行训练并测试；
- 本实验均基于上述零售商品特征学习数据集进行训练和测试;
- 即将对RP2K等大型零售商品开源数据集进行评测。
本项目已打通Jetson Nano、Windows、linux系统
-
Windows 端
[本项目提供了较为简单的demo演示版本]使用QPT打包
链接：https://pan.baidu.com/s/194ApbJuDJWyV7tv5sCaGsg 提取码：wy7i解压后运行启动程序.exe即可
-
Linux 端
Download本项目代码后，进入client文件夹内，执行以下代码即可运行：python client.py -
图像识别部分部署详情请见PP-ShiTu部署
-
微信小程序端 打开微信开发者工具，导入系统文件夹下AIContainer文件夹并运行，即可运行小程序端；
💃bilibili效果演示💃
-
主界面
-
端侧界面
- 小程序界面
- 大数据可视化分析界面
| 序号 | 完成度 | 优先级 | 分属类别 | 功能描述 |
|---|---|---|---|---|
| 1 | 已完成 | ★★★★★ | 小程序 | |
| 2 | 在做了 | ★★★★★ | 小程序 | 初始功能上线 |
| 3 | 已完成 | ★★★★★ | 端侧 | |
| 4 | 规划中 | ★★★★ | 小程序 | 面向管理者及顾客的功能分离 |
| 5 | 已完成 | ★★★★ | web | |
| 6 | 规划中 | ★★★ | 小程序 | 接入PaddleOCR实现商品名称的自动录入 |
| 7 | 规划中 | ★★ | APP | Android and IOS 客户端的打通部署 |
| 职责 | 名单 |
|---|---|
| PM | 颜鑫 |
| 算法 | 颜鑫 |
| 端侧前端 | 颜鑫 |
| 小程序前端 | 沈晨 |
| 后端 | 杜旭东 |
一杯咖啡提神醒脑，产品更新会更快更好！
- PaddleClas 提供了图像识别核心功能开发；
- QPT打包工具 提供了Windows端.exe打包；
- jkfx 修复了一些bug；
- 17635703590 提供项目部署文档.
我们非常欢迎您为"袋鼯麻麻——智能零售结算平台"贡献代码或者提供使用建议。无论您是提出存在bug、修复某个bug或者增加一个新功能，欢迎给我们提交Issue or Pull Requests。
@INPROCEEDINGS{9851085,
author={Yan, Xin and Hu, QingChun and Huang, XiaoYue and Shen, Chen},
booktitle={2022 4th International Conference on Communications, Information System and Computer Engineering (CISCE)},
title={Intelligent Retail Settlement Platform based on Image Retrieval},
year={2022},
pages={609-616},
doi={10.1109/CISCE55963.2022.9851085}}
@software{Xin_Yan_ColugoMum,
author = {Xin Yan, Xin Yan and Chen Shen, Chen Shen and XuDong Du, XuDong Du},
title = {{ColugoMum}}
}