一种基于计算机视觉的垃圾分类软件的制作方法

本发明涉及一种计算机视觉技术，尤其是一种基于计算机视觉的垃圾分类软件。

背景技术：

随着人民生活水平的不断提高，居民对城镇生活的环境质量要求也不断提高，这需要对城镇环境的整洁程度进行一定的质量把控，仅仅依靠着环卫工人单方面的清洁工作并无法达到一个比较好的状态。这就需要从居民自身出发，不仅仅是提高居民自身的卫生清洁意识，更加需要居民们都参与到每日的环境整治中来，从根源上降低卫生清洁的难度，从而将居民生活环境进行飞跃式的改进。

为了实现这一点，上海等城市首先作为试点城市开始进行居民的日常垃圾管理，通过让居民们参与到日常的生活垃圾分类中来，减轻环卫工人的清洁任务，提高生活垃圾处理的便捷程度。

随着《上海市生活垃圾管理条例》正式开始施行，越来越多的城市开始实施垃圾分类的管理，但对于大多数的城镇居民来说，垃圾分类还是一个熟悉而陌生的理念。很多人知道垃圾分类的概念，但并不知道如何去进行垃圾分类。现在垃圾种类也随着条例的规定趋于多样，并不再仅局限与可回收垃圾和不可回收垃圾，而是分为湿垃圾、干垃圾、有害垃圾和可回收垃圾。同时，垃圾的样式也是多种多样，各自分别对应着不同种类，一时间很难人工做好分类工作。

本发明提出使用计算机视觉技术，建立垃圾分类系统，识别不同样式的垃圾，并得出垃圾所属的种类，从而进行分类指导。用户可以在垃圾分类系统的指导下，较准确地进行垃圾分类工作。

技术实现要素：

发明目的：提供一种基于计算机视觉的垃圾分类软件，以解决上述问题。

技术方案：一种基于计算机视觉的垃圾分类软件，包括移动端图像采集系统、垃圾类别数据系统、垃圾判定识别系统和个性化用户升级系统，利用移动端对垃圾进行拍摄，进一步通过学习模型进行垃圾类别识别，从而完成垃圾分类；

移动端图像采集系统，直接通过移动端的照相功能采集待识别垃圾的图像；

垃圾类别数据系统，前期通过收集大量的垃圾照片进行常用垃圾类别学习，建立垃圾分类识别的学习模型和数据库，利用深度学习模式对垃圾类别数据进行高强度的学习和训练；

垃圾类别判定系统，根据所述垃圾类别数据系统对已拍摄的垃圾照片学习后的结果，与学习模型中的类别进行结果匹配，获得类别结果；

个性化用户升级系统，针对用户习惯性产出的垃圾进行新增门目，从而考虑到不同用户的特殊性，保证垃圾分类的准确性；

所述移动端图像采集系统，用户在移动客户端上安装垃圾分类软件时，需要给与垃圾分类软件一定的操作权限，即垃圾分类软件需要获取移动端的图像使用权限，具体步骤为：

步骤1、使用移动端的图像采集设备，根据用户需求去采集垃圾图像，可以直接访问用户移动端中已经存储的图像或者直接利用拍摄装置进行图像拍摄；

步骤2、将采集到不明垃圾的图像导入垃圾分类系统中的深度学习模型里，与学习模型中的垃圾分类数据进行图像比对；

步骤3、经过深度学习模型中层层计算，最终计算出图像中各部分垃圾分类标签，并将分类标签呈现在之前采集的图像上，此时用户可以根据图像上的标签结果将垃圾正确的进行分类。

根据本发明的一个方面，所述垃圾类别数据系统通过仿照人工神经网络的模式进行垃圾图片分类学习，从而获得对垃圾类别数据的高准确度判断，具体步骤为：

步骤1、收集大量的垃圾类别数据；

步骤11、通过在互联网上收集到的专项垃圾图片构建垃圾类别的数据库，图片搜索方式主要分成：干垃圾、湿垃圾、有害垃圾和可回收垃圾四类；

步骤12、针对每一个种类的垃圾类别，需要进行常用垃圾识别并进行图像学习，具体根据常用网站的垃圾分类识别的前五十种进行图片搜索，保证常用垃圾能够快速获得识别结果；

步骤13、最终学习到的垃圾类别数据由垃圾图像和垃圾图像上的标签两部分组成，标签是对应每张图像的垃圾位置及其类别；

步骤2、将垃圾类别数据进行划分为训练集和测试集，训练集将用于深度学习模型的高强度训练和学习，测试集用于测试深度学习模型学到的垃圾分类能力，并根据测试结果对该模型进一步的优化和更新。

根据本发明的一个方面，所述垃圾类别数据系统需要进行深度学习模型的构建，具体可以分成卷积层、池化层和数据激活层；其中，当获得待分类垃圾的图像后，通过多通道对图像数据的信息进行输入并卷积，卷积层的每个卷积产生一个通道的输出，从而可以得到多个通道的输出，其中，卷积定义为：

其中，z[x,y]是计算结果，g[x,y]是输入数据，f[x,y]是卷积核，*表示卷积操作；

对于输入通道的每一个数值需要通过激活函数进行数值修改，从而获得相同大小的输出，这种计算过程在激活层中完成，具体可以使用relu函数：

f(x)＝max(0,x)

对于输出数据，需要在池化层进行按比例采样，其采样方法可以表示为：

f(x)＝max([x])

最后，深度学习模型可构建出识别出垃圾分类的结果图；输入待分类的垃圾图像，，图像经过多次卷积过程和激活过程后，经过池化操作得到多维特征图，根据特征图进行边框回归计算从而判断边框内的类别，之后根据图像实际情况优化网络结构和参数。

根据本发明的一个方面，所述垃圾类别判定系统将采集到的图像与深度学习模式中的垃圾分类图像进行匹配对比之后可以初步划定垃圾类别，进一步通过进入学习模式的训练和学习，保证垃圾分类的最终类别判定的准确度，最终在原图像上直接显示垃圾分类后的标签。

根据本发明的一个方面，所述个性化用户升级系统可以直接面向个人用户，增加垃圾分类的非常用门目，从而提高垃圾分类识别的准确度，可以在无法识别垃圾包装的情况下，让用户自己标记无法识别的生活垃圾类型，并且将识别的结果归类在用户的个性化文件下，从而丰富生活垃圾的种类，保证垃圾识别的准确率。

一种图像分割识别的方法，为了避免垃圾识别使用时间过长，在遇到所述垃圾分类数据系统中没有进行存储的垃圾图像时，可以通过图像分割的方法，对于未分类垃圾的图像进行显著化处理后，直接获取显著边框进行分类匹配，初步筛选出垃圾可能进行划分的类别，具体步骤为：

步骤1、通过灰度化处理将图片隐去色彩，直接通过区分背景和拍摄主体获得待分类垃圾的轮廓图；

步骤2、直接对具有待分类垃圾主轮廓的图像部分进行切割，从而获得视觉假体下的待分类垃圾的图像；

步骤3、采用32x32的规格对所述垃圾分类数据系统中收集的垃圾的图像进行轮廓识别并建立起学习模式，将处理过的待分类垃圾图像放到学习模式中进行训练和学习，简单匹配出垃圾分类的类别。

根据本发明的一个方面，所述图像分割识别方法在使用显著化处理的基础上，可以对拍摄图像进行主要场景提取，这种方法虽然可能破坏拍摄图像的细节，但是避免了图像中干扰目标对待分类垃圾识别的影响，可以快速精准地获得垃圾类别。

有益效果：本发明借助深度学习的方法，实现了对生活垃圾的准确分类，可以在移动端高效地运行，保证用户在不明确垃圾类别的情况使用本应用可以准确快速得到其类别；该应用可以同时检测多个目标并进行标注，同时根据该应用提供的垃圾类别标签对每个垃圾进行准确快速地分离。

附图说明

图1是本发明的应用单元运行示意图。

图2是本发明的深度学习网络的运行流程图。

图3是本发明的分类后图像的示意图。

具体实施方式

如图1所示，在该实施例中，一种基于计算机视觉的垃圾分类软件，包括移动端图像采集系统、垃圾类别数据系统、垃圾判定识别系统和个性化用户升级系统，利用移动端对垃圾进行拍摄，进一步通过学习模型进行垃圾类别识别，从而完成垃圾分类；

移动端图像采集系统，直接通过移动端的照相功能采集待识别垃圾的图像；

垃圾类别数据系统，前期通过收集大量的垃圾照片进行常用垃圾类别学习，建立垃圾分类识别的学习模型和数据库，利用深度学习模式对垃圾类别数据进行高强度的学习和训练；

垃圾类别判定系统，根据所述垃圾类别数据系统对已拍摄的垃圾照片学习后的结果，与学习模型中的类别进行结果匹配，获得类别结果；

个性化用户升级系统，针对用户习惯性产出的垃圾进行新增门目，从而考虑到不同用户的特殊性，保证垃圾分类的准确性；

所述移动端图像采集系统，用户在移动客户端上安装垃圾分类软件时，需要给与垃圾分类软件一定的操作权限，即垃圾分类软件需要获取移动端的图像使用权限，具体步骤为：

步骤1、使用移动端的图像采集设备，根据用户需求去采集垃圾图像，可以直接访问用户移动端中已经存储的图像或者直接利用拍摄装置进行图像拍摄；

步骤2、将采集到不明垃圾的图像导入垃圾分类系统中的深度学习模型里，与学习模型中的垃圾分类数据进行图像比对；

步骤3、经过深度学习模型中层层计算，最终计算出图像中各部分垃圾分类标签，并将分类标签呈现在之前采集的图像上，此时用户可以根据图像上的标签结果将垃圾正确的进行分类。

在进一步的实施例中，所述垃圾类别数据系统通过仿照人工神经网络的模式进行垃圾图片分类学习，从而获得对垃圾类别数据的高准确度判断，具体步骤为：

步骤1、收集大量的垃圾类别数据；

步骤11、通过在互联网上收集到的专项垃圾图片构建垃圾类别的数据库，图片搜索方式主要分成：干垃圾、湿垃圾、有害垃圾和可回收垃圾四类；

步骤12、针对每一个种类的垃圾类别，需要进行常用垃圾识别并进行图像学习，具体根据常用网站的垃圾分类识别的前五十种进行图片搜索，保证常用垃圾能够快速获得识别结果；

步骤13、最终学习到的垃圾类别数据由垃圾图像和垃圾图像上的标签两部分组成，标签是对应每张图像的垃圾位置及其类别；

步骤2、将垃圾类别数据进行划分为训练集和测试集，训练集将用于深度学习模型的高强度训练和学习，测试集用于测试深度学习模型学到的垃圾分类能力，并根据测试结果对该模型进一步的优化和更新。

在进一步的实施例中，所述垃圾类别数据系统需要进行深度学习模型的构建，如图二所示，具体可以分成卷积层、池化层和数据激活层；其中，当获得待分类垃圾的图像后，通过多通道对图像数据的信息进行输入并卷积，卷积层的每个卷积产生一个通道的输出，从而可以得到多个通道的输出，其中，卷积定义为：

其中，z[x,y]是计算结果，g[x,y]是输入数据，f[x,y]是卷积核，*表示卷积操作；

对于输入通道的每一个数值需要通过激活函数进行数值修改，从而获得相同大小的输出，这种计算过程在激活层中完成，具体可以使用relu函数：

f(x)＝max(0,x)

对于输出数据，需要在池化层进行按比例采样，其采样方法可以表示为：

f(x)＝max([x])

最后，深度学习模型可构建出识别出垃圾分类的结果图；输入待分类的垃圾图像，，图像经过多次卷积过程和激活过程后，经过池化操作得到多维特征图，根据特征图进行边框回归计算从而判断边框内的类别，之后根据图像实际情况优化网络结构和参数。

在进一步的实施例中，所述垃圾类别判定系统将采集到的图像与深度学习模式中的垃圾分类图像进行匹配对比之后可以初步划定垃圾类别，进一步通过进入学习模式的训练和学习，保证垃圾分类的最终类别判定的准确度，如图三所示，最终在原图像上直接显示垃圾分类后的标签。

在进一步的实施例中，所述个性化用户升级系统可以直接面向个人用户，增加垃圾分类的非常用门目，从而提高垃圾分类识别的准确度，可以在无法识别垃圾包装的情况下，让用户自己标记无法识别的生活垃圾类型，并且将识别的结果归类在用户的个性化文件下，从而丰富生活垃圾的种类，保证垃圾识别的准确率。

在更进一步的实施例中，用户个人对于生活垃圾的产出很可能根据自己的购物习惯有一些是固定的，例如经常买的一款酸奶，该包装的数据并未在所述垃圾类别数据系统中；通过用户自己上传该款酸奶的外包装照片，可以直接对该款包装进行类别判定，所述垃圾类别数据系统将在个性化文件夹中存储这部分的数据，在之后如果再识别到这款酸奶包装，就可以进一步进行数据学习和训练，从而可以直接识别该款包装的垃圾分类类别。

一种图像分割识别的方法，为了避免垃圾识别使用时间过长，在遇到所述垃圾分类数据系统中没有进行存储的垃圾图像时，可以通过图像分割的方法，对于未分类垃圾的图像进行显著化处理后，直接获取显著边框进行分类匹配，初步筛选出垃圾可能进行划分的类别，具体步骤为：

步骤1、通过灰度化处理将图片隐去色彩，直接通过区分背景和拍摄主体获得待分类垃圾的轮廓图；

步骤2、直接对具有待分类垃圾主轮廓的图像部分进行切割，从而获得视觉假体下的待分类垃圾的图像；

步骤3、采用32x32的规格对所述垃圾分类数据系统中收集的垃圾的图像进行轮廓识别并建立起学习模式，将处理过的待分类垃圾图像放到学习模式中进行训练和学习，简单匹配出垃圾分类的类别。

在进一步的实施例中，所述图像分割识别方法在使用显著化处理的基础上，可以对拍摄图像进行主要场景提取，这种方法虽然可能破坏拍摄图像的细节，但是避免了图像中干扰目标对待分类垃圾识别的影响，可以快速精准地获得垃圾类别。

在更进一步的实施例中，所述图像分割识别方法只在体积较大且具有明显外轮廓的未分类垃圾识别过程中有作用，因为这种方法简单来说就是以显著化的目标为中心，提取复杂场景中的其他子区域的图像，如果体积较小或者外轮廓并不明朗的话，无法获取到可用的外观信息，也就无法进行简单的匹配识别。

总之，本发明具有以下优点：借助深度学习模型的分类能力，可以准确进行垃圾分类识别，避免了繁琐的垃圾类别查询过程或者不必要的垃圾分类记忆过程；在大量的数据照片支撑下，学习模型中的垃圾分类数据庞大且完善，可以方便快捷地准确获取垃圾的类别；多目标标注的使用可以一次性完成多种垃圾的分类，节约了直线查询方法的时间。本发明整体上可以大大减轻居民垃圾分类的压力，更快更好地帮助居民完成生活垃圾的分类回收。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。