如何提取/剪切模型分类的图像部分？

Question

我是深度学习的新手，我想知道是否有一种方法可以提取包含不同标签的图像部分，然后将这些部分提供给不同的模型进行进一步处理？例如，考虑狗与猫的分类。假设图像包含猫和狗。我们成功地分类图像包含两者，但是我们如何分类存在的狗和猫的品种？

我想到的方法是，提取/切出图像中包含狗和猫的部分。然后将这些部分分别输入到各自的狗品种分类模型和猫品种分类模型中。但我不知道如何做到这一点。

Answer 1

您的想法是正确的，您可以根据类的数量拥有多个管道。训练：主要模型将是一个对象检测和定位模型，如 Faster RCNN、YOLO、SSD 等，经过训练，可以像猫和狗一样进行高级别的分类。此管道为您提供边界框详细信息（左、下、右、上）以及标签。子模型将是在情人级别上训练的多个模型。例如，经过训练对品种进行分类的模型。这可以通过使用 vgg、resnet、inception 等模型来完成。您可以在此处使用迁移学习。推理：通过主模型传递图像，使用边界框细节（左、下、右、上）裁剪检测对象，并根据标签信息，为其提供适当的子模型并提取结果。