在对图片进行深度学习训练时，数据集往往会成为开发者头痛的问题。一方面，针对一些具体问题可能找不到合适的开放数据集；另一方面，不论是爬取图片还是检索得来，终归还需要进一步的筛选，而且也不一定有很好的针对性。所以，在实现特定的识别需求时，还是需要自己进行采集和标定。例如，扫地机器人进行的物体识别，只需要辩认出地面上可能干扰它的电线、织物、鞋子等；RoboCup@home的比赛中要求机器人能够辨识包括饼干、可乐、香皂等家庭内常见的食品与日用品，还需要对陌生物品进行所属类别判断。这些细小类别的物体很难在开放的数据集中找到，只能针对项目需求进行采集、标定。
不论应用于何种网络，采集这些物体的图片时，为了加强数据的针对性，以及提高训练网络的效率，有如下要求：
背景 | 1、拍摄环境与实际应用场景类似 2、拍摄角度与应用相同 3、不同光照条件应均有涉及 |
物体 | 1、目标类型多样，尽量涵盖每种物体的各种主要类型 2、物体摆放形态尽量丰富 3、多物体不宜过度重叠 |
尺寸 | 1、拍摄设备不限，但拍摄的图片长宽比需统一 2、为了排除尺寸等无关因素对识别效果分析的干扰，数据集尽量通过预处理统一尺寸 |
数量 | 1、尽量使整个数据集包含的各类别物体的数目大致相同 |
以上是经博主实践总结，如有权威总结，还请各位分享。
采集之后的另一项重要工作是标定，这是识别网络所需的输入。这项工作费时费力，且较难制定明确标准，已经有很多专门的工作人员在做，他们的职业叫做数据标注工程师，这可能是人工智能的发展创造出的新职业吧，可以说是大数据时代的构筑者。在此分享PASCAL VOC 2011数据集的标注规则，原版链接VOC2011 Annotation Guidelines。
| 标注对象 | 所有属于既定类别的目标，除了以下： 类别上不确定的目标 目标过小（以观者角度） 目标的可见部分小于10-20%，导致其类别不可确定。例如，只有一个轮子可见时，它可能属于轿车或者卡车，所以它不能被标注为轿车，但是脚或脸只可能属于一个人，所以就需要标注。 如果因为目标太多，导致这都是不可能的，那么就将这张图标记为不好的图片。 |
| 视角 | 记录目标的大部分的视角。例如，人的躯干而不是头部。使视角范围在10-20°之间。如果模棱两可，就使其保留“未定义”。通常是一些旋转后的目标，例如颠倒的人像应该被保留为“未定义”。 |
| 标注框 | 将目标的可见部分用标注框标注起来（而不是估计出的目标的整个范围）。 标注框应当包含所有的可见像素点，除了在某些需要包含目标的一小部分（小于目标整体的5%）像素点的情况。 |
| 截断 | 如果目标的超过15-20%的部分在标注框之外，需要被标记为截断。这个标志表示标注框没有包含目标的所有范围。 |
| 遮挡 | 如果目标的超过5%的部分在标注框内被遮挡，需要标记为遮挡。这个标志表示目标在标注框内不是完全可见。 |
| 图像质量 | 质量很差的照片（例如过度的运动模糊）应该被标记为不好的图片。然而，弱光照的图不应算作质量差的，除非目标都不能够辨认出来。 由多张图片组成的图片（例如拼贴图片）应该被标记为不好的图片。 |
衣物/污渍/雪之类 | 如果目标被贴身的遮挡物“遮挡”，如衣物、污渍、雪等，这些遮挡物应被视为目标的一部分。 |
| 透明度 | 透过玻璃可见的目标也需要标注，但是对于玻璃上的反射应标记为遮挡。 |
| 镜子 | 镜子中的目标需要标记。 |
| 图片 | 在图片中的图片、海报、指示牌中的目标，当他们是真实的照片而不是卡通画或者符号时，需要标注。 |
| 分割对象 | 已基于以上标准标注过标签的对象。 可能需要排除涵盖在标注框中的无关的背包、手提包等。 或许需要包括上在标注框之外的属于标注目标的手、椅子腿等。 |
| 准确性 | 分割需要在5个像素以内。即分割出的像素必须属于目标，超出目标边界5个像素以上的一定算作背景。边界像素也可以算作背景。利用分割工具显示出的范围来确定约束范围。 这或许会需要分割标注框以外的像素。 |
| 模糊像素/透明度 | 由于透明度不同、运动模糊或者边界等产生的模糊像素，如果它们的像素值对于模糊有较大贡献，那么应该被认为是属于物体的。 |
| 细小结构 | 在准确度约束下，需要尽可能分割出细小的结构。一个像素下重叠的多个部分可能会被遗漏，例如线团、绳索、胡须等。 |
| 桌面上的物体 | 如果一些小物体挡住了一个物体，例如在餐桌上的餐具、银具等，他们可以被认为是桌子的一部分。例外是如果附着在了物体之外（例如烛台），那么他们就需要被在物体边界处截断了。 |
| 困难图片 | 难以按照准确性约束进行分割的图片应被标注为“无法标注”，例如一大堆自行车。 |