前言
“给你看下我之前去景区玩拍的照片,风景很好”
”嗯嗯,我正好也准备出去玩,快分享下“
……
”照片呢,还没找到吗?“
”等会啊,手机里太多照片了,给我点时间找找“
这是不是很多人的常态?
看着手机里上百张甚至上千张照片,想要找到某张特定的照片,简直堪比海底捞针,费时又费力。难道只能在相册里从头到尾浏览一遍,不能按照照片中物品类别进行查找吗?
当然可以了,华为机器学习服务场景识别功能就可以通过识别、标签图片中的物品,将照片精准分类,建立智能相册。有了这个功能,我们就可以快速定位、查找目标照片了。
功能特性
华为场景识别服务支持对图片的场景内容进行分类并添加标注信息,如美食、花朵、绿植、猫、狗、厨房、山峰、洗衣机等102种场景,并基于识别到的信息,构建更智能的相册应用体验。
场景识别具有以下功能特性:
-
多类场景识别
支持102种场景的识别,并持续增加。 -
识别准确率高
可识别多种物品、场景,识别准确率高。 -
识别响应速度快
毫秒级响应速度,并不断优化性能表现。 -
集成简单高效
提供API接口和SDK包,方便客户集成,操作简单,减少开发成本。
应用场景
场景识别除了应用于建立智能相册、照片检索和分类外,还可以识别拍摄场景自动选择相应的场景滤镜和相机参数,帮助用户拍摄出更好看的照片。
开发代码
1 开发准备工作
1.1 配置AppGallery Connect。
在开发应用前,需要在AppGallery Connect中配置相关信息。
具体操作步骤,请参考下方链接:
developer.huawei.com/consumer/cn/doc/development/HMSCore-Guides-V5/config-agc-0000001050990353-V5
1.2 配置HMS Core SDK的Maven仓地址,并完成本服务的SDK集成。
(1)打开Android Studio项目级“build.gradle”文件。
(2)添加HUAWEI agcp插件以及Maven代码库。
- 在“allprojects > repositories”中配置HMS Core SDK的Maven仓地址。
- 在“buildscript > repositories”中配置HMS Core SDK的Maven仓地址。
- 如果App中添加了“agconnect-services.json”文件则需要在“buildscript > dependencies”中增加agcp配置。
buildscript {
repositories {
google()
jcenter()
maven {url 'https://developer.huawei.com/repo/'}
}
dependencies {
...
classpath 'com.huawei.agconnect:agcp:1.4.1.300'
}
}
allprojects {
repositories {
google()
jcenter()
maven {url 'https://developer.huawei.com/repo/'}
}
}
2 开发代码
静态图片检测
2.1 创建场景识别检测器实例。
// 方式1:使用默认的参数配置。
MLSceneDetectionAnalyzer analyzer = MLSceneDetectionAnalyzerFactory.getInstance().getSceneDetectionAnalyzer();
// 方式2:按自定义配置创建场景识别分析器实例。
MLSceneDetectionAnalyzerSetting setting = new MLSceneDetectionAnalyzerSetting.Factory()
// 设置场景识别可信度阈值。
.setConfidence(confidence)
.create();
MLSceneDetectionAnalyzer analyzer = MLSceneDetectionAnalyzerFactory.getInstance().getSceneDetectionAnalyzer(setting);
2.2 通过android.graphics.Bitmap构造MLFrame,支持的图片格式包括:jpg/jpeg/png/bmp。
MLFrame frame = new MLFrame.Creator().setBitmap(bitmap).create();
2.3 进行场景识别。
// 方式1:同步识别。
SparseArray results = analyzer.analyseFrame(frame);
// 方式2:异步识别。
Task> task = analyzer.asyncAnalyseFrame(frame);
task.addOnSuccessListener(new OnSuccessListener>() {
public void onSuccess(List result) {
// 场景识别成功的处理逻辑。
}})
.addOnFailureListener(new OnFailureListener() {
public void onFailure(Exception e) {
// 场景识别识别失败的处理逻辑。
// failure.
if (e instanceof MLException) {
MLException mlException = (MLException)e;
// 获取错误码,开发者可以对错误码进行处理,根据错误码进行差异化的页面提示。
int errorCode = mlException.getErrCode();
// 获取报错信息,开发者可以结合错误码,快速定位问题。
String errorMessage = mlException.getMessage();
} else {
// 其他异常。
}
}
});
2.4 检测完成,停止分析器,释放检测资源。
if (analyzer != null) {
analyzer.stop();
}
视频流检测
开发者可以自行处理视频流,将视频流转化为MLFrame对象,再按静态图像检测的方法进行场景识别。
如果开发者调用的是同步检测接口,也可以使用SDK内置的LensEngine类实现视频流场景识别。示例代码如下:
3.1 创建场景识别分析器,只支持创建端侧场景识别分析器。
MLSceneDetectionAnalyzer analyzer = MLSceneDetectionAnalyzerFactory.getInstance().getSceneDetectionAnalyzer();
3.2 开发者创建识别结果处理类“SceneDetectionAnalyzerTransactor”,该类实现MLAnalyzer.MLTransactor接口,使用该接口中的transactResult方法获取检测结果并实现具体业务。
public class SceneDetectionAnalyzerTransactor implements MLAnalyzer.MLTransactor {
@Override
public void transactResult(MLAnalyzer.Result results) {
SparseArray items = results.getAnalyseList();
// 开发者根据需要处理识别结果,需要注意,这里只对检测结果进行处理。
// 不可调用ML Kit提供的其他检测相关接口。
}
@Override
public void destroy() {
// 检测结束回调方法,用于释放资源等。
}
}
3.3 设置识别结果处理器,实现分析器与结果处理器的绑定。
analyzer.setTransactor(new SceneDetectionAnalyzerTransactor());
// 创建LensEngine,该类由ML Kit SDK提供,用于捕捉相机动态视频流并传入分析器。
Context context = this.getApplicationContext();
LensEngine lensEngine = new LensEngine.Creator(context, this.analyzer)
.setLensType(LensEngine.BACK_LENS)
.applyDisplayDimension(1440, 1080)
.applyFps(30.0f)
.enableAutomaticFocus(true)
.create();
3.4 调用run方法,启动相机,读取视频流,进行识别。
// 请自行实现SurfaceView控件的其他逻辑。
SurfaceView mSurfaceView = findViewById(R.id.surface_view);
try {
lensEngine.run(mSurfaceView.getHolder());
} catch (IOException e) {
// 异常处理逻辑。
}
3.5 检测完成,停止分析器,释放检测资源。
if (analyzer != null) {
analyzer.stop();
}
if (lensEngine != null) {
lensEngine.release();
}
DEMO展示
原作者:say hi