android如何获取屏幕上的元素信息？

Question

看到网上有一些自动化的操作工具可以实现手机的自动控制，有几个问题：

1. 这些自动化工具是简单的做了一些点击和滑动的记录和执行操作还是通过识别屏幕上的元素内容，来“智能”操作的呢？

2. 我自己的想法：第一种肯定有，但是第二种是否可以实现就不清楚了。是否可以实现呢？比如这样一个场景：

   实现自动启动桌面上的一个app，不同的手机屏幕大小不同，而且反应速度不同，如果使用第一种方法，会有局限性，那么是否可以有一种类似检查网页元素的方法来遍历屏幕上的所有元素？获取到他们的信息（图标文本，坐标位置等）然后实现自动点击?