继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

写一个Spark DataSource的随手笔记

倚天杖
关注TA
已关注
手记 357
粉丝 47
获赞 187

真的只是个随手笔记。记录下一些操作过程。

背景

最近需要实现一些Spark逻辑计划和物理计划的优化,遂打算写一点简单的数据源来测试。突然想到了Oracle常见的scott/tiger里的数据。遂打算使用该数据。

获得数据

毕竟装Oracle是个大工程,没有必要为了做个测试单独安装一个Oracle,于是用Docker,这里推荐一下阿里的Docker Oracle镜像库:

https://dev.aliyun.com/detail.html?spm=5176.1972343.2.2.2f075aaaGOYe3m&repoId=1969

按照其方式启动Oracle镜像并sqlplus登录sysdba以后,为了确保scott/tiger没有被锁,还是做了一下解锁操作:

SQL> alter user scott account unlock;

然后退出sqlplus并用scott/tiger重新登录sysdba,并且查看scott的表:

SQL> select table_name from user_tables;TABLE_NAME
------------------------------
DEPT
EMP
BONUS
SALGRADE

没有问题。

在此只做一些简单的测试,所以并没有使用jdbc方式在test类里获取数据,而是直接拿了一些数据hard code在test类里。

写Spark DataSource API

实现了简单的谓词下推功能。详细Datasource代码见GitHub,里面还包含了一个tpc-ds的DataSource:

https://github.com/orisonchan/spark-datasource-some-examples



作者:orisonchan
链接:https://www.jianshu.com/p/3d0abe98ca3b


打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP

相关阅读

毛泽东