猿问
下载APP

spark 怎么读pmml文件

spark 怎么读pmml文件


函数式编程
浏览 831回答 1
1回答

DIEA

Apache Spark 本身1.MLlibAMPLabSpark最初诞生于伯克利 AMPLab实验室,如今依然还是AMPLab所致力的项目,尽管这些不处于Apache Spark Foundation中,但是依然在你日常的github项目中享有相当的地位。ML BaseSpark本身的MLLib位于三层ML Base中的最底层,MLI位于中间层,ML Optimizer则处于最为抽象的顶层。2.MLI3.ML Optimizer (又称 Ghostface)Ghostware这个项目在2014年就开始进行了,不过从未对外公布。在这39个机器学习库中,这是唯一一个雾件,之所以能囊括在这列表中,全凭着AMPLab与ML Base的地位支撑。ML Base之外4.Splash这是近期2015年6月的一个项目,在运行随机梯度下降(SGD)时这套随机学习算法声称在性能上比Spark MLib中快了25%-75%。这是AMPLab实验室的sp标记项目,因此值得我们去阅读。5.Keystone MLKML将端到端的机器学习管道引进到了Spark中,但在近期Spark版本中管道已经趋于成熟。同样也承诺具有一些计算机视觉能力,我曾经在博客中也提到过这也存在一些局限。6.Velox作为一个服务器专门负责管理大量机器学习模型的收集。7.CoCoA通过优化通信模式与shuffles来实现更快的机器学习,详情可见这篇论文的描述《高效通信分布式双坐标上升》。框架GPU-based8.DeepLearning4j我曾经的一则博客有进行说明 《DeepLearning4J 增加了Spark gpu的支持》。9.Elephas全新的概念,这也是我写这篇博客的初衷。它提供了一个接口给Keras。Non-GPU-based10.DistML模式并行下而并非数据并行的参数服务器(正如 Spark MLib)。11.Aerosolve来自Airbnb,用于他们自动化定价。12. Zen逻辑斯谛回归、隐含狄利克雷分布(LDA)、因子分解机、神经网络、受限玻尔兹曼机。13.Distributed Data Frame与Spark DataFrame类似,但是引擎是不可知的(例如在未来它将运行在引擎上而不是Spark)。其中包括了交叉验证和外部机器学习库的接口。其他机器学习系统的接口14. spark-corenlp封装了斯坦福CoreNLP。15. Sparkit-learn给Python Scikit-learn的接口。16. Sparkling Water给 的接口。17. hivemall-spark封装了Hivemall,,在Hive中的机器学习。18. spark-pmml-exporter-validator可导出预测模型标记语言(PMML),一种用于传递机器学习模型的行业标准的XML格式。附加组件:增强MLlib中现有的算法。19. MLlib-dropout为Spark MLLib 增加dropout能力。基于以下这篇论文进行的实现,《Dropout:一个简单的方法来防止神经网络中的过拟合》。20.generalized-kmeans-clustering为K-Means算法增加任意距离函数。21. spark-ml-streaming可视化的流式机器学习算法内置于Spark MLlib。算法监督学习22. spark-libFM因子分解机。23. ScalaNetwork递归神经网络(RNNs)。24. dissolve-struct基于上文中提到的高性能Spark通信框架CoCoA下的支持向量机(SVM)。25. Sparkling Ferns基于以下这篇论文进行的实现,《通过使用随机森林与随机蕨算法的图像分类技术》。26. streaming-matrix-factorization矩阵分解推荐系统。
打开App,查看更多内容
随时随地看视频慕课网APP
我要回答