分片导入文件有问题

来源:4-1 Rdds介绍

想成为鸿鹄的燕雀

2019-11-24 08:04

就拿老师举的例子,我如果500G文件分成5个文件,那我rdds怎么引入这五个文件呢?按照这上面的说法一次就只能引一个分片的文件啊

写回答 关注

2回答

  • 哎呀阿坨
    2020-04-21 09:43:23

    老师讲的那个500G文件分成5个文件是建立在文件在hdfs的基础上的,使用hdfs的文件系统路径,一次性拿文件全部内容

  • qq_慕神6491567
    2019-12-22 16:58:30

    part-*

Spark从零开始

本课程旨在让同学们了解Spark基础知识,掌握Spark基础开发.

52741 学习 · 81 问题

查看课程

相似问题