问答详情
源自:4-2 MapReduce的运行流程

老师你好,想问一下数据源问题

老师,有一点说的很模糊,就是数据源的问题。 你说数据源来自HDFS,中间结果写的硬盘,最后结果又输出到HDFS中去?

谢谢。

提问者:wonderq_ubuntu 2016-02-15 09:38

个回答

  • Rock_feng
    2020-03-14 17:28:32

    我认为是这样的:就好比我们在客户端执行写入数据一样,数据来源于hdfs,然后计算的结果会先保存在本地磁盘并且进行分块操作,然后再根据namenode返回回来的映射关系,将本地的临时数据写入对应的datanode,而datanode就属于hdfs的一部分;

    不知对不对?

  • 慕斯8425469
    2018-06-17 17:24:45

    hdfs是存储读取的上层IO界面,它的底层介质肯定可以是硬盘,也可以flash,也可以是网络存储。

  • linglei酷
    2016-02-15 16:40:47

    就是一个基于硬盘的存储文件的文件系统

  • linglei酷
    2016-02-15 16:38:23

    我觉得hdfs就是硬盘吧,,,硬盘本来是存储的,,,hdfs就相当于是基于硬盘上的一个文件夹的东西,,,但不是文件夹哈