分布式存储，分块存储的

1. 关闭管线。

2. 将已经发送到管道中，但是还没有确认的数据重新写回到缓冲区，保证数据不会丢失。

3. 所有的namenode重新分配一个版本号

4. 重新选举一个主datanode

5. 计算所有datanode中最小的数据块，重新分配

6. 重建管线，重新写入

7. 宕掉的datanode恢复后由于版本号不同会被剔除掉。

8. 写完文件，namenode发现副本数量不够，会在其他数据节点上再创建一个新的副本。

估计老师不用。。。

128M

有的，这个都是有的，catch一下

你的环境怎么搭建的？

现在hdfs3这个python模块不再维护了，推荐使用pyarrow，你可以看看相关的文档

你这不是一下执行了重复的命令吗  而且错误详情已经提示你了  -files不支持    支持-file

你这个是一个函数，  应该用l_count() 调用

python3 xxx.py

不清楚

百度搜到原因是：操作系统和JVM都是32bit的，但是Hadoop的native lib是64bit。因此不兼容，需要去下载hadoop 32bit的native lib库。然后替换当前64bit的库文件。请问哪位有链接文件呢，hadoop2.10.0的。谢谢

嗯 考了CDA1,现在备考CDA2中，环境都还没搭建好?

配置够的话是可以的，搭建虚拟机搭建即可。

https://www.imooc.com/article/25592

https://www.imooc.com/article/24911

可以参看着两个手记进行尝试。祝顺利~

看一下手记：https://www.imooc.com/article/24911

你不能这么算啊， 每个packet不仅仅是放的chunk的data还有它的checksum以及header。而且它是可以放部分chunk的

hdfs-site.xml

<property> 
<name>dfs.replication<name> 
<value>3<value> 
<description>Block Replication<description> 
<property>
<property> 
<name>dfs.block.size<name> 
<value>134217728<value> 
<description>Block size<description> 
<property>

相关配置你可以查看https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml  不用迷茫了

啥也没有就是你hdfs上就没数据咯。      回复上面同学：  如果添加了环境变量是不需要./的   没添加环境变量才需要./  而且在其他目录会直接报错哦

我之前也是下载的hadoop 3.0版本，但是会出现很多错误。后来找运维朋友他建议用hadoop-2.7.3版本。

mapred-site.xml配置如下：

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>hdfs://localhost:9001</value>

    </property>

    <property>

        <name>mapred.tasktracker.map.tasks.maximum</name>

        <value>2</value>

    </property>

    <property>

        <name>mapred.tasktracker.reduce.tasks.maximum</name>

        <value>2</value>

    </property>

</configuration>

用了3.6 好像有点问题啊

你hadoop启动时不是用root用户启动的吧？你可以修改hdfs /yyq的权限为777或者切换到hadoop的启动用户进行操作。

                     HBase                                 Hive

用途：      弥补Hadoop的实时操作        减少并行计算编写工作的批处理系统

检索方式：适用于检索访问                     适用于全表扫描

存储：       物理表                                   纯逻辑表

功能：       HBase只负责组织文件            Hive既要储存文件又需要计算框架

执行效率：HBase执行效率高                    Hive执行效率低

第一次请求会获取到该文件所有block所有的datanode信息。   获取文件完成之后，向namenode反馈block的状态

谈一下我的感受吧，太多所谓的大数据工程师候选人，对于hadoop、hive、spark这些常用的大数据开源工具说的很6，但是java基础薄弱（开发能力薄弱）。其实其他岗位和方向都一样，hadoop、hive、spark如何使用，应届生给个一两个月都能学会。但是如何针对性的修改，优化就能看出真正的水平了。

大数据不光涉及到后端开发，在你维护hadoop集群的过程中，你还属于运维。不要想太多，just do it