HackerLZH
有的,这个都是有的,catch一下
HackerLZH
你的环境怎么搭建的?
HackerLZH
现在hdfs3这个python模块不再维护了,推荐使用pyarrow,你可以看看相关的文档
慕仰2907144
python3 xxx.py
不清楚
qq_扉尔_0
柳白原
你不能这么算啊, 每个packet不仅仅是放的chunk的data还有它的checksum以及header。而且它是可以放部分chunk的
慕仔153784
hdfs-site.xml
<property> <name>dfs.replication<name> <value>3<value> <description>Block Replication<description> <property> <property> <name>dfs.block.size<name> <value>134217728<value> <description>Block size<description> <property>
相关配置你可以查看https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml 不用迷茫了
weixin_慕标5301005
你的python是什么版本啊?好像3.7有这个问题,不知道解决了没有。
Limitlessun
就是从文件首部开始 读取长度为len(data)的数据
qq_珍惜时光_1
开发工具是PyCharm
qq_天_akyCVX
qq_天_akyCVX
qq_天_akyCVX
慕设计0335140
有具体错误详情吗?还有自己的代码截图 。
朴素柠檬C
首先,java操作hdfs相关的代码网上一搜一大把。
然后,python是一门很好的语言,也是我喜欢的语言。所以选择通过python做示例演示。
最近发现hdfs3不支持hadoop的acl权限模型,不知道有没有入了坑的同学。。。正在纠结中! 还是对java支持比较好。
不想再做设计的阿碳
对的,是在hdfs中备份的数量。 比如设置成3的话 就是将写入的文件备份三份。
呆萌的小白
with open('xxx','r') as f:
out = f.read(len(data))
assert out == data这里没问题的。out赋值的是内容,并不是data的长度。 你可以看一下python的文件IO相关的操作,read方法传入的是长度,这段代码的含义是 打开某个文件,并从其中读出长度为len(data)的数据保存到out里面。
qq_浪遏飞舟_1
首先,建议使用anaconda的python科学计算集成环境,利用conda去管理python相关的模块,如果你用的是anaconda你可以尝试以下命令:
conda install hdfs3 -c conda-forge
慕粉3361838
首先,建议使用anaconda的python科学计算集成环境,利用conda去管理python相关的模块,其也会管理用到的c++模块,如果你用的是anaconda你可以尝试以下命令:
conda install hdfs3 -c conda-forge
如果你不是anaconda环境,ubuntu系统可以尝试:
sudo apt-get install libhdfs3 libhdfs3-dev
其他的可以直接搜索github libhdfs3 进行编译安装。
python访问hdfs除了hdfs3还有其他模块可以使用比如snakebite等,大家也可以看看其使用方式
慕姐2765370
with 语句适用于对资源进行访问的场合,确保不管使用过程中是否发生异常都会执行必要的“清理”操作,释放资源,比如文件使用后自动关闭、线程中锁的自动获取和释放等。
类似于 java 语言中的:
try(something){
dosomething
}或者是C#中的:
using(something){
dosomething
}作用就是自动释放资源,要想理解可以自己了解下python的上下文管理器概念。
慕粉4276869
你是什么系统呢? 尝试把pip升级一下试试
pip/pip3 install --upgrade pip