Tag: hdfs

Hadoop 2.2安装`。' 无此文件或目录: 我已经使用本教程安装了Hadoop和HDFS http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html 一切安好。我也能够创build目录并使用它们 hadoop fs -mkdir /tmp hadoop fs -mkdir /small 我也可以说 hadoop fs -ls / 不过，我正在学习培训师的教程 hadoop fs -mkdir temp hadoop fs -ls 现在在我的机器上，当我发出上面的命令说 ls: `.': No such file or directory 在我的训练video中，hadoop fs -ls命令完美无缺。为什么要指定“/”？而且我在所有的命令中都得到了这个警告 13/12/28 20:23:52 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable […]

如何修复损坏的HDFS文件: 如何修复一个已经损坏的HDFS？我查看了Apache / Hadoop网站，并说它的fsck命令不能解决这个问题。希望之前遇到这个问题的人可以告诉我如何解决这个问题。与传统的本地文件系统的fsck实用程序不同，此命令不会更正它检测到的错误。通常NameNode会自动纠正大部分可恢复的故障。当我运行bin/hadoop fsck / -delete ，它列出了损坏或丢失块的文件。我如何使它不腐败？这是在一台练习机上，所以我可以吹走所有的东西，但是当我们活着的时候，我将无法通过吹走所有东西来“修复”它，所以我现在想弄明白。

HDFS可用空间可用命令: 是否有一个hdfs命令来查看hdfs中的可用空间。我们可以通过浏览器在主浏览器中看到：hdfsport在浏览器中，但由于某种原因，我无法访问这个，我需要一些命令。我可以通过命令./bin/hadoop fs -du -h看到我的磁盘使用情况，但是看不到可用空间。感谢您提前回答。

与其他格式相比，镶木地板格式有哪些优点和缺点？: Apache Parquet的特点是：自描述列格式与语言无关与Avro，序列文件，RC文件等相比，我想要一个格式的概述。我已经阅读： Impala如何与Hadoop文件格式一起工作，它提供了关于格式的一些见解，但是我想知道如何以这些格式来访问数据和存储数据。木条地板如何比其他地方有优势？

hadoop fs -put和hadoop fs -copyFromLocal之间的区别: -put和-copyFromLocallogging为相同，而大多数示例使用详细variables-copyFromLocal。为什么？ -get和-copyToLocal同样的事情

为什么没有'hadoop fs -head'shell命令？: 检查HDFS文件的一种快速方法是使用tail ： ~$ hadoop fs -tail /path/to/file 这将显示文件中最后一个千字节的数据，这非常有帮助。但是，相反的命令head似乎并不是shell命令集合的一部分。我觉得这很令人惊讶。我的假设是，由于HDFS是为在非常大的文件上进行非常快速的stream式读取而构build的，因此存在一些影响head访问导向问题。这让我犹豫不决，去做头脑。有没有人有答案？

可扩展的图像存储: 我目前正在devise一个基于networking的应用程序的体系结构，也应该提供某种forms的图像存储。用户将能够上传照片作为服务的关键function之一。同时查看这些图像将成为主要用途之一（通过networking）。但是，我不知道如何在我的应用程序中实现这样一个可伸缩的图像存储组件。我已经想过不同的解决scheme，但由于缺less经验，我期待听到您的build议。除了图像，还必须保存元数据。这是我最初的想法：使用（分布式）文件系统，如HDFS，并准备专门的Web服务器作为“文件系统客户端”，以保存上传的图像和服务请求。图像元数据保存在附加数据库中，包括每个图像的文件path信息。在HDFS之上使用HBase等面向BigTable的系统，并将图像和元数据保存在一起。再次，networking服务器桥接图片上传和请求。使用像CouchDB这样的完全无模式数据库来存储图像和元数据。另外，通过使用基于HTTP的RESTful API，使用数据库本身来进行上传和发布。（另外的问题：CouchDB确实通过Base64保存斑点，但是它能以image / jpeg等forms返回数据）？

Hive在HDFS中存储文件的位置？: 我想知道如何findHive表和他们所代表的实际HDFS文件（或者说，目录）之间的映射。我需要直接访问表文件。 Hive将文件存储在HDFS中的位置？

“hadoop fs”shell命令和“hdfs dfs”shell命令之间有什么区别？: 他们应该是平等的吗？但是，为什么“ hadoop fs ”命令显示hdfs files而“ hdfs dfs ”命令显示本地文件？这里是hadoop的版本信息： Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git：//ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r编译jenkins于四月22日星期一10:48:26 PDT