站内搜索
编辑推荐
本类下载榜
软件简介
hadoop是一款由Apache基金会开发。相信大家都使用过apache,如果你是真正的开发者对hadoop也许并不陌生。它以一种可靠、高效、可伸缩的方式进行数据处理,有着超强的兼容性和数据库处理能力,用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。欢迎有兴趣的朋友前来jz5u下载使用!
HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。
HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。
⒊高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。
⒋高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。
Hadoop带有用 Java 语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写,比如 C++。
Hadoop是项目的总称。主要是由HDFS和MapReduce组成。
HDFS是Google File System(GFS)的开源实现。
MapReduce是Google MapReduce的开源实现。
这个分布式框架很有创造性,而且有极大的扩展性,使得Google在系统吞吐量上有很大的竞争力。因此Apache基金会用Java实现了一个开源版本, 支持Fedora、Ubuntu等Linux平台。雅虎和硅谷风险投资公司Benchmark Capital 联合成立一家名为Hortonworks的新公司,接管被广泛应用的数据分析软件Hadoop的开发工作。
Hadoop实现了HDFS文件系统和MapRecue。用户只要继承MapReduceBase,提供分别实现Map和Reduce的两个类,并注册Job即可自动分布式运行。
至今为止是2.4.1,稳定版本是1.2.1 和 yarn 的 2.4.0。
HDFS把节点分成两类:NameNode和DataNode。NameNode是唯一的,程序与之通信,然后从DataNode上存取文件。这些操作是透明的,与普通的文件系统API没有区别。
MapReduce则是JobTracker节点为主,分配工作以及负责和用户程序通信。
HDFS和MapReduce实现是完全分离的,并不是没有HDFS就不能MapReduce运算。
Hadoop也跟其他云计算项目有共同点和目标:实现海量数据的计算。而进行海量计算需要一个稳定的,安全的数据容器,才有了Hadoop分布式文件系统(HDFS,Hadoop Distributed File System)。
HDFS通信部分使用org.apache.hadoop.ipc,可以很快使用RPC.Server.start()构造一个节点,具体业务功能还需自己实现。针对HDFS的业务则为数据流的读写,NameNode/DataNode的通信等。
MapReduce主要在org.apache.hadoop.mapred,实现提供的接口类,并完成节点通信(可以不是hadoop通信接口),就能进行MapReduce运算。
1、存储文件的时候需要指定存储的路径,这个路径是HDFS的路径。而不是哪个节点的某个目录。比如./hadoop fs -put localfile hdfspat
一般操作的当前路径是/user/hadoop比如执行./hadoop fs -ls .实际上就相当于./hadoop fs -ls /user/hadoop
2、HDFS本身就是一个文件系统,在使用的时候其实不用关心具体的文件是存储在哪个节点上的。如果需要查询可以通过页面来查看,也可以通过API来实现查询。
易语言v4.05修订版 简体中文特别版_易学易用的汉语编程语言
WinHex16进制编辑器19.3 汉化绿色版
Microsoft Visual FoxPro 6.0简体中文免安装版【可视化编程工具】
PHP For Windows 7.3.9 官方安装版
UltraEdit(文本编辑器)21.20.1001.0 烈火汉化增强版
WinHex(16进制编辑器)19.8 SR-4 中文绿色版
Java SE Runtime Environment 9.0u177 x64 官方安装版
易语言(支持基于汉语字和词编程) 绿色精简版
PSPad editor V5.0.2(321)中文绿色版
EXE资源查看提取器_Resource Explorer 汉化绿色版
Source Insight 4.0 汉化绿色版_功能强劲的程序编辑器
网络编辑超级工具箱(文章快速格式化) v1.2绿色加强版
汇编指令助手查询器 (汇编指令大全)V1.1 绿色版
UltraEdit 21.20.1009.0烈火汉化绿色版
UltraEdit-32 15.00.0.1042简体中文绿色便携版
Hex Workshop x64(bin文件编辑器)V6.7.25284 汉化版