博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop【单机安装-测试程序WordCount】
阅读量:5255 次
发布时间:2019-06-14

本文共 782 字,大约阅读时间需要 2 分钟。

Hadoop程序说明,就是创建一个文本文件,然后统计这个文本文件中单词出现过多少次!

(MapReduce 运行在本地   启动JVM )

第一步    创建需要的文件目录,然后进入该文件中进行编辑

1.1

 

1.2   使用命令  vi  wc.input 进入编辑  编辑如下内容

 

第二步   运行WordCount程序,数据来源于HDFS上

2.1   将创建出来的文件上传到HDFS文件系统上

bin/hdfs dfs -put wordcount/wc.input /user/zuoyan/mapreduce/wordcount/input

 此时可视化的图形界面就已经能显示出来了

 2.2  也可以使用命令来查看文件中的内容

使用命令:

bin/hdfs dfs -cat /user/zuoyan/mapreduce/wordcount/input/wc.input

使用之后的效果  (这样就表示文件已经成功的上传到文件系统上面去了!)

 

!!!2.3  注意一点,如果配置了   hadoop安装目录/etc/hadoop/core-site.xml 中的那个Hdfs文件系统  那读取数据的地址就是从配置的IP上读取  如果没有

就是默认从本机上读取

 

配置图如下

 

 2.4  运行 Mapreduce程序   

命令:

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/zuoyan/mapreduce/wordcount/input/ /user/zuoyan/mapreduce/wordcount/output

执行成功之后的截图

还有可以通过命令查看结果

 

转载于:https://www.cnblogs.com/kangxinxin/p/8523016.html

你可能感兴趣的文章
ind2vec和vec2ind函数
查看>>
poj1511 Invitation Cards (前向星?)
查看>>
javamail发邮件无主题内容为源文件 乱码
查看>>
LoaderManager使用详解(四)---实例:AppListLoader
查看>>
阅读笔记02
查看>>
java安全编码标准
查看>>
Codeforces Beta Round #7
查看>>
ubuntu windows 双系统修改默认启动项
查看>>
微信场景二维码 做转化步骤跟踪 初步实现思路
查看>>
如何向android的framework里添加新API
查看>>
大道至简伪代码
查看>>
【原】PNG的使用技巧
查看>>
SQLite简介及SQLite在.NET中的应用
查看>>
2017 CCPC Qinhuangdao Site
查看>>
BZOJ3648 : 寝室管理
查看>>
hdu1814Peaceful Commission(2-SAT)
查看>>
判断页面是横屏还是竖屏
查看>>
1、HDFS 架构、启动过程
查看>>
对象不支持“attachEvent”属性或方法的解决办法
查看>>
Java基础:(六)关键字
查看>>