您好、欢迎来到现金彩票网!
当前位置:2019欢乐棋牌 > 执行例程 >

Eclipse连接远程Hadoop集群运行WordCount例程

发布时间:2019-07-08 21:36 来源:未知 编辑:admin

  hadoop开发主要分为两种,第一种是脱离集群开发;第二种是连接远程Hadoop集群,将我们开发的API提交hadoop执行;

  本文记录的是后一种,即用本地windows下的eclipse 连接远程linux下的hadoop集群,一步到位,直接用这种方式进行hadoop的开发。

  Hadoop集群搭建相对较简单,网上有很多的教程, 这里就不赘述了。简单介绍一下我所搭建的Hadoop集群。

  搭建成功之后,准备启动。但在启动之前,需在三台机器上对namenode格式化,具体操作是切到安装目录下的bin目录,然后运行:hdfs namenode -format。然后就可以启动了,分别在三台机器上启动hadoop。

  Advanced parameters:貌似不用配置,等成功运行完wordcount例程之后,所有的值都有了,我猜应该是直接读取的远程hadoop集群的配置。大家可以试一试

  解答:windows上的hadoop2.8.0是由“hadoop-2.8.0.tar.gz”解压而来,它是安装文件,但是在windows下并不需运行hadoop,它的作用是给我们开发hadoop程序提供一系列的依赖jar包,程序开发完毕,便可以直接在远程hadoop集群运行。从这个角度,windows下的hadoop版本必须要和linux上hadoop集群版本保持一致,以免出现莫名的错误。

  至于“hadoop-2.8.0.tar.gz”、“hadoop-2.8.0-src.tar.gz”,前者是hadoop已经编译好的安装文件,解压改改配置文件就能用。后者带src的是源代码文件,需要编译才能使用。一般来说后者被应用于查看hadoop源码,链接有如何用eclipse关联hadoop源码的方法:

  看了一些网上的介绍,基本都是讲出现这种错误的原因都是由于define hadoop location中的各种配置存在这样或那样的问题。但我试过各种配置之后,发现在我这里都不对。最后我猜测可能是插件本身有问题,最后换了一个插件,果然就可以了。插件不是我编译生成的,是直接从网上找的资源。

  要说明的是,这里我是偷懒下载的插件,实质上插件可以自己编译,网上有资料自己找。

  原因很明显,是我们最开始已经创建过一个output文件夹,因此删除它即可。

  解答。直接删除dfs中的输出文件夹output。删除之后,只有一个输入文件夹,如下:

  首先安装Eclipse和hadoop的插件,打开eclipse后看到项目侧会看到DFS开启Hadoop,单击右下角的如下图中的小象编辑DFS的连接配置信息点击finish右击DFS刷新,会看到hdfs...博文来自:从前慢

  个人小站,正在持续整理中,欢迎访问:小站博文地址:Windows下配置Eclipse连接 Hadoop开发环境,欢迎原站访问~ 学习更多,请访问系列文章:1. VM...博文来自:xp_lx12的博客

  写在前面每次遇到两三天解决不了的问题,我都会在心里说,这个问题要是解决了,我一定要整理出来写成博客。可是问题解决完成之后,就会觉得,原来这么容易就能解决,真不值得一写。其实这一次,我并没有解决所遇到的...博文来自:Ichimaru_Gin_的博客

  转载自问题导读1.集群共享给多用户有什么好处?2.如何将hadoop集群共享给多用户?3.客户端向集群提交任务...博文来自:zhizule的博客

  目前有几台机器,主机器叫master,另一台叫slave1。要在master上无密码登录slave1,需要做无密码登录操作。步骤一在master上操作下面命令:输入ssh-keygen-trsa后一直...博文来自:tlimited的博客

  在eclipse和命令行运行第一个WordCount程序实验心得博文来自:渴望飞的鱼的博客

  Ps:主要答疑区在本帖最下方,疑点会标注出来。个人在配置过程中遇到的困难都会此列举。 实验介绍:本次实验主要介绍了Hadoop平台的两个核心工具,HDFS和Mapreduce,结合这两个核心在Li...博文来自:sinat_28177969的博客

  自己研究大数据一年多了,虽然技术上有很多提高,但是有个问题就是一直没法使用本地联调集群,每次都是写完打包放到集群执行。最近发现可以本地直接连接远程联调,大大提高了开发效率,分享一下。1、下载hadoo...博文来自:孤城长烟

  最近因实习需要开始摆弄起了hadoop和spark相关的,记录一下我踩过的坑。由于linux下不好调试程序,因此记录一下用windows下的eclipse调试MapReduce程序。环境:虚拟机VMw...博文来自:的博客

  前言:很多年不弄代码了,最近云计算很热,有点手痒。。费了很大劲终于弄通了eclipse连接云集群环境,总结一下,让他人少走点弯路。 一、原始环境 win7操作系统 二、下载软件 jdk1.8 hado论坛

  Eclipse运行wordcount步骤  第一步:建立工程,导入代码。第二步:建立文件写入数据(以空格分开),并上传到hdfs上。1、创建文件并写入数据:2、上传hdfs在hadoop权限下就行:命...博文来自:鲍礼彬的CSDN博客 ~_~

  刚进项目组的实习生,积累经验,欢迎交流玩了几次hadoop,每当用eclipse连接hadoop时,总是连接不上,耗费很多时间,今天折腾了好久终于连接上了,特意将注意事项记下,以便查阅。1.保证ecl...博文来自:zhiyangxuzs的博客

  首先是hadoop平台的搭建。。。。(既然都要用eclipse运行wordcount实例了,肯定要搭建hadoop平台,或已经搭建好了平台)该实例是在伪分布式上进行的。搭建好伪分布式后,安装好ecli...博文来自:Chunhong Song的专栏

  一、简介由于经常在windows环境下的eclipse写Hadoop的Java代码,而每次开发的mapreduce都需要打成jar包,然后放到linux系统进行调试。通过window下面的eclips...博文来自:小小本科生成长之路

  jquery/js实现一个网页同时调用多个倒计时(最新的)nn最近需要网页添加多个倒计时. 查阅网络,基本上都是千遍一律的不好用. 自己按需写了个.希望对大家有用. 有用请赞一个哦!nnnn//jsn...博文来自:Websites

  前言:前面几章都是分析MediaCodec相关源码,有收到提问,说MediaCodec到底是硬解码还是软解码?看下今天的Agenda:nMediaCodec到底是硬解码还是软解码nMediaMuxer...博文来自:何俊林

  最近比较有空,大四出来实习几个月了,作为实习狗的我,被叫去研究Docker了,汗汗!nnDocker的三大核心概念:镜像、容器、仓库n镜像:类似虚拟机的镜像、用俗话说就是安装文件。n容器:类似一个轻量...博文来自:我走小路的博客

  突发奇想:n  今天坐在工位上,玩着电脑,突然回想起自己刚开始接触计算机的画面,很是感慨。感慨时光飞逝的同时,也感慨自己从事计算机行业原来都是有渊源的呀。n  想起了那么多珍贵的回忆,决定写篇文章记录...博文来自:赵亚兰的博客

http://nicolashsiung.com/zhixinglicheng/228.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有