我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:2019跑狗图高清彩图 > 执行例程 >

Eclipse连接远程Hadoop集群运行WordCount例程

归档日期:07-13       文本归类:执行例程      文章编辑:爱尚语录

  hadoop开发主要分为两种,第一种是脱离集群开发;第二种是连接远程Hadoop集群,将我们开发的API提交hadoop执行;

  本文记录的是后一种,即用本地windows下的eclipse 连接远程linux下的hadoop集群,一步到位,直接用这种方式进行hadoop的开发。

  Hadoop集群搭建相对较简单,网上有很多的教程, 这里就不赘述了。简单介绍一下我所搭建的Hadoop集群。

  搭建成功之后,准备启动。但在启动之前,需在三台机器上对namenode格式化,具体操作是切到安装目录下的bin目录,然后运行:hdfs namenode -format。然后就可以启动了,分别在三台机器上启动hadoop。

  Advanced parameters:貌似不用配置,等成功运行完wordcount例程之后,所有的值都有了,我猜应该是直接读取的远程hadoop集群的配置。大家可以试一试

  解答:windows上的hadoop2.8.0是由“hadoop-2.8.0.tar.gz”解压而来,它是安装文件,但是在windows下并不需运行hadoop,它的作用是给我们开发hadoop程序提供一系列的依赖jar包,程序开发完毕,便可以直接在远程hadoop集群运行。从这个角度,windows下的hadoop版本必须要和linux上hadoop集群版本保持一致,以免出现莫名的错误。

  至于“hadoop-2.8.0.tar.gz”、“hadoop-2.8.0-src.tar.gz”,前者是hadoop已经编译好的安装文件,解压改改配置文件就能用。后者带src的是源代码文件,需要编译才能使用。一般来说后者被应用于查看hadoop源码,链接有如何用eclipse关联hadoop源码的方法:

  看了一些网上的介绍,基本都是讲出现这种错误的原因都是由于define hadoop location中的各种配置存在这样或那样的问题。但我试过各种配置之后,发现在我这里都不对。最后我猜测可能是插件本身有问题,最后换了一个插件,果然就可以了。插件不是我编译生成的,是直接从网上找的资源。

  要说明的是,这里我是偷懒下载的插件,实质上插件可以自己编译,网上有资料自己找。

  原因很明显,是我们最开始已经创建过一个output文件夹,因此删除它即可。

  解答。直接删除dfs中的输出文件夹output。删除之后,只有一个输入文件夹,如下:

  转载自:在虚拟机上(远程连接也是一样只需要知道master的ip和core-site.xml配置即可...博文来自:lkx94的专栏

  个人小站,正在持续整理中,欢迎访问:小站博文地址:Windows下配置Eclipse连接 Hadoop开发环境,欢迎原站访问~ 学习更多,请访问系列文章:1. VM...博文来自:xp_lx12的博客

  首先安装Eclipse和hadoop的插件,打开eclipse后看到项目侧会看到DFS开启Hadoop,单击右下角的如下图中的小象编辑DFS的连接配置信息点击finish右击DFS刷新,会看到hdfs...博文来自:从前慢

  写在前面每次遇到两三天解决不了的问题,我都会在心里说,这个问题要是解决了,我一定要整理出来写成博客。可是问题解决完成之后,就会觉得,原来这么容易就能解决,真不值得一写。其实这一次,我并没有解决所遇到的...博文来自:Ichimaru_Gin_的博客

  在eclipse和命令行运行第一个WordCount程序实验心得博文来自:渴望飞的鱼的博客

  Ps:主要答疑区在本帖最下方,疑点会标注出来。个人在配置过程中遇到的困难都会此列举。 实验介绍:本次实验主要介绍了Hadoop平台的两个核心工具,HDFS和Mapreduce,结合这两个核心在Li...博文来自:sinat_28177969的博客

  转载自问题导读1.集群共享给多用户有什么好处?2.如何将hadoop集群共享给多用户?3.客户端向集群提交任务...博文来自:zhizule的博客

  目前有几台机器,主机器叫master,另一台叫slave1。要在master上无密码登录slave1,需要做无密码登录操作。步骤一在master上操作下面命令:输入ssh-keygen-trsa后一直...博文来自:tlimited的博客

  Eclipse运行wordcount步骤  第一步:建立工程,导入代码。第二步:建立文件写入数据(以空格分开),并上传到hdfs上。1、创建文件并写入数据:2、上传hdfs在hadoop权限下就行:命...博文来自:鲍礼彬的CSDN博客 ~_~

  刚进项目组的实习生,积累经验,欢迎交流玩了几次hadoop,每当用eclipse连接hadoop时,总是连接不上,耗费很多时间,今天折腾了好久终于连接上了,特意将注意事项记下,以便查阅。1.保证ecl...博文来自:zhiyangxuzs的博客

  首先是hadoop平台的搭建。。。。(既然都要用eclipse运行wordcount实例了,肯定要搭建hadoop平台,或已经搭建好了平台)该实例是在伪分布式上进行的。搭建好伪分布式后,安装好ecli...博文来自:Chunhong Song的专栏

  一、简介由于经常在windows环境下的eclipse写Hadoop的Java代码,而每次开发的mapreduce都需要打成jar包,然后放到linux系统进行调试。通过window下面的eclips...博文来自:小小本科生成长之路

  自己研究大数据一年多了,虽然技术上有很多提高,但是有个问题就是一直没法使用本地联调集群,每次都是写完打包放到集群执行。最近发现可以本地直接连接远程联调,大大提高了开发效率,分享一下。1、下载hadoo...博文来自:孤城长烟

  前言:很多年不弄代码了,最近云计算很热,有点手痒。。费了很大劲终于弄通了eclipse连接云集群环境,总结一下,让他人少走点弯路。 一、原始环境 win7操作系统 二、下载软件 jdk1.8 hado论坛

  最近因实习需要开始摆弄起了hadoop和spark相关的,记录一下我踩过的坑。由于linux下不好调试程序,因此记录一下用windows下的eclipse调试MapReduce程序。环境:虚拟机VMw...博文来自:的博客

  转载自项目中需要将本地文件拷贝到hdfs上,由于本人比较懒,于是使用擅长的Java程序通过Hadoop.F...博文来自:charKim的博客

  安装之前下载所需软件:eclipse:下载:博文来自:young_kim的技术博客

  jquery/js实现一个网页同时调用多个倒计时(最新的)nn最近需要网页添加多个倒计时. 查阅网络,基本上都是千遍一律的不好用. 自己按需写了个.希望对大家有用. 有用请赞一个哦!nnnn//jsn...博文来自:Websites

  command窗口是命令窗口,即为sqplus窗口,有命令提示符,识别sqlplus命令,基本的命令都可以执行nsql仅可执行DDL、select、DML等...博文来自:Ape55的博客

  说明n网上关于caffe的安装教程非常多,但是关于每一步是否操作成功,出现了什么样的错误又该如何处理没有给出说明。因为大家的操作系统的环境千差万别,按照博客中的教程一步步的安装,最后可能失败——这是很...博文来自:张学志の博客

  之前在工作中利用postman做了接口测试,发现这个东东其实还挺好用的,我个人喜欢总结于是乎有了下面的东西。方便以后查阅或修改。n1.首先postman的安装参及简单介绍考以下的链接:n       ...博文来自:JOJOY的博客

  话说上次配置PCL开发环境失败;rn估计可能是环境变量没配置好;下面从新搞一...博文来自:bcbobo21cn的专栏

  扫二维码关注,获取更多技术分享nnn 本文承接之前发布的博客《 微信支付V3微信公众号支付PHP教程/thinkPHP5公众号支付》必须阅读上篇文章后才可以阅读这篇文章。由于最近一段时间工作比较忙,...博文来自:Marswill

  最近比较有空,大四出来实习几个月了,作为实习狗的我,被叫去研究Docker了,汗汗!nnDocker的三大核心概念:镜像、容器、仓库n镜像:类似虚拟机的镜像、用俗话说就是安装文件。n容器:类似一个轻量...博文来自:我走小路的博客

  webService学习(二)—— 调用自定义对象参数rn本文主要内容:rn1、如何通过idea进行webService Client的简单实现(不再使用wsimport的方式,其实是ide帮我们做了...博文来自:止水的专栏

  自己整理编写的逻辑回归模板,作为学习笔记记录分享。数据集用的是14个自变量Xi,一个因变量Y的australian数据集。nnn1. 测试集和训练集3、7分组naustralian ...博文来自:Tiaaaaa的博客

本文链接:http://guidoon.com/zhixinglicheng/241.html