ag旗舰厅官网_ag旗舰厅下载客户端

热门关键词: ag旗舰厅官网,ag旗舰厅下载客户端

计算机网络

当前位置:ag旗舰厅官网 > 计算机网络 > 12集群部署,完全分布式环境安装与配置

12集群部署,完全分布式环境安装与配置

来源:http://www.pedaLyourcycLe.com 作者:ag旗舰厅官网 时间:2019-11-06 13:25

0 机器说明

 

IP

Role

192.168.1.106

NameNode、DataNode、NodeManager、ResourceManager

192.168.1.107

SecondaryNameNode、NodeManager、DataNode

192.168.1.108

NodeManager、DataNode

192.168.1.106

HiveServer

依赖项

1 打通无密钥

配置HDFS,首先就得把机器之间的无密钥配置上。我们这里为了方便,把机器之间的双向无密钥都配置上。

(1)产生RSA密钥信息

ssh-keygen -t rsa

一路回车,直到产生一个图形结构,此时便产生了RSA的私钥id_rsa和公钥id_rsa.pub,位于/home/user/.ssh目录中。

(2)将所有机器节点的ssh证书公钥拷贝至/home/user/.ssh/authorized_keys文件中,三个机器都一样。

(3)切换到root用户,修改/etc/ssh/sshd_config文件,配置:

RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys

(4)重启ssh服务:service sshd restart

(5)使用ssh服务,远程登录:

图片 1

ssh配置成功。

Java

--------------------------------------分割线

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

1. 从

--------------------------------------分割线

wget

2 安装Hadoop2.3

将对应的hadoop2.3的tar包解压缩到本地之后,主要就是修改配置文件,文件的路径都在etc/hadoop中,下面列出几个主要的。

(1)core-site.xml

 

 1 <configuration>
 2     <property>
 3         <name>hadoop.tmp.dir</name>
 4         <value>file:/home/sdc/tmp/hadoop-${user.name}</value>
 5     </property>
 6     <property>
 7         <name>fs.default.name</name>
 8         <value>hdfs://192.168.1.106:9000</value>
 9     </property>
10 </configuration>

 

(2)hdfs-site.xml

 

 1 <configuration>
 2     <property>
 3         <name>dfs.replication</name>
 4         <value>3</value>
 5     </property>
 6     <property>
 7          <name>dfs.namenode.secondary.http-address</name>
 8          <value>192.168.1.107:9001</value>
 9     </property>
10     <property>
11          <name>dfs.namenode.name.dir</name>
12          <value>file:/home/sdc/dfs/name</value>
13     </property>
14     <property>
15          <name>dfs.datanode.data.dir</name>
16          <value>file:/home/sdc/dfs/data</value>
17     </property>
18     <property>
19          <name>dfs.replication</name>
20          <value>3</value>
21     </property>
22     <property>
23          <name>dfs.webhdfs.enabled</name>
24          <value>true</value>
25     </property>
26 </configuration>

 

(3)hadoop-env.sh

主要是将其中的JAVA_HOME赋值:

export JAVA_HOME=/usr/local/jdk1.6.0_27

(4)mapred-site.xml

 

 1 <configuration>
 2     <property>
 3         <!-- 使用yarn作为资源分配和任务管理框架 -->
 4         <name>mapreduce.framework.name</name>
 5         <value>yarn</value>
 6     </property>
 7     <property>
 8         <!-- JobHistory Server地址 -->
 9         <name>mapreduce.jobhistory.address</name>
10         <value>CentOS1:10020</value>
11     </property>
12     <property>
13         <!-- JobHistory WEB地址 -->
14         <name>mapreduce.jobhistory.webapp.address</name>
15         <value>centos1:19888</value>
16     </property>
17     <property>
18         <!-- 排序文件的时候一次同时最多可并行的个数 -->
19         <name>mapreduce.task.io.sort.factor</name>
20         <value>100</value>
21     </property>
22     <property>
23         <!-- reuduce shuffle阶段并行传输数据的数量 -->
24         <name>mapreduce.reduce.shuffle.parallelcopies</name>
25         <value>50</value>
26     </property>
27     <property>
28         <name>mapred.system.dir</name>
29         <value>file:/home/sdc/Data/mr/system</value>
30     </property>
31     <property>
32         <name>mapred.local.dir</name>
33         <value>file:/home/sdc/Data/mr/local</value>
34     </property>
35     <property>
36         <!-- 每个Map Task需要向RM申请的内存量 -->
37         <name>mapreduce.map.memory.mb</name>
38         <value>1536</value>
39     </property>
40     <property>
41         <!-- 每个Map阶段申请的Container的JVM参数 -->
42         <name>mapreduce.map.java.opts</name>
43         <value>-Xmx1024M</value>
44     </property>
45     <property>
46         <!-- 每个Reduce Task需要向RM申请的内存量 -->
47         <name>mapreduce.reduce.memory.mb</name>
48         <value>2048</value>
49     </property>
50     <property>
51         <!-- 每个Reduce阶段申请的Container的JVM参数 -->
52         <name>mapreduce.reduce.java.opts</name>
53         <value>-Xmx1536M</value>
54     </property>
55     <property>
56         <!-- 排序内存使用限制 -->
57         <name>mapreduce.task.io.sort.mb</name>
58         <value>512</value>
59     </property>
60 </configuration>

 

  注意上面的几个内存大小的配置,其中Container的大小一般都要小于所能申请的最大值,否则所运行的Mapreduce任务可能无法运行。

(5)yarn-site.xml

 

 1 <configuration>
 2     <property>
 3         <name>yarn.nodemanager.aux-services</name>
 4         <value>mapreduce_shuffle</value>
 5     </property>
 6     <property>
 7         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
 8         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 9     </property>
10     <property>
11         <name>yarn.resourcemanager.address</name>
12         <value>centos1:8080</value>
13     </property>
14     <property>
15         <name>yarn.resourcemanager.scheduler.address</name>
16         <value>centos1:8081</value>
17     </property>
18     <property>        
19         <name>yarn.resourcemanager.resource-tracker.address</name>
20         <value>centos1:8082</value>
21     </property>
22     <property>
23         <!-- 每个nodemanager可分配的内存总量 -->
24         <name>yarn.nodemanager.resource.memory-mb</name>
25         <value>2048</value>
26     </property>
27     <property>
28         <name>yarn.nodemanager.remote-app-log-dir</name>
29         <value>${hadoop.tmp.dir}/nodemanager/remote</value>
30     </property>
31     <property>
32         <name>yarn.nodemanager.log-dirs</name>
33         <value>${hadoop.tmp.dir}/nodemanager/logs</value>
34     </property>
35     <property>
36         <name>yarn.resourcemanager.admin.address</name>
37         <value>centos1:8033</value>
38     </property>
39     <property>
40         <name>yarn.resourcemanager.webapp.address</name>
41         <value>centos1:8088</value>
42     </property>
43 </configuration>

 

 

此外,配置好对应的HADOOP_HOME环境变量之后,将当前hadoop文件发送到所有的节点,在sbin目录中有start-all.sh脚本,启动可见:

图片 2

图片 3

图片 4

启动完成之后,有如下两个WEB界面:

图片 5

 

图片 6

 

使用最简单的命令检查下HDFS:

图片 7

更多详情见请继续阅读下一页的精彩内容: http://www.linuxidc.com/Linux/2014-07/104302p2.htm

图片 8

  1. 解压到/usr/local

tar -jxvf jdk-7u51-linux-x64.tar.gz -C /usr/local

  1. 配置符号链接:cd /usr/local; ln -snf jdk1.7.0_45/ jdk

  2. 配置环境变量到~/.bashrc

export JAVA_HOME="/usr/local/jdk"

 export PATH="$JAVA_HOME/bin:$PATH"

  1. 命令行下使用java、javax命令判断是否安装成功。

  2. 在其他机器上

Hosts

所有的节点都修改/etc/hosts,使彼此之间都能把主机名解析为ip

图片 9

--------------------------------------分割线

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop集群上使用Lzo压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

--------------------------------------分割线

SSH 无密码登陆

首先要配置本机的SSH服务器,运行 ps -e | grep ssh,查看是否有sshd进程,如果没有,说明server没启动,通过 /etc/init.d/ssh -start 启动server进程,如果提示ssh不存在 那么就是没安装server。Ubuntu下通过 sudo apt-get install openssh-server命令安装即可。

(1)生成当前用户的SSH公钥。

$ ssh-keygen -t rsa -P ''

它在/home/[你当前登录的用户名] 下生成.ssh目录(root用户即是在/root目录下),.ssh下有id_rsa和id_rsa.pub。id_rsa.pub即是本地SSH生成的公钥文件。客户端机器将id_rsa.pub文件添加到自己的~/.ssh/authorized_keys文件中即可免密码登录到本机。

(2)将~/.ssh/id_rsa.pub添加到目标机器的~/.ssh/authorized_keys文件中

•如果是本机的操作,则使用

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将要登录的机器的公钥添加到本地的认证密钥库中。注意这里必须要用>>操作符进行追加操作。

使用

ssh localhost

命令即可免密码登录到本地。

•如果是将自己的公钥发送到别的机器上。

可以使用

scp ~/.ssh/id_rsa.pub root@172.24.253.2:.ssh/id_rsa.pub

这条scp命令进行文件上传操作。

安装Hadoop

下载Hadoop

最新版本hadoop-2.4.0安装包为 hadoop-2.4.0.tar.gz

下载官网地址 :

下载到 /opt/hadoop/source 目录下

wget

解压目录

tar zxvf hadoop-2.4.0.tar.gz

最终是这样子:

图片 10

环境配置项

配置环境变量:

vim /etc/profile

添加

export HADOOP_DEV_HOME=/opt/hadoop/source
export PATH=$PATH:$HADOOP_DEV_HOME/bin
export PATH=$PATH:$HADOOP_DEV_HOME/sbin
export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop

更多详情见请继续阅读下一页的精彩内容: http://www.linuxidc.com/Linux/2014-05/101693p2.htm

图片 11

本文由ag旗舰厅官网发布于计算机网络,转载请注明出处:12集群部署,完全分布式环境安装与配置

关键词: