加入收藏 | 设为首页 | 会员中心 | 我要投稿 衡阳站长网 (https://www.0734zz.cn/)- 数据集成、设备管理、备份、数据加密、智能搜索!
当前位置: 首页 > 服务器 > 搭建环境 > Linux > 正文

浅谈Linux 安装Hadoop和Hbase

发布时间:2021-05-22 11:50:24 所属栏目:Linux 来源:互联网
导读:下载hadoop和hbase mirrors.aliyun.com/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz archive.apache.org/dist/hbase/1.3.5/hbase-1.3.5-bin.tar.gz

mirrors.aliyun.com/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz 

 

archive.apache.org/dist/hbase/1.3.5/hbase-1.3.5-bin.tar.gz 

tar zxvf hadoop-2.7.7.tar.gz 

tar zxvf hbase-1.3.5-bin.tar.gz 

mv hadoop-2.7.7  hbase-1.3.5   /apps/ 

cd /apps 

ln -s hadoop-2.7.7 hadoop 

ln -s hbase-1.3.5 hbase 

cd -  

配置hadoop

1.配置namenod

vim /apps/hadoop/etc/hadoop/core-site.xml 

添加内容

<configuration> 

 <property> 

    <!-- 指定namenode通信地址 --> 

        <name>fs.defaultFS</name> 

        <value>hdfs://hdfs1:9000</value> 

    </property> 

    <!-- 指定hadoop运行时产生文件的存储路径 --> 

    <property> 

        <name>hadoop.tmp.dir</name> 

        <value>/data/hdfs/hadoop/tmp</value> 

    </property> 

</configuration> 

2.配置namenode和datanode

vim /apps/hadoop/etc/hadoop/hdfs-site.xml 

在文件后面添加内容

<configuration> 

  <!-- 设置namenode的http通讯地址 --> 

    <property> 

        <name>dfs.namenode.http-address</name> 

        <value>hdfs1:50070</value> 

    </property> 

​ 

    <!-- 设置secondarynamenode的http通讯地址 --> 

    <property> 

        <name>dfs.namenode.secondary.http-address</name> 

        <value>hdfs2:50070</value> 

    </property> 

​ 

    <!-- 设置namenode存放的路径 --> 

    <property> 

        <name>dfs.namenode.name.dir</name> 

        <value>/data/hdfs/hadoop/name</value> 

    </property> 

​ 

    <!-- 设置hdfs副本数量 --> 

    <property> 

        <name>dfs.replication</name> 

        <value>2</value> 

    </property> 

    <!-- 设置datanode存放的路径 --> 

    <property> 

        <name>dfs.datanode.data.dir</name> 

        <value>/data/hdfs/hadoop/datanode</value> 

    </property> 

​ 

    <property> 

        <name>dfs.permissions</name> 

        <value>false</value> 

    </property> 

</configuration> 

3.配置环境变量

vim /apps/hadoop/etc/hadoop/hadoo-env.sh 

修改JAVA_HOME

export JAVA_HOME=/apps/jdk 

也可以根据具体的需求设置堆栈之类的参数

4.设置主节点

vim /apps/hadoop/etc/hadoop/master 

添加主节点,一般使用主机名

hdfs1 

5.设置从节点

vim /apps/hadoop/etc/hadoop/slave 

添加从节点,一般使用主机名

(编辑:衡阳站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读