大数据平台－ｋerｂｅrｏs安装部署文档————————————————————————————————作者: ————————————————————————————————日期:ﻩ1.环境准备1.1.操作系统本次安装部署要求在操作系统为ＣeｎtOS release 6.5（Fiｎal）的版本下进行部署，所以在安装部署ｋerｂeroｓ之前请先确保操作系统为以上版本,并且集群中各机器已做时钟同步。
本次安装部署以csdm-hadｏoｐ-０4作为主kｄc服务器,以ｃsdm-hadoop-0５作为从kdc服务器，以csｄm-hadoｏp-０3作为客户端。
一般不建议在服务器上再安装其他应用程序，比如hａdoop。
但为了节省资源本次安装在这三台机器均已安装hadoop相关软件。
1.2.创建操作用户创建操作系统hdfs、yarn、mａpred用户，并使其归属于ｈadoｏp用户组: adduｓeｒｈdfs -gＨａdoopadｄｕseｒyarn －g Hａdoｏpadduｓer mａpｒeｄ-ｇＨaｄoop1.3.配置hosts文件为各台机器修改/etｃ/ｈoｓts文件，将真实iｐ与主机名对应配置，服务端与客户端均需配置，形如：(不能存在12７.0．０.1的配置，否则ｈadｏop进行ｋｅrbｅros验证时将会出错)1.4.关闭防火墙执行以下命令关闭防火墙：sｅrｖice ipｔaｂlｅs stop出现以下界面表示关闭成功1.5.注册服务与端口的对应在/etc/seｒviｃe文件最后增加以下信息,以便后续使用：ﻩkｒb5_ｐｒoｐ75４/tｃp # Kerbeｒoｓ slave prｏｐagaｔion2.安装配置Kerｂeros2.1.安装rｐm包➢以rｏot用户登录并创建目录存放安装包：mkｄir /ｖar/keｒberos➢上传安装包文件到创建的目录，包括kｒb５－ｌibs-1.10．３-10.ｅl６_4．6．ｘ86_６4.rpｍ、krb５－servｅｒ-1.10.3－10.el6＿4．6.x86＿6４.rpｍ(客户端可不安装)、ｋrb5-wｏｒkstatｉｏn-1.1０．3-１0．el６_4.６.ｘ８6_64.ｒpm➢执行安装命令:ｒpm -ivh krb5-libs-1.１0.3－10.el６＿4.６．x8６_64.rｐmrpm -ivh krｂ5－sｅｒｖer－1.10．３-10.el６_4.6.ｘ86_6４.rpm【客户端可不安装】ﻫrpm -ivh krb5-ｗorkｓtatiｏｎ-１.10.３－10.ｅl6＿4．6.x8６_64.rpｍ➢查看上述包是否已安装成功：rpm –qa krb５*若出现以下情况则代表安装成功。
ﻩﻩ2.2.配置主KＤC服务器2.2.1.设置全局环境变量需要以root身份登录系统在/etｃ/profile末尾增加配置文件的全局环境变量:eｘpｏrｔKRＢ５_CＯＮＦIG=／etc／krb５.ｃonfｅxpoｒt KＲB5_KDＣ＿PRO保存后并执行source /ｅｔc／profile 使之生效。
2.2.2.配置kｒｂ5.conｆ执行vi编辑／etc/krb5．coｎf，内容如下:［libdefaultｓ]defａuｌt_reａｌm =EＲＩCSSＯN.CＯMdns_lookup_realｍ＝faｌｓedｎs_loｏkｕｐ_ｋｄc ＝falseｔｉckｅt_liｆetｉme = ２4hrｅnｅｗ＿liｆetiｍe ＝7dfoｒwardable=true［reａlms]ERICSSON．COM = {kｄc = ｃsdm-hadoop-０4kdc =csdm－hadooｐ-0５admin_server =cｓdm-haｄoop-０4}［ｄoｍain_rｅalm]．erｉcsson.cｏm＝ERＩCＳerｉcｓｓｏn．coｍ=ERIＣSＳ2.2.3.配置kｄc．ｃoｎf执行vi编辑/var/kｅrberｏs/krb5kｄc／kdc．ｃoｎｆ,内容如下:[kdcdefaults]Kdｃ_ｐoｒts=75０,88［ｒealms］EＲICＳＳ ＝{ｋaｄｍiｎd_poｒt = 749mａｘ_life=10h 0ｍ0smax_reｎewable_life=７d 0h0m ０sdatabａse＿nａmｅ= /vａr／kerberｏｓ/krb5kdc/prｉncipaladｍｉn_keｙtab=/var/kerｂeros /krb5kdc／kadm5．ｋeytabａcl_ /ｋrb5ｋdｃ/ｋaｄm５.ａcｌkey＿sｔasｈ_ /kｒb5kｄc／.k5.EＲICSSＯ}［ｌｏggiｎｇ]deｆauｌt =kdｃ=adｍin_ｓeｒveｒ＝集群机器如果开启seｌｉｎux,请在机器上执行resｔｏreｃon -Ｒ-v /ｅtc/ｋrｂ５.conf2.2.4.生成数据库在主KDC服务器上执行以下命令创建数据库,在执行的过程中会提示输入密码和确认密码,两次输入相同的密码即可:kdｂ5_utiｌcreate -r ｅrｉcsson.cｏｍ–s等待片刻后在提示输入密码界面输入密码后会出现以下界面：2.2.5.创建管理用户运行管理入口命令:kadmiｎ.ｌocaｌ在提示符下执行以下命令addprinｃkaｄmiｎ／addprｉｎc kａｄmin/会提示输入密码，输入两次一样的密码后会提示成功创建。
ﻫ将主体添加至密钥文件中ktadd -k /vａr/ｋerｂeroｓ/krb5kdc／ｋadｍ5．ｋeyｔaｂkadmｉn/adminkｔadd -k/var/ｋｅrbｅｒos/krb5kdc/kadm5.keytａｂkadmin/changepｗ2.2.6.启动krｂ５kdc 和kａｄmind服务执行以下命令启动ｋrｂ5ｋdc和ｋadmiｎｄ服务：krb5ｋｄc sｔartkadmｉnd出现以下界面表示启动成功2.3.配置从KDC服务器2.3.1.为从ｋdc服务器创建创建授权票证每一个kｄｃ服务器都需要一个host票证，用于在迁移数据库数据市在各ｋdc服务器之间进行交互验证。
注意，创建hoｓt票据需要在主ｋdc服务器上执行而不是在从kdc服务器。
在csｄｍ-hadｏｏp-04上执行以下命令创建票证:kadmiｎaddpriｎc –ｒandｋey hｏst/cｓdm-hａdoop-ａddｐrinc –randkey hosｔ／cｓdm－hadｏop-kｔａdｄhost/ｃsdm-hadoop－2.3.2.设置从kdc服务器的配置文件将主kdｃ服务器中的配置文件（kdc.conf、krb5.conf、.k5.ERＩCSSOＮ.C ＯM、ｋadm5.ａｃｌ)复制到从kｄc服务器上相应的目录中;在从ｋdc服务器的/ｖar／Ｋerｂｅｒｏs／krb5kdc的目录下创建kpｒoｐd.acl文件并增加以下信息:hosｔ/ｃsdm-hadoop-hosｔ/ｃsdｍ-haｄoop-2.4.复制数据库数据到KDC从服务器➢在主服务器上创建数据库的dｕmp文件kdｂ5_utｉl dump /vａr／ｋｅrbｅrｏs／krｂ5kdｃ/slａve_daｔaｔrａｎｓ➢在从服务器上执行数据迁移kprｏｐ－f/ｖaｒ/Ｋerｂeros/ｋrb5kdc/ｓlave_datatrans csdm－hａdｏop－05定时将主KDC服务器上的数据库数据,更新到从ＫDＣ服务器上由于KDC不提供数据库数据的同步服务功能，因此需要使用脚本或者手工将主KDC服务器上的数据同步到从KDＣ服务器上,可以参考以下脚本，并配置到定时器中#!／bｉn／shﻩｋｄｃlisｔ＝＂kｅrbeｒoｓ2.exａｍｐｌ kerbｅros3.exampｌ"ﻩkｄb5＿util ｄuｍp /ｖａr/ｋerberos／krb５kdc/ｓlave_datａtｒansfor kdｃin $ｋdclisｔｄｏﻩﻩkｐrｏp -ｆ／vａr/kerberｏs／krｂ5kｄc/slaｖｅ_daｔatranｓ＄ｋｄc2.5.启动从服务器的krb5ｋdc程序在从服务器上启动命令执行启动：ﻩkrb５kdc2.6.配置自启动在/etc/ｉnitｔab中增加以下信息可使进程随系统自启动：/eｔｃ/init.d／ｋｒb5ｋdc staｒtＫadmind2.7.客户端配置下面以csｄm-hadｏｏｐ-0３这台机器作为客户端说明相关配置1、在cｓｄm-hadoop-03上安装客户端软件ｒpｍ－ivｈkｒb５-libｓ-１.10．3-10.ｅl6_4.6.ｘ86＿64.rpｍﻫrpｍ-ivhkrb5-workstaｔion-1.10.3-１０.eｌ6_4.6.x8６＿６4.ｒpm２、在主KDＣ服务器ｃsdm－hadoop-04上,把／etc/krb5.ｃｏｎf复制到csdm-ha ｄoop-0３本地对应目录3、在客户端cｓdｍ-hａdｏop－03上启动命令执行启动:krb5kdc此时即可在客户端cｓｄｍ-hadoｏｐ-03上连接KDC服务器4、生成可访问csｄm－ｈadｏｏｐ-03机器应用程序的验证在主KDＣ服务器cｓdm-hadoｏp-04，生成ｃsdm－ｈadoop-03的ｐｒincipalｓ和keytab，为客户端ｃsdm-hａｄｏｏp－03添加principaｌｓ（可以为ｈost或者所要进行验证的机器用户)ａddprinc –rａndｋey hoｓt／csｄｍ－hadoop-为客户端cｓdｍ-hａdｏop-03生成ｋｅyｔaｂKtａdd–ｋ/ｖar/kｅrbeｒｏs／krｂ5kdc／keytａb/hｏｓt.keｙtab host/ｃsdm－hadｏop-把cｓdm-hａdoop－０4上生成的kｅyｔab复制到csｄm-hadｏｏp-0３机器上3.测试服务器3.1.服务器端测试客户端连接ﻫ运行kinit aｄmin/aｄmin，显示提示输入密码则代表配置成功:3.2.远程客户机连接测试在客户机运行kｉnｉt aｄmin／ａdmin 连接服务端,显示提示输入密码则代表配置成功:4.Hａdooｐ集成kerbｅros配置４.1 ｋeｒberos配置Hadｏｏp官方网站建议的操作系统用户及权限如下,下面我们按照这三个用户的权限进行配置，要求使用下面三种用户分别具有各自启动相应进程的权限。
User:GｒouｐＤaｅmoｎshdfs:ｈadoop NamｅNode, Ｓecondary NamｅNｏdｅ, JournalNode, DatａNodｅyarn:ｈaｄoop ResoｕｒcｅＭanager, NodｅMａnaｇerｍapreｄ:hadoop MapReduce，JobHisｔory Seｒvｅｒ4.1.１为所有机器的用户生成principａl从主KDＣ服务器cｓdm-hadoop－04上,把/etc/ｋｒb5.conf复制到cｓdｍ-hadooｐ-03本地对应目录，在主KDC服务器上为hａdｏｏp集群中每台机器的用户创建pｒincipａl,下面以csdｍ－haｄoop-０3这台机器为例，运行管理入口命令：ｋadmin．lｏcal在提示符下执行以下命令:addｐriｎc －randkey hdfｓ／csdm－ｈadｏｏp－aｄdprｉnc-ｒandkey hosｔ/csdm－hadoop-adｄｐrinc －raｎdkey ｙａrn/csｄｍ－hadｏop-ａddpｒinc -raｎｄｋey ｈoｓｔ/csｄm-haｄｏop-addprｉｎc -ranｄkeｙｍapred/ｃｓdm-ｈadooｐ-aｄｄpriｎc -randkey host/csｄm－haｄooｐ-注：◆集群中的每台机器所用到的用户都需执行上面的命令生成princｉpａl◆每个用户必须执行aｄdpriｎｃ-randkey hｏst/XＸ@XＸ的命令，这个命令生成的是基于Kerbｅros 的应用程序(例如klist和kpｒoｐ)和服务（例如ｆtｐ和ｔelnet）使用的主体。