Kuidas Cloudera Manageri installida ja konfigureerida CentOS/RHEL 7-s - 3. osa

Selles artiklis kirjeldasime samm-sammult Cloudera Manageri installimist vastavalt tööstuslikele tavadele. 2. osas oleme juba läbinud Cloudera eeltingimused, veenduge, et kõik serverid oleksid täiuslikult ette valmistatud.

  • Hadoop Serveri juurutamise parimad tavad CentOS/RHEL 7-le - 1. osa
  • Hadoopi eeltingimuste seadistamine ja turvalisuse karastamine - 2. osa

Siin on meil 5 sõlmeklastrit, kus 2 kaptenit ja 3 töötajat. Olen installiprotseduuri demonstreerimiseks kasutanud 5 AWS EC2 eksemplari. Need 5 serverit olen nimetanud allpool.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

Cloudera Manager on kogu CDH haldus- ja jälgimisvahend. Meie admin kutsus seda tavaliselt Cloudera Hadoopi haldustööriistaks. Selle tööriista abil saame juurutada, jälgida, juhtida ja konfiguratsiooni muuta. See on kogu klastri haldamiseks väga oluline.

Allpool on Cloudera Manageri olulised kasutusalad.

  • Hadoopi klastrite juurutamine ja konfigureerimine automatiseeritud viisil.
  • Klastri seisundi jälgimine
  • konfigureerige märguandeid
  • Tõrkeotsing
  • aruandlus
  • Klastri kasutamise aruande koostamine
  • Ressursside dünaamiline konfigureerimine

1. samm: installige CentOS-i Apache veebiserver

Kasutame Cloudera hoidlate veebiserverina master1 . Samuti on Cloudera Manager WebUI, nii et meil peab olema Apache installitud. Apache veebiserveri installimiseks toimige järgmiselt.

# yum -y install httpd

Kui httpd on installitud, käivitage see ja lubage see nii, et see käivitatakse käivitamisel.

# systemctl start httpd
# systemctl enable httpd

Pärast httpd käivitamist veenduge olekus.

# systemctl status httpd

Pärast httpd-i käivitamist avage kohalikus süsteemis brauser ja kleepige otsinguribale master1 IP-aadress. Peaksite hankima selle testlehe veendumaks, et httpd töötab hästi.

2. samm: konfigureerige IP ja hosti nime lahendamiseks kohalik DNS

Meil peab olema DNS-server või konfigureerima/etc/hosts IP ja hosti nime lahendamiseks. Siin konfigureerime/etc/hosts, kuid reaalajas on tootmiskeskkonna jaoks olemas spetsiaalne DNS-server.

Järgige allolevaid samme kõigi oma serverite sisestamiseks kataloogis/etc/hosts.

# vi /etc/hosts

See peaks olema konfigureeritud kõigis serverites.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

3. samm: konfigureerige SSH-i paroolita sisselogimine

Selles demonstratsioonis installitakse Cloudera Manager saidile master1 . Peame konfigureerima paroolideta ssh master1 -st kõigi teiste sõlmedeni. Kuna Cloudera Manager kasutab ssh-i kõigi teiste sõlmede edastamiseks pakettide installimiseks.

Paroolivaba ssh seadistamiseks master1 -st kõigi ülejäänud serverite jaoks toimige järgmiselt. Meil on kasutaja "tecmint", et jätkata.

Looge kasutaja 'tecmint' kõik 4 serverit, kasutades käsku useradd, nagu näidatud.

# useradd -m tecmint

Juurõiguse andmiseks kasutajale 'tecmint' lisage järgmine rida faili/etc/sudoers. Selle rea saate lisada juure nagu ekraanipildil antud.

tecmint   ALL=(ALL)    ALL

Lülituge kasutajale 'tecmint' ja looge ssh-võti master1 -i abil alloleva käsuga.

# sudo su tecmint
$ ssh-keygen

Nüüd kopeerige loodud võti kõigile 4 serverile, kasutades käsku ssh-copy-id, nagu näidatud.

$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 

Nüüd peaksite saama ssh-i algusest master1 kuni kõigi serveriteta paroolita, nagu näidatud.

$ ssh master2
$ ssh worker1
$ ssh worker2
$ ssh worker3

4. samm: Cloudera Manageri installimine ja konfigureerimine

Kõikide pakettide installimiseks pakume RHEL/CentOS-i paketihalduse tööriistu kasutades hankija (Cloudera) hoidlat. Reaalajas on oma hoidla loomine parim tava, sest tootmisserverites pole meil võib-olla Interneti-ühendust.

Siin installime Cloudera Manager 6.3.1 väljalaske. Kuna kasutame reposerverina master1 , laadime alla paketid alla mainitud teele.

Looge allpool nimetatud kataloogid serverisse master1 .

$ sudo mkdir -p /var/www/html/cloudera-repos/cm6

Saame kasutada tööriista wget pakettide allalaadimiseks üle http. Niisiis, installige wget, kasutades järgmist käsku.

$ sudo yum -y install wget

Järgmisena laadige alla järgmise käsu wget abil Cloudera Manageri tõrvafail.

$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

Eemaldage tõrvafail kataloogi/var/www/html/cloudera-repos/cm6, juba oleme teinud master1 veebiserverina, installides http ja oleme brauseris testinud.

$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

Nüüd kontrollige, kas kõik Cloudera rpm-failid on kataloogis/var/www/html/cloudera-repos/cm6/RPMS/x86_64.

$ cd /var/www/html/cloudera-repos/cm6
$ ll

Looge /etc/yum.repos.d/cloudera-manager.repo failid klastri hosti kõigis serverites järgmise sisuga, siin master1 (65.0.101.148) on veebiserver.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

Nüüd on hoidla lisatud, käivitage allolev käsk lubatud hoidlate vaatamiseks.

$ yum repolist

Kõigi saadaolevate Cloudera-ga seotud pakettide vaatamiseks hoidlas käivitage järgmine käsk.

$ yum list available | grep cloudera*

Installige cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemonid cloudera-manager-server-db-2.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

Kõigi installitud Cloudera pakettide kuvamiseks käivitage allolev käsk.

$ yum list installed | grep cloudera*

Käivitage järgmine käsk, et käivitada cloudera-scm-server-db, mis on aluseks olev andmebaas Cloudera Manageri ja muude teenuste metaandmete salvestamiseks.

Vaikimisi on Cloudera tulemas postgre-sql, mis on manustatud Cloudera Managerisse. Paigaldame varjatud reaalajas kasutatavasse välimisse andmebaasi. See võib olla Oracle, MySQL või PostgreSQL.

$ sudo systemctl start cloudera-scm-server-db

Andmebaasi oleku kontrollimiseks käivitage järgmine käsk.

$ sudo systemctl status cloudera-scm-server-db

Konfigureerige Cloudera Manageri serveri db.properties.

$ vi /etc/cloudera-scm-server/db.properties

Konfigureerige, et allpool olev väärtus on EMDEDED, et panna Cloudera Manager kasutama manustatud andmebaasi.

com.cloudera.cmf.db.setupType=EMBEDDED

Cloudera Manageri serveri käivitamiseks käivitage järgmine käsk.

$ sudo systemctl start cloudera-scm-server

Cloudera Manageri serveri oleku kontrollimiseks käivitage järgmine käsk.

$ sudo systemctl status cloudera-scm-server

Cloudera Manageri agendi käivitamiseks ja kontrollimiseks käivitage järgmine käsk.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

Kui Cloudera Manager Server edukalt töötab ja töötab, saate brauseris vaadata WebUI-d (sisselogimislehte), kasutades IP-aadressi ja pordinumbrit 7180, mis on Cloudera Manageri pordi number.

https://65.0.101.148:7180

Selles artiklis oleme näinud samm-sammult protsessi Cloudera Manageri installimiseks CentOS 7-sse. CDH-d ja muid teenuse installe näeme järgmises artiklis.