Kuidas installida CDH ja seadistada teenusepaigutusi CentOS/RHEL 7-le - 4. osa
Varasemas artiklis oleme selgitanud Cloudera Manageri installimist. Selles artiklis saate teada, kuidas CDH-d (Cloudera Distribution Hadoop) installida ja konfigureerida rakenduses RHEL/CentOS 7
CDH paki installimisel peame tagama Cloudera Manageri ja CDH ühilduvuse. Cloudera versioonil on 3 osa -
Näiteks kasutame Cloudera Manager 6.3.1 ja CDH 6.3.2. Siin on 6 peamist ja 3 väiksemat versiooni. Ühilduvusprobleemide vältimiseks peavad põhi- ja alaealised olema samad.
- Hadoop Serveri juurutamise parimad tavad CentOS/RHEL 7-le - 1. osa
- Hadoopi eeltingimuste seadistamine ja turvalisuse karastamine - 2. osa
- Kuidas Cloudera Manageri installida ja konfigureerida CentOS/RHEL 7-s - 3. osa
CDH installimiseks võtame allpool 2 sõlme. Juba oleme installinud Cloudera Manageri master1-sse, samuti kasutame master1 reposerverina.
master1.linux-console.net worker1.linux-console.net
1. samm: laadige alla CDH pakid Master Serverisse
1. Esmalt looge ühendus master1 serveriga ja laadige alla failid CDH Parcels kataloogist/var/www/html/cloudera-repos/cdh. Peame allpool alla laadima 3 mainitud faili, mis peaksid ühilduma RHEL/CentOS 7-ga.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Enne nende failide allalaadimist looge kataloogi/var/www/html/cloudera-repos/location kausta cdh kataloog.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Järgmisena laadige ülalnimetatud 3 faili alla järgmise käsuga wget.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
2. samm: seadistage Cloudera Manager Repo töötaja klientidele
4. Nüüd looge ühendus töötajate serveritega ja kopeerige repo-fail (cloudera-manager.repo) reposerverist (master1) kõigisse ülejäänud töötaja serveritesse. See repo-fail tagab serveritele, et kõik vajalikud pakid ja RPM-id laaditakse repo-serverist installimise ajal alla.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Kui repo on lisatud, loetlege lubatud hoidlad, veendumaks, et cloudera-manager repo on lubatud.
$ yum repolist
3. samm: installige Cloudera Manager Daemonid ja Agent töölisserveritesse
6. Nüüd peame kõigisse ülejäänud serveritesse installima cloudera-manager-deemonid ja cloudera-manager-agent.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Järgmisena peate konfigureerima Cloudera Manageri agendi Cloudera Manageri serverist teatamiseks.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Asendage kohalik host Cloudera Manageri serveri IP-aadressiga.
8. Käivitage Cloudera Manager Agent ja kontrollige olekut.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
4. samm: installige ja seadistage CDH
Meil on CDH pakid master1 - reposerveris. Kui järgite automaatset installimist Cloudera Manageri abil, veenduge, et kõigil serveritel oleks Cloudera Manageri repo-fail /etc/yum.repos.d/.
9. Logige sisse Cloudera Managerisse, kasutades allpool olevat pordi 7180 URL-i, ja kasutage Cloudera Manageri vaikenime ja parooli.
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10. Kui olete sisse loginud, tervitatakse teid tervituslehega. Siit leiate väljalaskemärkmed, Cloudera Manageri uued funktsioonid.
11. Nõustuge litsentsiga ja jätkake.
12. Valige väljaanne. Prooviversioon on vaikimisi valitud, saame sellega jätkata.
13. Järgige klastri installimise samme. Jätkake tervituslehte.
14. Nimetage klaster ja jätkake, oleme nimetanud seda “tecmintiks”. Klastreid saab määratleda kahte tüüpi. Jätkame Regular Clusteriga.
- Regulaarne klaster: koosneb salvestussõlmedest, arvutussõlmedest ja muudest vajalikest teenustest.
- Arvutusklaster: koosneb ainult arvutussõlmedest. Andmete salvestamiseks saab kasutada välist salvestusruumi.
15. Oleme juba kõikidesse serveritesse installinud Cloudera Manageri agendid. Need serverid leiate jaotisest „Praegu hallatavad hostid”. Automaatse installimise jaoks peate valikusse "Uued hostid" sisestama serverite FQDN või IP ja otsima. Cloudera Manager tuvastab automaatselt hostid, millele peame CDH installima.
Klõpsake siin nuppu „Praegu hallatavad hostid”, valige kõik hostid, valides hosti nimi ja jätkake.
16. Valige hoidla - paki kasutamine on soovitatav viis. Hoidla konfigureerimiseks klõpsake nuppu „Rohkem valikuid”.
17. Sisestage kohaliku hoidla URL, nagu allpool mainitud. Eemaldage kõik ülejäänud avalikud hoidlad, mis osutavad veebile (Cloudera hoidlad).
See on CDH kohaliku hoidla URL, mis on meil master1-s.
http://104.211.95.96/cloudera-repos/cdh/
18. Kui hoidla URL on sisestatud, kuvatakse sellel lehel ainult saadaolevad pakid. Jätkake seda sammu.
19. Nüüd laaditakse pakke alla, jagatakse, pakitakse lahti ja aktiveeritakse kõikides saadaolevates serverites.
20. Kui CDH pakid on aktiveeritud, kontrollige klastrit. Selle sammuga tehakse klastri tervisekontroll. Siin me jätame vahele ja jätkame.
5. samm: klastri konfigureerimine
21. Siin peame valima klastrisse installitavad teenused. Mõni pakendatud kombinatsioon on vaikimisi saadaval, me läheme koos Custom Servicesiga.
22. Kohandatud teenustes installime demo eesmärgil ainult põhikomponendid (HDFS ja YARN).
23. Määrake rollid serverile. Saame kohandada vastavalt meie nõuetele. Leidke allpool olev diagramm, mis kirjeldab soovitavat rollijaotust väikese põhiklastri jaoks, millel on 5 kuni 20 kõrge kättesaadavusega sõlme.
24. Valige andmebaasi tüüp, hosti nimi, andmebaasi nimi, kasutajanimi ja parool. Kuna kasutame manustatud PostgreSQL-i, valitakse see vaikimisi. Testige ühendust, see peaks olema edukas.
25. Sellel lehel kuvatakse HDFSi ja lõnga vaikekonfiguratsiooni parameetrid, sealhulgas andmekataloogid. Vaadake üle kõik konfiguratsiooni üksikasjad ja saate vajadusel muudatusi teha. Seejärel jätkake sellega.
26. Sellel lehel kuvatakse käsu ‘First Run’ üksikasjad. Saate seda laiendada, et näha käskude käitamise üksikasju. Kui klastris on mingeid võrgu- või lubamisprobleeme, nurjub see samm. Tavaliselt otsustab see samm klastrihoone sujuva installimise.
27. Kui ülaltoodud samm on lõpetatud, klõpsake installimise lõpuleviimiseks nuppu „Lõpeta”. See on Cloudera Manageri juhtpaneel pärast CDH installimist.
http://104.211.95.96:7180/cmf/home
Oleme Cloudera Manageri ja CDH installimise edukalt lõpule viinud. Cloudera Manageri juhtpaneelilt leiate eelnevalt määratletud graafikute komplekti, kus saate jälgida klastri protsessorit, ketta IO-d jne. Selle Cloudera Manageri abil saame hallata kogu klastrit. Kõiki haldusoperatsioone näeme järgmistest artiklitest.