Kuidas seadistada Namenode'i kõrge kättesaadavus - 5. osa
Hadoopil on kaks põhikomponenti, milleks on HDFS ja YARN. HDFS on andmete salvestamiseks, YARN on andmete töötlemiseks. HDFS on Hadoopi hajutatud failisüsteem, sellel on Namenode kui Master Service ja Datanode kui Slave Service.
Namenode on HDFS-is salvestatud andmete metaandmeid talletava Hadoopi kriitiline komponent. Kui Namenode langeb, ei pääse kogu klaster juurde, see on üks rikke punkt (SPOF). Nii et tootmiskeskkonnas on Namenode'i kõrge kättesaadavus, et vältida tootmise katkemist, kui üks Namenode langeb mitmesugustel põhjustel, nagu masina krahh, kavandatud hooldustegevus jne.
Hadoop 2.x pakub teostatavust, kus meil võib olla kaks Namenode, üks on Active Namenode ja teine Standby Namenode.
- Aktiivne Namenode - see haldab kõiki klienditoiminguid.
- Ooterežiimis olev Namenode - see on aktiivse Namenode'i jaoks üleliigne. Kui Active NN langeb, võtab Standby NN kogu aktiivse NN-i vastutuse.
Namenode'i kõrge kättesaadavuse lubamiseks on vaja Zookeeperit, mis on automaatse tõrkeotsingu jaoks kohustuslik. ZKFC (Zookeeper Failover Controller) on Zookeeperi klient, mida kasutatakse Namenode'i oleku säilitamiseks.
- Hadoop Serveri juurutamise parimad tavad CentOS/RHEL 7-le - 1. osa
- Hadoopi eeltingimuste seadistamine ja turvalisuse karastamine - 2. osa
- Kuidas Cloudera Manageri installida ja konfigureerida CentOS/RHEL 7-s - 3. osa
- Kuidas installida CDH ja seadistada teenusepaigutusi CentOS/RHEL 7-le - 4. osa
Selles artiklis lubame Cloudera Manageris Namenode'i kõrge kättesaadavuse.
1. samm: Zookeeperi installimine
1. Logige sisse Cloudera Managerisse.
http://Your-IP:7180/cmf/home
2. Valige klastri (tecmint) toiminguviibul „Lisa teenus”.
3. Valige teenus “Zookeeper”.
4. Valige serverid, kuhu me kavatseme Zookeeperi installida.
5. Meil on 3 Zookeeperit, et moodustada Zookeeper Quorum. Valige serverid, nagu allpool mainitud.
6. Konfigureerige Zookeeperi atribuudid, siin on meil vaikeväärtused. Reaalajas peab teil olema eraldi kataloog/liitumispunktid Zookeeperi andmete salvestamiseks. 1. osas oleme selgitanud iga teenuse salvestusruumi konfiguratsiooni. Jätkamiseks klõpsake nuppu Jätka.
7. Installimine algab pärast Zookeeperi installimist. Taustaoperatsioone saate vaadata siit.
8. Pärast ülaltoodud sammu edukat lõpetamist on olek ‘lõpetatud’.
9. Nüüd on Zookeeper edukalt installitud ja konfigureeritud. Klõpsake nuppu Lõpeta.
10. Zookeeperi teenust saate vaadata Cloudera Manageri juhtpaneelilt.
2. samm: Namenode'i kõrge kättesaadavuse lubamine
11. Avage Cloudera Manager -> HDFS -> Toimingud -> Luba kõrge kättesaadavus.
12. Sisestage nimeteenuse nimi nimega „nameservice1” - see on tavaline nimeruum nii aktiivsele kui ka ooterežiimil olevale Namenode'ile.
13. Valige teine Namenode, kus me ootame Namenode'i ooterežiimi.
14. Siin valime ooterežiimi Namenode jaoks master2.linux-console.net.
15. Valige sõlmed Journal, need on kohustuslikud teenused aktiivse ja ooterežiimi nimenoodi sünkroonimiseks.
16. Me teeme Quorum Journali, asetades Journal sõlme kolme serverisse, nagu allpool mainitud. Valige 3 serverit ja klõpsake nuppu OK.
17. Jätkamiseks klõpsake nuppu Jätka.
18. Sisestage päeviku sõlme kataloogitee. Peame lihtsalt mainima tee, samal ajal kui selle kataloogi installimise loob teenus ise. Mainime kui ‘/ jn’ . Jätkamiseks klõpsake nuppu Jätka.
19. See hakkab võimaldama kõrget kättesaadavust.
20. Kui kõik taustaprotsessid on lõpule viidud, saame staatuse ‘Valmis’.
21. Lõpuks saame teate „Kõrge kättesaadavusega õnnestumine”. Klõpsake nuppu „Lõpeta”.
22. Kontrollige aktiivset ja ooterežiimis olevat Namenode'i, külastades Cloudera Manager -> HDFS -> Instances.
23. Siin saate rookida kahte Namenode'i, millest üks on aktiivses olekus ja teine ooterežiimis.
Selles artiklis oleme Namenode'i kõrge kättesaadavuse lubamiseks samm-sammult läbi käinud. On väga soovitatav, et Namenode High Availability oleks kõigis klastrites reaalajas. Kui teil on selle protsessi käigus mõni viga, postitage oma kahtlused. Järgmises artiklis näeme ressursihalduri kõrget kättesaadavust.