Parimad tavad Hadoop-serveri juurutamiseks CentOS/RHEL 7-le - 1. osa


Selles artiklite seerias käsitleme kogu Cloudera Hadoopi klastrite hoone hoonet koos müüja ja tööstuse soovitatud parimate tavadega.

OS-i installimine ja operatsioonisüsteemi taseme sooritamine Eeldused on esimesed sammud Hadoopi klastri loomiseks. Hadoop saab töötada Linuxi platvormi erinevatel maitsetel: CentOS, RedHat, Ubuntu, Debian, SUSE jne. Reaalajas tootmisel on enamik Hadoop-klastreid ehitatud RHEL/CentOS-i peale, näitamiseks kasutame CentOS 7-d selles õpetuste seerias.

Organisatsioonis saab OS-i installida kickstardi abil. Kui tegemist on 3–4 sõlmega klastriga, on käsitsi installimine võimalik, kuid kui ehitame suure klastri, millel on rohkem kui 10 sõlme, on OS-i ükshaaval installimine tüütu. Selle stsenaariumi korral tuleb pildile Kickstarti meetod, saame massiinstallimisega jätkata kickstardi abil.

Hea jõudluse saavutamine Hadoopi keskkonnast sõltub õige riistvara ja tarkvara hankimisest. Nii et tootmise Hadoopi klastri loomine nõuab riistvara ja tarkvara osas palju kaalumist.

Selles artiklis käsitleme erinevaid operatsioonisüsteemi installimise võrdlusnäitajaid ja mõnda parimat tava Cloudera Hadoop Cluster Serveri juurutamiseks CentOS/RHEL 7-s.

Oluline kaalutlus ja parimad tavad Hadoop Serveri juurutamiseks

Järgnevalt on toodud parimad tavad Cloudera Hadoop Cluster Serveri juurutamiseks seadmes CentOS/RHEL 7.

  • Hadoopi serverid ei vaja klastri loomiseks ettevõtte standardseid servereid, see nõuab kauba riistvara.
  • Tootmisklastris on soovitatav kasutada 8–12 andmekettat. Vastavalt töökoormuse laadile peame selle üle otsustama. Kui klaster on mõeldud arvutusmahukatele rakendustele, on sisend- ja väljundprobleemide vältimiseks parim tava 4–6 draivi olemasolu.
  • Andmekettad tuleks jaotada näiteks eraldi - alates/data01 kuni/data10.
  • RAID-konfiguratsiooni ei soovitata töötaja sõlmedele, sest Hadoop pakub ise andmetele tõrketaluvust, korrates plokid vaikimisi kolmeks. Nii et JBOD on parim töötajate sõlmede jaoks.
  • Põhiserverite jaoks on parimaks tavaks RAID 1.
  • CentOS/RHEL 7.x vaikefailisüsteem on XFS. Hadoop toetab XFS-i, ext3 ja ext4. Soovitatav failisüsteem on ext3, kuna selle toimivust testitakse.
  • Kõigil serveritel peaks olema sama OS-i versioon, vähemalt sama väike versioon.
  • Parim tava on homogeenne riistvara (kõigil töötaja sõlmedel peaksid olema ühesugused riistvara omadused (RAM, kettaruum ja tuum jne).
  • Vastavalt klastri töökoormusele (tasakaalustatud töökoormus, intensiivne arvutamine, I/O-intensiivsus) ja suurusele võib ressursside (RAM, CPU) planeerimine serveri kohta erineda.

Siit leiate allpool toodud näite 24TB salvestusruumi serverite kettasektsioonidest.

CentOS 7 installimine Hadoopi serveri juurutamiseks

Asjad, mida peate teadma enne CentOS 7 serveri Hadoop Serveri installimist.

  • Hadoop-serverite (töösõlmede) jaoks piisab minimaalsest installist, mõnel juhul saab GUI-d installida ainult põhiserverite või haldusserverite jaoks, kus saame kasutada brausereid haldustööriistade veebiliideste jaoks.
  • Võrkude, hostinime ja muude operatsioonisüsteemiga seotud seadistusi saab konfigureerida pärast operatsioonisüsteemi installimist.
  • Reaalajas on serverimüüjatel oma konsool, et näiteks serveritega suhelda ja neid hallata - Delli serveritel on serveritega sisseehitatud seade iDRAC. Selle iDRAC-liidese abil saame installida OS-i, millel on kohalikus süsteemis OS-i pilt.

Selles artiklis oleme installinud OS (CentOS 7) VMware virtuaalsesse masinasse. Siin ei ole meil partitsioonide sooritamiseks mitut ketast. CentOS sarnaneb RHEL-iga (sama funktsionaalsus), nii et näeme CentOS-i installimise samme.

1. Alustage CentOS 7.x ISO-pildi allalaadimine kohalikust Windowsi süsteemist ja valige see virtuaalmasina käivitamise ajal. Valige ‘Install CentOS 7’, nagu näidatud.

2. Valige keel, vaikimisi on see inglise keel ja klõpsake nuppu Jätka.

3. Tarkvara valik - valige „Minimaalne install” ja klõpsake „Valmis”.

4. Määrake juurparool, kuna see palub meil seadistada.

5. Paigaldamise sihtkoht - see on oluline samm, et olla ettevaatlik. Peame valima ketta, kuhu OS tuleb installida, OS-i jaoks tuleks valida spetsiaalne ketas. Klõpsake "Installimise sihtkoht" ja valige ketas, reaalajas on mitu ketast olemas, peame valima eelistatuma "sda".

6. Muud salvestusvalikud - valige teine suvand (konfigureerin sektsiooni), et konfigureerida operatsioonisüsteemiga seotud sektsioonid nagu/var,/var/log,/home,/tmp,/opt,/swap.

7. Kui see on tehtud, alustage installimist.

8. Kui installimine on lõppenud, taaskäivitage server.

9. Logige serverisse sisse ja määrake hostinimi.

# hostnamectl status
# hostnamectl set-hostname tecmint
# hostnamectl status

Selles artiklis oleme läbinud OS-i installimise etapid ja failisüsteemi jaotamise parimad tavad. Need kõik on üldised juhised, vastavalt töökoormuse laadile võime klastri parima jõudluse saavutamiseks vaja keskenduda rohkematele nüanssidele. Klastrite planeerimine on Hadoopi administraatori jaoks kunst. Järgmises artiklis uurime põhjalikult OS-i eeltingimusi ja turvalisuse karastamist.