CDH 4.X-i Apache Oozie töövooajastaja installimine ja konfigureerimine RHEL/CentOS 6/5-s

Oozie on Hadoopi jaoks avatud lähtekoodiga ajastaja, see lihtsustab töövoogu ja tööde koordineerimist. Võime määratleda sisendandmete sõltuvuse tööde vahel ja seega automatiseerida sõltuvuse töö ajastamise ajastaja abil.

Selles õpetuses olen installinud Oozie oma põhisõlmele (st peremees hostinimeks ja kuhu on installitud namenode/JT ), kuid tootmissüsteemis peaks oozie olema installitud eraldi sõlm.

Paigaldusjuhised on jagatud kaheks osaks, nimetame neid A ja B.

A. Oozie installatsioon.
B. Oozie seadistamine.

Kontrollime kõigepealt süsteemi hostinime, kasutades käsku „hostinimi”.

 hostname

master

Meetod A: Oozie installimine RHEL/CentOS 6/5-le

CDH4 installimiseks kasutame cloudera saidi ametlikku CDH hoidlat. Minge CDH4 ametlikku allalaadimisjaotisse ja laadige alla CDH4 (st 4.6) versioon, või võite ka hoidla allalaadimiseks ja installimiseks kasutada järgmist käsku wget.

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.i386.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/i386/cloudera-cdh-4-0.i386.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/x86_64/cloudera-cdh-4-0.x86_64.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

Kui olete CDH-i hoidla oma süsteemi lisanud, saate Oozie süsteemi installimiseks kasutada järgmist käsku.

 yum install oozie

Nüüd installige oozie klient (ülaltoodud käsk peaks katma kliendi installimise osa, kuid kui mitte, proovige käsku allpool).

 yum install oozie-client

Märkus. Ülaltoodud installimine konfigureerib oozie teenuse käitamiseks ka süsteemi käivitamisel. Tubli töö! Oleme installimise esimese osaga läbi saanud. Nüüd liigume oozie seadistamiseks teise ossa.

Meetod B: Oozie seadistamine RHEL/CentOS 6/5 seadmes

Kuna oozie ei suhtle otse Hadoopiga, pole meil siin vaja ühtegi kaardistatud konfiguratsiooni.

Ettevaatust: konfigureerige kõik seaded, kui oozie ei tööta, see tähendab, et peate järgima alltoodud samme, kui oozie-teenus ei tööta.

Ooziel on DB-s vaikimisi sisse ehitatud ‘Derby’, kuid soovitaksin kasutada Mysql DB-d. Nii et installime MySQL-i andmebaasi järgmise artikli abil.

Installige MySQL-i andmebaas rakendusse RHEL/CentOS 6/5

Kui olete installimisosaga valmis saanud, liikuge järgmisena edasi, et luua oozie DB ja anda õigused, nagu allpool näidatud.

 mysql -uroot -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.5.38 MySQL Community Server (GPL) by Remi

Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> create database oozie;
Query OK, 1 row affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> exit
Bye

Järgmisena konfigureerige MySQL-i jaoks Oozie atribuudid. Avage fail oozie-site.xml ja muutke järgmisi atribuute, nagu näidatud.

 cd /etc/oozie/conf
 vi oozie-site.xml

Sisestage järgmised atribuudid (asendage lihtsalt master [minu hostinimi] oma hostinimega).

<property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <value>jdbc:mysql://master:3306/oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <value>oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>oozie</value>
    </property>

Laadige alla ja lisage MySQL JDBC-ühenduse draiver JAR Oozie libi kataloogi. Selleks käivitage terminalis järgmine tõsine käsk.

 cd /tmp/
 wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.31.tar.gz
 tar -zxf mysql-connector-java-5.1.31.tar.gz	
 cd mysql-connector-java-5.1.31
 cp mysql-connector-java-5.1.31-bin.jar /var/lib/oozie/

Looge oozie andmebaasi skeem, käivitades allpool olevad käsud ja pange tähele, et seda tuleks käivitada oozie kasutajana.

 sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run

setting OOZIE_CONFIG=/etc/oozie/conf
setting OOZIE_DATA=/var/lib/oozie
setting OOZIE_LOG=/var/log/oozie
setting OOZIE_CATALINA_HOME=/usr/lib/bigtop-tomcat
setting CATALINA_TMPDIR=/var/lib/oozie
setting CATALINA_PID=/var/run/oozie/oozie.pid
setting CATALINA_BASE=/usr/lib/oozie/oozie-server-0.20
setting CATALINA_OPTS=-Xmx1024m
setting OOZIE_HTTPS_PORT=11443
...
DONE
Oozie DB has been created for Oozie version '3.3.2-cdh4.7.0'
The SQL commands have been written to: /tmp/ooziedb-8250405588513665350.sql

Oozie veebikonsooli lubamiseks peate Internetist alla laadima ExtJS libi. Minge ametlikule CDH ExtJS-i lehele ja laadige alla ExtJS-i versiooni 2.2 teegid või saate paketi alla laadida järgmise käsu abil.

 cd /tmp/
 wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip
 unzip ext-2.2.zip
 mv ext-2.2 /var/lib/oozie/

Lõpuks käivitage oozie server, käivitades järgmised käsud.

 service oozie status
not running.

 service oozie start

 service oozie status
running

 oozie admin -oozie http://localhost:11000/oozie -status
System mode: NORMAL

Avage oozie kasutajaliides oma lemmikbrauseri abil ja osutage oma IP-aadressile. Sellisel juhul on minu IP 192.168.1.129.

http://192.168.1.129:11000

Kui näete seda kasutajaliidest. Palju õnne !! Olete oozie edukalt konfigureerinud.

Seda protseduuri on edukalt testitud RHEL/CentOS 6/5 seadmes. Oma eelseisvates artiklites jagan, kuidas seadistada ja ajastada hadoop-töid oozie kaudu. Püsige ühenduses rohkem ja ärge unustage oma tagasisidet kommenteerida.