Añadir Repositorios

  1. Ingresar a la siguiente ruta:
    cd /etc/apt/sources.list.d/
  2. Añadir el repositorio de Cloudera Manager para Ubuntu 16.04:
    sudo wget https://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/cloudera.list

  3. Actualizar los repositorios del sistema:

    sudo apt-get update

  4. Si resulta un error con el contenido del repositorio, se debe editarlo:

    sudo nano cloudera.list

    1. Añadir el siguiente contenido:

      # Packages for Cloudera's Distribution for Hadoop, Version 5, on Ubuntu 16.04 amd64       
deb [arch=amd64] http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm xenial-cm5 contrib
deb-src http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm xenial-cm5 contrib

    2. Actualizar los repositorios del sistema.

    3. En caso de tener problema con las llaves publicas del repositorio

        $ wget https://archive.cloudera.com/cdh5/ubuntu/xenial/amd64/cdh/archive.key -O archive.key
  $ sudo apt-key add archive.key

Instalar Cloudera Manager

Cloudera requiere de bases de datos para gestionar la información genera por los servicios internos de algunas aplicaciones. Por defecto, la instalación de Cloudera Manager viene con PostgresSQL.

  1. sudo apt install cloudera-manager-server-db-2
  2. Iniciar la base de datos de Cloudera Manager:
    sudo systemctl start cloudera-scm-server-db

  3. Inicar el servidor de Cloudera Manager:

    sudo systemctl start cloudera-scm-server

Configuraciones Iniciales

  1. Ingresar a la interfaz del servidor de Cloudera Manager:

    <ip-servidor>:7180

  2. Se debe ingresar la credenciales de usuario. Por defecto sera:
    username: admin
    password: admin

  3. En la siguiente página se aceptan los términos y condiciones del software y se da clic en el botón Continue:

  4. En la siguiente página se elige la versión Cloudera Express y se da clic en el botón Continue:

  5. En la siguiente página se informa los servicios que serán instalados con Cloudera Manager. Se da clic en el botón Continuar:

  6. En la siguiente página se ingresa el nombre del hostname de la máquina donde se este haciendo la instalación y se da clic en el botón Search:

  7. En la siguiente interfaz se da clic en el botón Continue:

  8. En la siguiente página se da clic en el botón Continue:

  9. En la siguiente página el Wizard da la posibilidad de instalar JDK. Como ya se tiene esta instalación dentro del sistema esta opción no se elige y solo se da clic en el botón Continue:

  10. En el siguiente paso se deja la configuración por default en donde cada servicio de Cloudera Manager manaje un perfil por aparte. Se da clic en el botón Continue:

  11. En el siguiente paso se elige el usuario que tendrá privilegios de super usuario sin necesidad de contraseña. Este fue el usuario que se configuró en el capítulo Preparación del Sistema Operativo, sección Configurar Permisos Universales. Para la opción Login To All Hosts As se elige la opción Another user. Luego se ingresa el nombre del usuario y su correspondiente contraseña. Por último se da clic en el botón Continue:

  12. Se empezará el proceso de instalación del Cluster:

  13. Una vez termine se da clic en el botón Continue:

  14. Se empezará la distribución de los servicios en los nodos dentro del sistema, en este caso solo uno:

  15. Una vez se termine el proceso se da clic en el botón Continue:

  16. Se hará un chequeo del estado de los host. Se da clic en el botón Finish:

  17. Luego se debe elegir los servicios que serán instalados en Cloudera Manager. Posteriormente estos pueden instalados o eliminados. En este caso se elige la opción Custom Services _y se señalan los servicios deseados. Luego se da clic en el botón _Continue:

  18. Se mostrará una interfaz para configurar los roles asignados a cada servicio. Se deja las configuraciones por defecto y se da clic en el botón Continue:

  19. En el siguiente paso se debe verificar la conexión del cluster a la base de datos. Se da clic en el botón Test Connection:

  20. Una vez verificada se da clic en el botón Continue:

  21. Se mostrará un resumen de los cambios que serán ejecutados. Se da clic en el botón Continue:

  22. Empezará en proceso de instalación de los servicios:

  23. Cuando termine se da clic en el botón Continue:

  24. Por último se mostrará un mensaje indicando que todos los servicios fueron instalados. Se da clic en el botón Continue:

  25. Aparecerá el panel de administración de Cloudera Manager:

  26. Uno de los servicios instalados, Hadoop File System (HDFS), como forma predeterminada tiene un factor de replicación de tres para respaldar toda la información guardada, lo que significa que cada parte de los archivo guardados en el HDFS estará en tres nodos diferentes. Como en este caso solo se tiene un nodo se debe configurar el factor de replicación a 1. Para esto se da clic en HDFS:

  27. Luego en Configuration:

  28. En la siguiente interfaz se escribe replication factor _en el cuadro de búsqueda. Para el primer resultado que aparece se cambia el valor de 3 a 1. Por último se da clic en el botón _Save Changes:

  29. Los cambios efectuados solo se aplicarán para los nuevos archivos. Los archivos ya existentes en el HDFS seguen teniendo configurado el factor de replicación en 3. Para modificarlo ingresamos a una terminar y ejecutamos el siguiente comando:

    sudo -u hdfs hadoop fs -setrep -w <replication factor> -R /

  30. Luego se reinicia el cluster. Dentro del panel de administración de Cloudera Manager se despliegan las opciones del cluster y se da clic en Restart:

  31. Por último, luego de terminar de reiniciar todos los servicios, se da clic en el botón Close:

results matching ""

    No results matching ""