HuemulSolutions - BigDataGovernance

Enable full data quality and data lineage for BigData Projects. Huemul BigDataGovernance, es una librería que trabaja sobre Spark, Hive y HDFS. Permite la implementación de una **estrategia corporativa de dato único**, basada en buenas prácticas de Gobierno de Datos. Permite implementar tablas con control de Primary Key y Foreing Key al insertar y actualizar datos utilizando la librería, Validación de nulos, largos de textos, máximos/mínimos de números y fechas, valores únicos y valores por default. También permite clasificar los campos en aplicabilidad de derechos ARCO para facilitar la implementación de leyes de protección de datos tipo GDPR, identificar los niveles de seguridad y si se está aplicando algún tipo de encriptación. Adicionalmente permite agregar reglas de validación más complejas sobre la misma tabla. Facilita la configuración y lectura de las interfaces de entrada, permitiendo ajustar los parámetros de lectura en esquemas altamente cambientes, crea trazabilidad de las interfaces con las tablas en forma automática, y almacena los diccionarios de datos en un repositorio central. Finalmente, también automatiza la generación de código a partir de las definiciones de las interfaces de entrada, y la creación del código inicial de lógica de negocio.

License	Apache License, Version 2.0
Categories	Data
GroupId	com.huemulsolutions.bigdata
ArtifactId	huemul-bigdatagovernance
Last Version	2.6.3
Release Date	Apr 21, 2021
Type	jar
Description	HuemulSolutions - BigDataGovernance Enable full data quality and data lineage for BigData Projects. Huemul BigDataGovernance, es una librería que trabaja sobre Spark, Hive y HDFS. Permite la implementación de una **estrategia corporativa de dato único**, basada en buenas prácticas de Gobierno de Datos. Permite implementar tablas con control de Primary Key y Foreing Key al insertar y actualizar datos utilizando la librería, Validación de nulos, largos de textos, máximos/mínimos de números y fechas, valores únicos y valores por default. También permite clasificar los campos en aplicabilidad de derechos ARCO para facilitar la implementación de leyes de protección de datos tipo GDPR, identificar los niveles de seguridad y si se está aplicando algún tipo de encriptación. Adicionalmente permite agregar reglas de validación más complejas sobre la misma tabla. Facilita la configuración y lectura de las interfaces de entrada, permitiendo ajustar los parámetros de lectura en esquemas altamente cambientes, crea trazabilidad de las interfaces con las tablas en forma automática, y almacena los diccionarios de datos en un repositorio central. Finalmente, también automatiza la generación de código a partir de las definiciones de las interfaces de entrada, y la creación del código inicial de lógica de negocio.
Project URL	http://www.HuemulSolutions.com
Source Code Management	https://github.com/HuemulSolutions/huemul-bigdatagovernance

Download huemul-bigdatagovernance

Filename	Size
huemul-bigdatagovernance-2.6.3.pom
huemul-bigdatagovernance-2.6.3.jar	580 KB
huemul-bigdatagovernance-2.6.3-sources.jar	19 KB
huemul-bigdatagovernance-2.6.3-javadoc.jar	548 KB

How to add to project

Apache Maven

<!-- https://jarcasting.com/artifacts/com.huemulsolutions.bigdata/huemul-bigdatagovernance/ -->
<dependency>
    <groupId>com.huemulsolutions.bigdata</groupId>
    <artifactId>huemul-bigdatagovernance</artifactId>
    <version>2.6.3</version>
</dependency>

Gradle Groovy

// https://jarcasting.com/artifacts/com.huemulsolutions.bigdata/huemul-bigdatagovernance/
implementation 'com.huemulsolutions.bigdata:huemul-bigdatagovernance:2.6.3'

Gradle Kotlin

// https://jarcasting.com/artifacts/com.huemulsolutions.bigdata/huemul-bigdatagovernance/
implementation ("com.huemulsolutions.bigdata:huemul-bigdatagovernance:2.6.3")

Apache Buildr

'com.huemulsolutions.bigdata:huemul-bigdatagovernance:jar:2.6.3'

Apache Ivy

<dependency org="com.huemulsolutions.bigdata" name="huemul-bigdatagovernance" rev="2.6.3">
  <artifact name="huemul-bigdatagovernance" type="jar" />
</dependency>

Groovy Grape

@Grapes(
@Grab(group='com.huemulsolutions.bigdata', module='huemul-bigdatagovernance', version='2.6.3')
)

Scala SBT

libraryDependencies += "com.huemulsolutions.bigdata" % "huemul-bigdatagovernance" % "2.6.3"

Leiningen

[com.huemulsolutions.bigdata/huemul-bigdatagovernance "2.6.3"]

Dependencies

compile (15)

Group / Artifact	Type	Version
com.huemulsolutions.bigdata : huemul-sql-decode	jar	1.0
org.scala-lang : scala-library	jar	2.11.8
org.apache.spark : spark-streaming_2.11	jar	2.3.3
org.apache.hive : hive-jdbc	jar	2.3.4
org.apache.hbase.connectors.spark : hbase-spark	jar	1.0.0
org.apache.hbase : hbase-client	jar	1.1.2
org.apache.hbase : hbase-common	jar	1.1.2
org.apache.hbase : hbase-protocol	jar	1.1.2
org.apache.hbase : hbase-annotations	jar	1.1.2
org.apache.hbase : hbase-hadoop-compat	jar	1.1.2
org.apache.hbase : hbase-hadoop2-compat	jar	1.1.2
com.hortonworks.hive » hive-warehouse-connector_2.11	jar	1.0.0.3.1.0.0-78
org.apache.tika : tika-core	jar	1.23
org.apache.tika : tika-parsers	jar	1.23
org.apache.tika : tika-xmp	jar	1.23

provided (2)

Group / Artifact	Type	Version
org.apache.spark : spark-core_2.11	jar	2.3.3
org.apache.spark : spark-sql_2.11	jar	2.3.3

test (4)

Group / Artifact	Type	Version
junit : junit	jar	4.13.1
org.specs2 : specs2-core_2.11	jar	3.7.2
org.specs2 : specs2-junit_2.11	jar	3.7.2
org.scalatest : scalatest_2.11	jar	3.0.0-M15

system (1)

Group / Artifact	Type	Version
jdk.tools » jdk.tools	jar	1.8

Project Modules

There are no modules declared in this project.

Huemul Solutions

Implementing BigData Solutions for developers

Versions

Version
2.6.3 Apr 21, 2021
2.6.2 Nov 9, 2020
2.6.1 Aug 19, 2020
2.6 Jul 2, 2020
2.5 Apr 7, 2020
2.4 Mar 14, 2020
2.3.1 Feb 2, 2020
2.3 Jan 27, 2020
2.2 Dec 31, 2019
2.1 Nov 1, 2019
2.0.2 Nov 23, 2019
2.0.1 Aug 5, 2019
2.0 Aug 4, 2019
1.4.1 Jun 21, 2019
1.4 Jun 1, 2019
1.3.1 May 8, 2019
1.3 May 7, 2019
1.2 Apr 14, 2019
1.1 Jan 6, 2019
1.0 Sep 18, 2018