La refinación de datos es el proceso mediante el cual se pueden depurar datos heterogéneos dentro de un contexto común (la empresa), para hacer posible su comprensión y la obtención de información de los mismos. Esto se logra eliminando la variabilidad de los datos y su redundancia, con lo que se obtiene un recurso de datos integrados de mucho valor para la toma de decisiones.
Estudios recientes demuestran que el 90% de los datos disponibles hoy son de fuentes de
datos no estructuradas. La refinería de datos es la primera oferta capaz de procesar grandes cantidades de datos no estructurados provenientes de diferentes tipos de organizaciones, en todos los tipos de formatos (oraciones largas y complejas, frases cortas con errores ortográficos y gramaticales y otros tipos de datos) y provenientes de diferentes tipos de medios (páginas web, artículos de blog, mensajes y respuestas en redes sociales, quejas recogidas, etc.) de manera eficiente.
El proceso de refinación de datos es uno de los aspectos más importantes al almacenarlos porque los datos no refinados pueden causar un desastre en la producción de información de una empresa. Tradicionalmente se desarrolla un proceso de extracción, transformación, y carga de datos (ETL) con el cual se recopilan datos de varias fuentes, se transforman para cumplir con las reglas de negocio y las mejores prácticas de arquitectura de datos y finalmente se procede a la carga en un almacén de datos centralizado para efectos de análisis (el Data Warehouse).
Para automatizar el proceso de aprovisionamiento y explotación de grandes volúmenes de datos en una organización de manera eficiente, debe echarse mano de herramientas que lo permitan. Con Pentaho Data Integration y Hadoop se puede lograr un hub de información multi-fuente de alto rendimiento, donde se pueden almacenar, mezclar y luego publicar automáticamente los datos en forma de conjuntos de datos en motores de bases analíticas tales como HP Vertica, para su consumo y explotación por parte del usuario final mediante el descubrimiento de datos, informes, cuadros de mando y procesos analíticos avanzados.