DataHub – 为现代数据技术栈而生的元数据管理平台

1.引言
当前属于大数据时代，数据爆炸式增长，当然管理数据的工具也是层出不穷，从传统的单机关系型数据库PostgreSQL、Oracle、MySQL、MS SQL到擅长分析的Greenplum、Clickhouse、Vertica等，再到前几年火的不要不要的Hadoop体系，种类繁多的数据管理软件，也得有上百种了。以下截图节选自知名VC Matt Turck分享的数据栈：

完整图片获取地址：http://mattturck.com/wp-content/uploads/2021/12/2021-MAD-Landscape-v3.pdf
2.问题的产生
当然我们今天不是要讨论这些数据管理软件的优劣。大家从第一部分也可以看到，数据管理软件层出不穷，小型企业可能并不能切身感受到多种数据技术带来的苦恼，但是稍微成规模的企业，总要有自己的业务系统数据库、分析型数据平台、海量数据存储的平台等等，那么这么多平台带来的最直观的问题就是管理。
数据平台多，数据可能存在多个不必要的副本，数据质量就无法保证，数据的空间感就会很差，数据管理的混乱，导

DataHub – 为现代数据技术栈而生的元数据管理平台最先出现在Python成神之路。