数据治理数据质量与元数据管理大家好我是欧阳瑞Rich Own。今天想和大家聊聊数据治理这个重要话题。作为一个全栈开发者数据治理是确保数据资产价值的关键。今天就来分享一下数据质量和元数据管理的实战经验。数据治理概述什么是数据治理数据治理是对数据资产的管理和控制 确保数据的质量、安全、合规和价值核心目标目标说明数据质量确保数据准确、完整、一致数据安全保护敏感数据不泄露数据合规符合法律法规要求数据价值最大化数据资产价值数据质量质量维度维度说明示例准确性数据正确无误用户年龄应为正数完整性数据不缺失用户必须有姓名一致性数据格式统一日期格式统一为YYYY-MM-DD时效性数据及时更新用户状态实时同步数据质量检查import pandas as pd def check_data_quality(df): issues [] # 检查空值 null_count df.isnull().sum() for col, count in null_count.items(): if count 0: issues.append(f列 {col} 有 {count} 个空值) # 检查数据类型 for col in df.columns: if df[col].dtype object: # 检查日期格式 if col.lower().contains(date): try: pd.to_datetime(df[col]) except ValueError: issues.append(f列 {col} 日期格式不正确) # 检查范围 if age in df.columns: invalid_age df[(df[age] 0) | (df[age] 150)] if len(invalid_age) 0: issues.append(f年龄列有 {len(invalid_age)} 个无效值) return issues数据清洗def clean_data(df): # 处理空值 df[email] df[email].fillna() # 统一日期格式 df[created_at] pd.to_datetime(df[created_at], errorscoerce) # 去除重复数据 df df.drop_duplicates() # 标准化文本 df[name] df[name].str.strip().str.title() return df元数据管理元数据类型类型说明示例技术元数据数据结构和存储信息表结构、字段类型业务元数据数据业务含义字段业务定义管理元数据数据管理信息数据负责人、更新时间元数据采集import sqlalchemy def extract_metadata(connection_string): engine sqlalchemy.create_engine(connection_string) metadata sqlalchemy.MetaData() metadata.reflect(bindengine) tables_info [] for table in metadata.tables.values(): columns_info [] for column in table.columns: columns_info.append({ name: column.name, type: str(column.type), nullable: column.nullable, primary_key: column.primary_key }) tables_info.append({ name: table.name, columns: columns_info }) return tables_info元数据存储# 使用SQLite存储元数据 import sqlite3 def store_metadata(tables_info, db_pathmetadata.db): conn sqlite3.connect(db_path) cursor conn.cursor() # 创建表 cursor.execute( CREATE TABLE IF NOT EXISTS tables ( id INTEGER PRIMARY KEY AUTOINCREMENT, name TEXT UNIQUE ) ) cursor.execute( CREATE TABLE IF NOT EXISTS columns ( id INTEGER PRIMARY KEY AUTOINCREMENT, table_id INTEGER, name TEXT, type TEXT, nullable INTEGER, primary_key INTEGER, FOREIGN KEY (table_id) REFERENCES tables(id) ) ) # 插入数据 for table in tables_info: cursor.execute(INSERT OR IGNORE INTO tables (name) VALUES (?), (table[name],)) cursor.execute(SELECT id FROM tables WHERE name ?, (table[name],)) table_id cursor.fetchone()[0] for column in table[columns]: cursor.execute( INSERT OR REPLACE INTO columns (table_id, name, type, nullable, primary_key) VALUES (?, ?, ?, ?, ?) , (table_id, column[name], column[type], 1 if column[nullable] else 0, 1 if column[primary_key] else 0)) conn.commit() conn.close()实战案例数据质量管理平台class DataQualityPlatform: def __init__(self): self.rules [] def add_rule(self, rule): self.rules.append(rule) def validate(self, df): results [] for rule in self.rules: result rule.validate(df) results.append({ rule: rule.name, passed: result[passed], message: result[message] }) return results class EmailFormatRule: name email_format def validate(self, df): if email not in df.columns: return {passed: True, message: 跳过无email列} import re email_pattern r^[\w\.-][\w\.-]\.\w$ invalid_emails df[~df[email].str.match(email_pattern, naFalse)] if len(invalid_emails) 0: return { passed: False, message: f发现 {len(invalid_emails)} 个无效邮箱格式 } return {passed: True, message: 所有邮箱格式正确}最佳实践1. 数据质量监控# 设置定时任务检查数据质量 import schedule import time def daily_check(): df load_data() issues check_data_quality(df) if issues: send_alert(issues) schedule.every().day.at(08:00).do(daily_check) while True: schedule.run_pending() time.sleep(1)2. 数据血缘追踪# 记录数据血缘关系 class DataLineage: def __init__(self): self.lineage {} def add_lineage(self, target, sources): self.lineage[target] sources def get_sources(self, target): return self.lineage.get(target, [])总结数据治理是企业数据管理的核心。通过数据质量检查和元数据管理可以确保数据资产的价值和可靠性。我的鬃狮蜥Hash对数据治理也有自己的理解——它总是确保蟋蟀的质量只捕捉健康的蟋蟀这也许就是自然界的数据治理吧如果你对数据治理有任何问题欢迎留言交流我是欧阳瑞极客之路永无止境技术栈数据治理 · 数据质量 · 元数据管理
