当前位置: 首页 > news >正文

分库分表数据源ShardingSphereDataSource的Connection元数据误用问题分析

背景

对于分库分表应用来说,使用org.apache.shardingsphere.driver.jdbc.core.datasource.ShardingSphereDataSource是一个不错的解决方案,你可以通过配置文件编写分库分表规则,从而在编码时透明地使用分表(当然,路由规则的相关字段还是要传的,之前也有文章分析过这些字段的处理过程:深入理解Mybatis分库分表执行原理)。

但是,在一些场景中是需要绕过mybatis直接做一些操作的,特别是和数据库元数据相关的操作(包括表的结构变更)。

比如我遇到的场景:先查询各个分库中有哪些前缀为table_的表,并给这些表加一列col_x

我结合现有代码和大语言模型,先写了一版,线下运行良好,但是线上的某些分库死活找不到对应的分表,没法进行后续的处理。这个问题查了很久,昨天终于解决了,因此分享出来。

存在问题的代码

@Componet
public class TableAlterHandler {@Resource private ShardingSphereDataSource dataSource;public List<String> findTablesByPrefix(String prefix, String physicalSchemaName) {if (StringUtils.isBlank(prefix) || StringUtils.isBlank(physicalSchemaName)) {throw new RuntimeException("分表前缀或分库名为空");}List<String> tableNames = Lists.newArrayList();try (HintManager hintManager = HintManager.getInstance();Connection conn = dataSource.getConnection()) {hintManager.setDataSourceName(DBUtil.queryLogicalSchemaName(physicalSchemaName));DatabaseMetaData metaData = conn.getMetaData();try (ResultSet rs = metaData.getTables(physicalSchemaName, null, prefix + "%", new String[] {"TABLE"})) {while (rs.next()) {String tableName = rs.getString("TABLE_NAME");tableNames.add(tableName);}}} catch (SQLException e) {throw new RuntimeException("处理大结果集失败", e);}return tableNames;}
}

逻辑库和物理库

在分析问题之前,首先要明确两个概念:物理库名physicalSchemaName和逻辑库名logicalSchemaName,如果用错了,可能会让你没办法发现后续问题的本质原因。上面的代码,hintManager必须用逻辑库名,而metaData.getTables必须用物理库名。

所谓物理库和逻辑库,可以看作是我定义的概念。正如其名,物理库名就是你jdbcUrl里的库名,比如一个典型的阿里云Mysql的JDBC链接jdbc:mysql://``rm-bpxxxx.mysql.rds.aliyuncs.com/bizcenter_1?useSSL=false&autoReconnect=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai

其中的bizcenter_1就是物理库名。这个名称也会在MySql元数据中出现,比如

select * from information_schema.tables;

可以看到这个库的所有表,而TABLE_SCHEMA列就是物理库名。

而逻辑库,则是ShardingSphereDataSource对物理库的映射,在application的配置文件(properties或yml)里,spring.shardingsphere.datasource配置下,你需要配置逻辑库名以及对应的JDBC链接。

你可以将多个逻辑库配置为同一个物理库,这是一种实践方式,可以用于后续的扩容。

问题现象

线下的三个逻辑库分别对应一个物理库,而这三个物理库在同一个阿里云RDS实例上,可以找到每个库对应的表。

而线上的仍然是三个逻辑库对应各自的物理库,每个物理库在不同的阿里云RDS实例上,会出现有时候能找到某个库对应的表,而另外两个库一个表都找不到的情况。

排查

遇到问题后,百思不得其解,因为线下环境一切正常,线上却总能复现问题。由于线上环境管控比较严,既不能远程debug,又不能直连线上库,很难定位原因。

第一阶段排查,我反复确认了上面代码中需要传数据库名的地方到底是逻辑库还是物理库。中间某个版本的确搞错了,但是为何在写错的前提下还能运行,没有做记录。

然后,我删掉了connection.setAutoCommit(false)resultSet.setFetchSize(batchSize)这样的用于降低每次查询元数据结果数量的代码,也没效果。

最后,我把代码移到了另一个连接同样数据库的应用中,因为那个应用有我之前类似的代码。移过去以后倒是歪打正着地解决了。

第二阶段的排查,是在一段时间后,我在原先的应用中开发新的功能,对原先代码进行改动,自以为修复好了,但是上线后发现还是和之前一样。

分析

线下线上最大的区别就是线下几个库是同一个MySql实例,而线上分属三个。我的代码里,疑点最大的是查询元数据metaData.getTables()这段。

好巧不巧,在我排查的第一阶段和第二阶段中间,我写了一个迁移表的功能,完全新写了查询表名的代码,并且为了不再犯物理库和逻辑库搞混的错误,特别地写了对应的工具类:

/*** 数据源持有组件,便于应用直接访问数据源**/
@Component
public class DataSourceHolder {@Resource protected ShardingSphereDataSource dataSource;/** 物理库名(jdbc链接里的库名)和数据源的关系 */private Map<String, HikariDataSource> hikariDataSourceMap;/** 逻辑库名-物理库名关系 多个逻辑库可能对应同一个物理库 */private Map<String, String> dsNameMap;/*** 通过物理库名获取ds** @param physicalSchemaName* @return*/public HikariDataSource getDataSourceByPhysicalSchemaName(String physicalSchemaName) {return hikariDataSourceMap.get(physicalSchemaName);}/*** 通过逻辑库名获取对应物理库名** @param dsName* @return*/public String getPhysicalSchemaName(String dsName) {return dsNameMap.get(dsName);}/*** 通过逻辑库名获取ds** @param logicalSchemaName* @return*/public HikariDataSource getDataSourceByLogicalSchemaName(String logicalSchemaName) {String physicalSchemaName = getPhysicalSchemaName(logicalSchemaName);if (StringUtils.isBlank(physicalSchemaName)) {throw new RuntimeException("逻辑库名找不到对应物理库, logicalSchemaName=" + logicalSchemaName);}return hikariDataSourceMap.get(physicalSchemaName);}@PostConstructpublic void initHikariDataSourceMap() {dsNameMap = Maps.newHashMap();hikariDataSourceMap = Maps.newHashMap();Map<String, DataSource> dataSourceMap =dataSource.getContextManager().getDataSourceMap(dataSource.getSchemaName());dataSourceMap.forEach((dsName, ds) -> {HikariDataSource hds = (HikariDataSource) ds;try (Connection connection = hds.getConnection(); ) {hikariDataSourceMap.put(connection.getCatalog(), hds);dsNameMap.put(dsName, connection.getCatalog());} catch (SQLException e) {throw new RuntimeException("组装数据源map失败", e);}});}
}

对应地,获取数据库Connection的方法是:

HikariDataSource hikariDataSource = dataSourceHolder.getDataSourceByPhysicalSchemaName(dsName);
Connection connection = hikariDataSource.getConnection();

并且也不再使用HintManager指定逻辑库。

联想到线上线下MySql实例的差异,我猜测是因为:

线下三个库是同一个MySql实例,那么元数据information_schema.tables是一样的,在哪个库都能查到对应表。

线上则是不同的实例,直接使用ShardingSphereDataSource对应Connection的元数据,并不总是预期的库。

这个猜测原因,也在之前第一阶段的排查吻合,能正常工作的代码所在应用,获取数据源的方式实际是

Map<String, DataSource> allDataSource =shardingSphereDataSource.getContextManager().getDataSourceMap("logic_db");
Connection connection = allDataSouce.get(logicalSchemaName).getConnection();

虽然它也用了HintManger,但我认为是没有意义的。

修复

综合以上的分析,最终的修复代码如下

    List<String> tableNames = Lists.newArrayList();try (Connection conn =dataSourceHolder.getDataSourceByPhysicalSchemaName(physicalSchemaName).getConnection()) {DatabaseMetaData metaData = conn.getMetaData();try (ResultSet rs =metaData.getTables(physicalSchemaName, null, prefix + "%", new String[] {"TABLE"})) {while (rs.next()) {String tableName = rs.getString("TABLE_NAME");tableNames.add(tableName);}}} catch (SQLException e) {throw new RuntimeException("处理大结果集失败", e);}return tableNames;

这次再部署到生产环境,运行符合预期。

可见,当你需要实际分库对应的元数据时,不要用shardingSphereDataSource,而是应该用它关联具体分库的dataSource,也即shardingSphereDataSource.getContextManager().getDataSourceMap(),再用这个分库dataSource获取元数据。

否则,线下线上不同的MySql实例配置,会导致不同的现象,难以排查真正的原因。

http://www.zskr.cn/news/159653.html

相关文章:

  • 福特汽车主观评价规范:性能开发的宝藏指南
  • 年末财税稳控,让发票与收入成本“零隐患”
  • django基于Django的在线课程学习平台1_w494xm97
  • 2025专科生必看!10个AI论文工具测评:开题报告文献综述全攻略
  • CS50 week 4 Problems
  • 程序员越往上走,拼的从来不是技术,而是「会说话」的能力
  • 中国猎鹰特卫暖心护航,这场元旦盛会温情满溢~
  • 基于SpringBoot的高校教职工教师健康监护管理系统 企业员工健康管理系统_zohnb572
  • Science | DAP-seq助力揭示CsARF3调控黄瓜雌花形成分子机制
  • 信刻光盘摆渡系统介绍
  • LLM代理的库学习机制及其持续自我改进能力
  • 球幕影院投资成本分析与9D电影设备多少钱一套的综合探讨
  • 2025.12.26
  • 2025年度GEO优化全国服务商排名揭晓 - 源码云科技
  • 2025.12.26日21:51-gratification满意
  • 一、Python核心语句结构(配套答案)
  • 电动汽车动力系统匹配与整车经济性计算模型
  • 中医执医(助理)备考攻略!哪家培训机构实力领跑? - 资讯焦点
  • 鸿蒙后台任务到底该怎么写?TaskPool、Service、WorkScheduler 一次讲透
  • 京东m端 最新滑块逆向 e卡绑定
  • vmware安装ubuntu虚拟机后与主机win10共享文件夹
  • 全国中医师承培训机构哪家好?阿虎医考师承实测真心靠谱 - 资讯焦点
  • 南方湿冷魔法攻击破局指南:羽绒服材质抗冻性能深度解析 - 资讯焦点
  • 西门子1200双套三坐标六轴联动系统:含SCL语言模板、PLC通信与V90伺服驱动,中文注释程...
  • DM8共享集群数据库导出及导入之(dexp/dimp)
  • 探秘文件包含漏洞:从本地挖掘到远程威胁,PHP伪协议成“帮凶”
  • 创建linux虚拟机的初始化步骤
  • 2025最新!自考党必看TOP8 AI论文平台测评与推荐
  • 揭示宝宝敏感肌纸尿裤护理指南:宝宝敏感肌纸尿裤哪个牌子靠谱|五大靠谱敏感肌纸尿裤品牌专业推荐 - 速递信息
  • 激励型需求响应 matlab +cplex 激励型需求响应采用激励型需求响应方式对负荷进行转移...