在 Marimo 交互式笔记本中连接与查询 StarRocks 的完整指南【免费下载链接】starrocksThe worlds fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.项目地址: https://gitcode.com/GitHub_Trending/st/starrocks导读Marimo 是一款以可复现性与交互性为核心设计的响应式 Python 笔记本适合进行数据探索、可视化与可复现分析。本篇指南基于 StarRocks 官方集成文档演示如何在 Marimo 中通过 SQLAlchemy 驱动连接 StarRocks 集群并借助 Marimo 的交互式 UI 安全收集数据库凭据最终使用 pandas 执行查询并以交互式表格呈现结果。阅读完本文你将掌握从零搭建 Marimo StarRocks 分析环境、编写可复用数据探索笔记本的完整实战方案并了解底层starrocksSQLAlchemy Dialect 的实现机制。本文关联文档docs/en/integrations/IDE_integrations/marimo.mdPython 客户端源码contrib/starrocks-python-client。前置条件在开始之前请先按照 Marimo 官方的快速开始文档安装 Marimo 并初始化一个笔记本。随后安装与 StarRocks 交互所需的 Python 包pip install starrocks sqlalchemy pandas三个包的分工如下包作用starrocksStarRocks 官方维护的 SQLAlchemy Dialect提供starrocks://连接协议、StarRocks 专属数据类型如BITMAP、HLL、ARRAY、JSON与 DDL 能力源码见 contrib/starrocks-python-client/starrockssqlalchemy统一的数据库访问层starrocks包以插件形式注册为其方言实现pandas将 SQL 查询结果读取为 DataFrame供 Marimo 渲染与后续分析提示starrocks包除同步连接外还支持基于asyncmy驱动的异步连接连接串为starrocksasyncmy://详见 contrib/starrocks-python-client/README.md。同步场景下本文统一使用starrocks://。连接到 StarRocks使用 SQLAlchemy 创建连接引擎连接串的通用格式为starrocks://User:PasswordHost:Port/[Catalog.]Database在 Marimo 笔记本的单元格中创建引擎import marimo as mo import sqlalchemy as sa engine sa.create_engine(starrocks://username:passwordhost:9030)其中User / PasswordStarRocks 登录用户名与密码HostStarRocks FEFrontend节点的主机名或 IPPortStarRocks FE 的查询端口默认为9030与 MySQL 协议端口一致Catalog / Database可省略省略时使用 StarRocks 默认目录default_catalog数据库在后续 SQL 中通过database.table形式引用。关于连接串的源码级说明starrocks包的 SQLAlchemy Dialect 实现位于 contrib/starrocks-python-client/starrocks/dialect.py它基于 SQLAlchemy 的MySQLDialect_pymysql扩展而来因此连接行为与 MySQL 协议高度一致。从连接串解析逻辑见 contrib/starrocks-python-client/starrocks/common/consts.py 与 contrib/starrocks-python-client/starrocks/common/params.py可以确认Catalog 是可选项未指定时由 StarRocks 统一管理并默认使用default_catalogDialect 同时支持反射Reflection能力StarRocksInspector会向 FE 查询目录、表、视图与物化视图的元数据contrib/starrocks-python-client/starrocks/reflection.py这正是 Marimo 左侧「DATA SOURCES」面板能自动展开default_catalog下数据库与表清单的底层机制。使用 Marimo UI 收集凭据将用户名和密码硬编码在笔记本中既不安全也不利于共享。Marimo 的响应式 UI 组件可以在运行时渲染输入控件并将用户输入绑定到 Python 变量上从而避免凭据落盘。单元格 1—— 渲染用户名与密码输入框user mo.ui.text(labelUsername) pw mo.ui.text(labelPassword, kindpassword) mo.hstack([user, pw])mo.hstack将两个输入框水平并排显示kindpassword让密码框以掩码形式展示输入内容。单元格 2—— 使用用户输入的值创建引擎engine sa.create_engine( fstarrocks://{user.value}:{pw.value}host:9030 )Marimo 的响应式依赖机制会自动跟踪user.value与pw.value当你在输入框中修改任何一项时单元格 2 会自动重新执行引擎随之重建。这种「改即重算」的行为是 Marimo 区别于传统 Jupyter 笔记本的核心体验。查询 StarRocks 数据引擎就绪后用 pandas 的read_sql执行查询再通过mo.ui.table将结果渲染为可交互表格import pandas as pd df pd.read_sql(SELECT * FROM my_database.my_table LIMIT 100, engine) mo.ui.table(df)mo.ui.table渲染出的表格支持分页浏览、列筛选、排序并附带 Visualize可视化、Explore探索、Export导出等操作入口适合在数据探索阶段快速查看数据形态。下图展示了 Marimo 笔记本连接 StarRocks 后的完整运行效果左侧面板列出starrocks (engine)下的数据源与已加载的 DataFrame 变量右侧依次是凭据输入、引擎创建与查询单元格底部为 100 行 20 列的交互式结果表格多 Catalog 支持StarRocks 的多 Catalog 能力允许在一个集群内统一访问外部数据源如 Hive、Iceberg、Hudi、JDBC 等的元数据与数据。在连接串中显式指定 Catalog 即可跨目录查询starrocks://User:PasswordHost:Port/Catalog.Database使用多 Catalog 时需要 Marimo 版本不低于 0.22.5。该版本起 Marimo 才能正确解析 SQLAlchemy Dialect 返回的多 Catalog 元数据包括目录名、跨目录表对象进而在左侧数据面板中完整展示各 Catalog 下的库表层级。在 Marimo 中进阶使用 StarRocks 的实用技巧技巧一验证连接创建引擎后先执行一个轻量查询验证连通性避免后续单元格因连接失败而连锁报错with engine.connect() as connection: print(Connection successful!) rows connection.execute(sa.text(SELECT 1)).fetchall() print(rows)技巧二把查询封装为响应式函数结合 Marimo 的mo.ui控件如下拉框、滑块与mo.cache装饰器可以构建交互式查询面板参数变化时自动重算缓存则避免重复执行相同查询table_name mo.ui.dropdown( options[my_table, other_table], valuemy_table, label选择表 ) limit mo.ui.number(1, 1000, value100, label返回行数) mo.hstack([table_name, limit]) mo.cache def load_data(): sql fSELECT * FROM my_database.{table_name.value} LIMIT {limit.value} return pd.read_sql(sql, engine) mo.ui.table(load_data())技巧三使用 StarRocks 专属数据类型与表属性starrocks包不仅提供连接能力还导出BITMAP、HLL、ARRAY、JSON、VARCHAR等 StarRocks 专属类型并支持通过 SQLAlchemy 以 ORM/Core 方式定义主键表、聚合表等复杂 Schema示例如下详见 contrib/starrocks-python-client/docs/usage_guide/sqlalchemy.mdfrom sqlalchemy import Column, MetaData, Table from starrocks import INTEGER, VARCHAR metadata MetaData() my_table Table( my_table, metadata, Column(id, INTEGER, primary_keyTrue), Column(name, VARCHAR(50)), starrocks_primary_keyid, starrocks_distributed_byHASH(id) BUCKETS 10, starrocks_properties{replication_num: 1}, )配合Base.metadata.create_all(engine)即可在笔记本中直接建表让 Marimo 成为一个轻量级的 Schema 管理前端。常见问题排查现象可能原因与处理starrocks://协议无法识别未安装starrocks包或安装后未重启 notebook 内核执行pip install starrocks并重启内核连接超时Host应指向 FE 节点而非 BE 节点端口默认为9030确认集群防火墙放行该端口查询报跨 Catalog 错误确认 Marimo 版本 ≥ 0.22.5并在连接串中显式写入Catalog.Database凭据未生效检查单元格 2 是否依赖了user.value/pw.value而非变量本身Marimo 依赖图需正确连线中文/特殊字符密码解析失败对密码做 URL 编码如需编码为%40或改用下方「凭据输入」小节的做法避免将特殊字符写入连接串字面量总结通过 SQLAlchemy pandas Marimo 的三层组合你可以用极少的样板代码在笔记本中完成 StarRocks 的连接、交互式查询与可视化starrocks包提供原生 SQLAlchemy Dialect 与 StarRocks 专属类型Marimo 的响应式 UI 让凭据输入与参数调节不再依赖硬编码而mo.ui.table则让查询结果即刻获得可交互的浏览体验。需要访问外部数据源时只需在连接串中显式指定 Catalog并确保 Marimo 版本不低于 0.22.5 即可。【免费下载链接】starrocksThe worlds fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.项目地址: https://gitcode.com/GitHub_Trending/st/starrocks创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
在 Marimo 交互式笔记本中连接与查询 StarRocks 的完整指南
在 Marimo 交互式笔记本中连接与查询 StarRocks 的完整指南【免费下载链接】starrocksThe worlds fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.项目地址: https://gitcode.com/GitHub_Trending/st/starrocks导读Marimo 是一款以可复现性与交互性为核心设计的响应式 Python 笔记本适合进行数据探索、可视化与可复现分析。本篇指南基于 StarRocks 官方集成文档演示如何在 Marimo 中通过 SQLAlchemy 驱动连接 StarRocks 集群并借助 Marimo 的交互式 UI 安全收集数据库凭据最终使用 pandas 执行查询并以交互式表格呈现结果。阅读完本文你将掌握从零搭建 Marimo StarRocks 分析环境、编写可复用数据探索笔记本的完整实战方案并了解底层starrocksSQLAlchemy Dialect 的实现机制。本文关联文档docs/en/integrations/IDE_integrations/marimo.mdPython 客户端源码contrib/starrocks-python-client。前置条件在开始之前请先按照 Marimo 官方的快速开始文档安装 Marimo 并初始化一个笔记本。随后安装与 StarRocks 交互所需的 Python 包pip install starrocks sqlalchemy pandas三个包的分工如下包作用starrocksStarRocks 官方维护的 SQLAlchemy Dialect提供starrocks://连接协议、StarRocks 专属数据类型如BITMAP、HLL、ARRAY、JSON与 DDL 能力源码见 contrib/starrocks-python-client/starrockssqlalchemy统一的数据库访问层starrocks包以插件形式注册为其方言实现pandas将 SQL 查询结果读取为 DataFrame供 Marimo 渲染与后续分析提示starrocks包除同步连接外还支持基于asyncmy驱动的异步连接连接串为starrocksasyncmy://详见 contrib/starrocks-python-client/README.md。同步场景下本文统一使用starrocks://。连接到 StarRocks使用 SQLAlchemy 创建连接引擎连接串的通用格式为starrocks://User:PasswordHost:Port/[Catalog.]Database在 Marimo 笔记本的单元格中创建引擎import marimo as mo import sqlalchemy as sa engine sa.create_engine(starrocks://username:passwordhost:9030)其中User / PasswordStarRocks 登录用户名与密码HostStarRocks FEFrontend节点的主机名或 IPPortStarRocks FE 的查询端口默认为9030与 MySQL 协议端口一致Catalog / Database可省略省略时使用 StarRocks 默认目录default_catalog数据库在后续 SQL 中通过database.table形式引用。关于连接串的源码级说明starrocks包的 SQLAlchemy Dialect 实现位于 contrib/starrocks-python-client/starrocks/dialect.py它基于 SQLAlchemy 的MySQLDialect_pymysql扩展而来因此连接行为与 MySQL 协议高度一致。从连接串解析逻辑见 contrib/starrocks-python-client/starrocks/common/consts.py 与 contrib/starrocks-python-client/starrocks/common/params.py可以确认Catalog 是可选项未指定时由 StarRocks 统一管理并默认使用default_catalogDialect 同时支持反射Reflection能力StarRocksInspector会向 FE 查询目录、表、视图与物化视图的元数据contrib/starrocks-python-client/starrocks/reflection.py这正是 Marimo 左侧「DATA SOURCES」面板能自动展开default_catalog下数据库与表清单的底层机制。使用 Marimo UI 收集凭据将用户名和密码硬编码在笔记本中既不安全也不利于共享。Marimo 的响应式 UI 组件可以在运行时渲染输入控件并将用户输入绑定到 Python 变量上从而避免凭据落盘。单元格 1—— 渲染用户名与密码输入框user mo.ui.text(labelUsername) pw mo.ui.text(labelPassword, kindpassword) mo.hstack([user, pw])mo.hstack将两个输入框水平并排显示kindpassword让密码框以掩码形式展示输入内容。单元格 2—— 使用用户输入的值创建引擎engine sa.create_engine( fstarrocks://{user.value}:{pw.value}host:9030 )Marimo 的响应式依赖机制会自动跟踪user.value与pw.value当你在输入框中修改任何一项时单元格 2 会自动重新执行引擎随之重建。这种「改即重算」的行为是 Marimo 区别于传统 Jupyter 笔记本的核心体验。查询 StarRocks 数据引擎就绪后用 pandas 的read_sql执行查询再通过mo.ui.table将结果渲染为可交互表格import pandas as pd df pd.read_sql(SELECT * FROM my_database.my_table LIMIT 100, engine) mo.ui.table(df)mo.ui.table渲染出的表格支持分页浏览、列筛选、排序并附带 Visualize可视化、Explore探索、Export导出等操作入口适合在数据探索阶段快速查看数据形态。下图展示了 Marimo 笔记本连接 StarRocks 后的完整运行效果左侧面板列出starrocks (engine)下的数据源与已加载的 DataFrame 变量右侧依次是凭据输入、引擎创建与查询单元格底部为 100 行 20 列的交互式结果表格多 Catalog 支持StarRocks 的多 Catalog 能力允许在一个集群内统一访问外部数据源如 Hive、Iceberg、Hudi、JDBC 等的元数据与数据。在连接串中显式指定 Catalog 即可跨目录查询starrocks://User:PasswordHost:Port/Catalog.Database使用多 Catalog 时需要 Marimo 版本不低于 0.22.5。该版本起 Marimo 才能正确解析 SQLAlchemy Dialect 返回的多 Catalog 元数据包括目录名、跨目录表对象进而在左侧数据面板中完整展示各 Catalog 下的库表层级。在 Marimo 中进阶使用 StarRocks 的实用技巧技巧一验证连接创建引擎后先执行一个轻量查询验证连通性避免后续单元格因连接失败而连锁报错with engine.connect() as connection: print(Connection successful!) rows connection.execute(sa.text(SELECT 1)).fetchall() print(rows)技巧二把查询封装为响应式函数结合 Marimo 的mo.ui控件如下拉框、滑块与mo.cache装饰器可以构建交互式查询面板参数变化时自动重算缓存则避免重复执行相同查询table_name mo.ui.dropdown( options[my_table, other_table], valuemy_table, label选择表 ) limit mo.ui.number(1, 1000, value100, label返回行数) mo.hstack([table_name, limit]) mo.cache def load_data(): sql fSELECT * FROM my_database.{table_name.value} LIMIT {limit.value} return pd.read_sql(sql, engine) mo.ui.table(load_data())技巧三使用 StarRocks 专属数据类型与表属性starrocks包不仅提供连接能力还导出BITMAP、HLL、ARRAY、JSON、VARCHAR等 StarRocks 专属类型并支持通过 SQLAlchemy 以 ORM/Core 方式定义主键表、聚合表等复杂 Schema示例如下详见 contrib/starrocks-python-client/docs/usage_guide/sqlalchemy.mdfrom sqlalchemy import Column, MetaData, Table from starrocks import INTEGER, VARCHAR metadata MetaData() my_table Table( my_table, metadata, Column(id, INTEGER, primary_keyTrue), Column(name, VARCHAR(50)), starrocks_primary_keyid, starrocks_distributed_byHASH(id) BUCKETS 10, starrocks_properties{replication_num: 1}, )配合Base.metadata.create_all(engine)即可在笔记本中直接建表让 Marimo 成为一个轻量级的 Schema 管理前端。常见问题排查现象可能原因与处理starrocks://协议无法识别未安装starrocks包或安装后未重启 notebook 内核执行pip install starrocks并重启内核连接超时Host应指向 FE 节点而非 BE 节点端口默认为9030确认集群防火墙放行该端口查询报跨 Catalog 错误确认 Marimo 版本 ≥ 0.22.5并在连接串中显式写入Catalog.Database凭据未生效检查单元格 2 是否依赖了user.value/pw.value而非变量本身Marimo 依赖图需正确连线中文/特殊字符密码解析失败对密码做 URL 编码如需编码为%40或改用下方「凭据输入」小节的做法避免将特殊字符写入连接串字面量总结通过 SQLAlchemy pandas Marimo 的三层组合你可以用极少的样板代码在笔记本中完成 StarRocks 的连接、交互式查询与可视化starrocks包提供原生 SQLAlchemy Dialect 与 StarRocks 专属类型Marimo 的响应式 UI 让凭据输入与参数调节不再依赖硬编码而mo.ui.table则让查询结果即刻获得可交互的浏览体验。需要访问外部数据源时只需在连接串中显式指定 Catalog并确保 Marimo 版本不低于 0.22.5 即可。【免费下载链接】starrocksThe worlds fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.项目地址: https://gitcode.com/GitHub_Trending/st/starrocks创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
