Appearance
数仓与 AI 数据底座
本部分把《企业级数仓与 AI 数据底座 · 技术评估与选型建议》（2026-10-17，v20，26 页）整理成可检索、可执行的工程文档，并补上部署、验收与运维视角。 评估对象：某企业内部数智化团队的数仓与 AI 数据底座（内部技术评估）。
一句话结论
用 Kubernetes 做统一底座，用 对象存储做唯一持久层，用 Iceberg + REST Catalog 做开放表入口，计算、分析、调度、治理各自选最稳的开源组件；除硬件与云资源外，整套栈没有授权与订阅费用。
五层一横切
| 层 | 主推组件 | 备选 / 可选 | 这层解决什么问题 |
|---|---|---|---|
| 基础资源 | Kubernetes、Harbor、OpenBao、Envoy Gateway、cert-manager | 托管 K8s | 统一承载与调度、镜像来源、密钥、入口、证书 |
| 数据存储与组织 | Rook + Ceph RGW、Iceberg、Polaris、PostgreSQL、Kafka | SeaweedFS、Nessie、MinIO 商业发行版 | 唯一持久层 + 开放表入口，数据不被某个引擎或厂商锁死 |
| 加工与接入 | Flink CDC、DataX、Spark、Flink、DolphinScheduler | SeaTunnel、Debezium、Airflow | 把外部数据搬进湖里，并按依赖关系算出来 |
| 查询服务 | Doris、Kyuubi、受控网关 | StarRocks | 看板要快、临时分析要能跑、对外取数要收口 |
| 治理与可观测 | OpenMetadata、OpenLineage、Prometheus、Grafana、Loki、Alloy、Alertmanager | DataHub、OpenSearch | 数据找得到、血缘查得清、故障看得见 |
四条设计原则
- 唯一事实源在对象存储。 Doris、Elasticsearch、Kafka 里的数据都是副本或中间态，删掉必须能从 Iceberg 重建；这条决定了故障恢复与迁移成本。
- 入口开放、实现可换。 表格式用开放规范（Iceberg），目录用开放协议（REST Catalog）。换 Polaris、换 Nessie、换对象存储，只改连接配置，不搬数据、不动上层建模。
- 批流分工、调度收口。 批量走 Spark、实时走 Flink，两条链路用 DolphinScheduler 统一编排，不追求一个引擎干所有事。
- 全栈可私有化、许可可核查。 每个组件都能在自己的机房跑，没有"必须买某家订阅才能生产"的暗门；许可证逐个核对，AGPL 类组件单独标注。
阅读顺序
| 顺序 | 页面 | 适合谁 |
|---|---|---|
| 1 | 架构与数据流 | 所有人，先建立全局图 |
| 2 | 实战教程 | 实施者，照着命令搭 |
| 3 | 基础资源选型 | 平台 / 运维 |
| 4 | 存储与表格式选型 | 平台 / 数仓 |
| 5 | 计算与接入选型 | 数仓 / 开发 |
| 6 | 查询与治理选型 | 数仓 / 安全 / 运维 |
| 7 | 资源规划与采购 | 决策者、采购 |
| 8 | 多节点集群与低成本重建 | 实施者、采购 |
| 9 | 部署顺序与验收 | 实施者 |
| 10 | 高可用与容灾 | 架构 / 运维 |
| 11 | 边界、风险与后续 | 决策者，先看这里再拍板 |
| 12 | 验收证据 | 评审者，看实际界面与运行证据 |
| 13 | 测试结果 | 决策者，看结果矩阵与已知边界 |
与同目录组件文档的关系
06.大数据 下的 Hadoop、Hive、Kafka、Spark、Flink 等页面是组件知识：每个组件怎么用、怎么配、原理是什么。 本部分（06.大数据/13.数仓与AI数据底座）是新的部署方案：在 2026 年的技术条件下，这些组件该怎么组合成一套能落地、能替换、能审计的数据底座，以及为什么淘汰了其中一部分。
两者不冲突：老集群继续按 12.部署 维护，新底座按本部分建设。
文档范围
- 选型结论与 v20 技术评估稿一致，个别事实性表述已修正；
- 3 节点环境完成了 K8s、Kafka、MySQL/PostgreSQL、Flink CDC、Doris、DolphinScheduler、OpenMetadata、SeaweedFS 与监控的实测；
- 可跟做的步骤见 实战教程，界面证据见 验收证据；
- 当前边界：Flink slot 只有 4 个、OpenLineage 依赖桥接映射、SHS 只扫新事件目录、主要组件仍是单副本；测试配置不要直接抄进生产。
边界说明
- 本部分的"免费"指软件许可免费，不含服务器、带宽、存储、人力与商业支持。
- 性能数字除非注明实测，否则都是量级判断，不作为验收指标。
- 云厂商与机型价格会变，采购页给出的价格是 2026-10-17 页面快照，下单以实际结算为准。