Appearance
测试结果(附录)
1. 结果矩阵
| 项 | 结果 |
|---|---|
| 3 节点 K8s | 通过 |
| 1M 数据入湖/入仓 | 通过 |
| Spark K8s 批量 | 通过 |
| Flink CDC | 通过 |
| DolphinScheduler 调度 | 通过 |
| OpenMetadata 元数据/血缘 | 通过(桥接映射) |
| Harbor 镜像仓库 | 通过 |
| 监控/SHS | 通过 |
2. 关键数字
| 组件 | 结果 |
|---|---|
MySQL demo.orders | 1,000,012 |
PostgreSQL demo.pg_orders | 1,000,012 |
Iceberg lake.ods.pg_orders_uncompressed | 1,000,012 |
Doris demo.iceberg_orders | 1,000,012 |
| Doris Stream Load | 53MB / 502ms / 0 filtered |
| DS 工作流 | 5 任务全部 SUCCESS |
| OpenLineage | pg_orders_summary upstreamEdges=1 |
3. 组件版本
text
Kubernetes v1.37.1(kubeadm)
containerd 2.2.1
Calico 3.30.3
Kafka 3.9.0
Flink 1.20.5
Spark 3.5.9
Iceberg 1.6.1
Doris 4.1.0
DolphinScheduler 3.2.2
OpenMetadata 2.0.5
Harbor 2.15.44. 已知边界
- Flink slot 只有 4 个:3 个 CDC 会占满,批作业排队;
- OpenLineage 是桥接映射:
ol-bridge硬编码 dataset → OM 表实体; - OM 原生 S3/Iceberg dataset 解析未打通;
- SHS 只扫新事件目录,旧事件不会自动出现;
- 单点:Doris 1FE/1BE、Flink 1JM、DS 1master/1worker、OM/SHS 单副本;
- 安全:HTTP + 默认密码,端口未全部收敛;
- 未做:备份恢复、HA 演练、压测、TLS/SSO。
5. 结论
功能验证通过,测试环境可以释放。
以上数字只代表 3 节点、1M 行、单副本测试环境,不等同于生产验收。
生产化前先看 边界、风险与后续 的检查清单。