<rss xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title>数据平台 - Naifan Li's Blog</title><link>https://blog.omagiclee.com/categories/%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0/</link><description>数据平台 - Naifan Li's Blog</description><generator>Hugo -- gohugo.io</generator><language>zh-CN</language><lastBuildDate>Sun, 06 Sep 2026 00:07:00 +0800</lastBuildDate><atom:link href="https://blog.omagiclee.com/categories/%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0/index.xml" rel="self" type="application/rss+xml"/><item><title>数据平台 CI/CD 技术方案：从代码提交到服务、算子与数据发布</title><link>https://blog.omagiclee.com/posts/ai-data/data-platform/ci-cd/</link><pubDate>Sun, 06 Sep 2026 00:07:00 +0800</pubDate><guid>https://blog.omagiclee.com/posts/ai-data/data-platform/ci-cd/</guid><description><![CDATA[<p>一次视频切分算子升级，可能通过全部接口测试、正常完成部署，却把片段边界整体偏移一秒。服务没有报错，后续标签、向量与训练样本却已经受到影响。这是数据平台建设 CI/CD 时必须面对的问题：<strong>代码能够运行、系统能够升级、输出数据能够被使用，是三个不同的验收结论。</strong></p>
<p>本文承接 <a href="/posts/ai-data/data-platform/release-environments/" rel="">发布流程与环境管理</a>，把环境和发布原则细化为流水线、制品、测试与恢复协议。以系列文章中的 React + TypeScript + Vite、FastAPI 和独立 Worker 为背景；以下目录、脚本与发布协议均为建议设计，不代表 Data Flywheel 已经实现。工具文档核对日期为 2026-09-06。</p>]]></description></item><item><title>Data Flywheel 的 Kubernetes 架构：从服务部署到 CPU/GPU 数据流水线</title><link>https://blog.omagiclee.com/posts/ai-data/data-platform/kubernetes/</link><pubDate>Sun, 06 Sep 2026 00:07:00 +0800</pubDate><guid>https://blog.omagiclee.com/posts/ai-data/data-platform/kubernetes/</guid><description><![CDATA[<p>数据飞轮平台中的负载差异很大：需求列表查询希望在短时间内返回，视频切分可能运行数分钟，批量 Embedding 会占用 GPU，人工标注则可能等待数天。如果把它们都放进 FastAPI 进程，计算任务的内存峰值和故障就会直接影响用户工作台。</p>
<p><strong>Kubernetes（K8s）可以承担服务运行、资源分配和作业生命周期管理；数据平台仍需定义输入快照、算子契约、任务状态与结果发布规则。</strong> 本文围绕 Data Flywheel，说明这两层如何衔接。</p>
<p>代码与官方资料核对日期为 2026-09-06。当前项目已有 React/Vite、FastAPI、Keycloak、业务权限与本地 PostgreSQL Compose 配置；本次查看的目录中未发现 K8s 清单或 Helm Chart。以下集群架构、执行适配器和 YAML 均为建设方案，不能视为已经完成的生产部署。</p>]]></description></item><item><title>数据平台前后端技术框架选型：React、Vite 与 FastAPI 的适用边界</title><link>https://blog.omagiclee.com/posts/ai-data/data-platform/technology-stack/</link><pubDate>Sun, 06 Sep 2026 00:06:00 +0800</pubDate><guid>https://blog.omagiclee.com/posts/ai-data/data-platform/technology-stack/</guid><description><![CDATA[<p>技术选型应该从产品的工作负载和团队能力出发。数据平台既有列表、表单与权限，也有视频处理、模型推理和长时间运行的任务；用“哪个框架最顶级”来统一回答这些问题，容易忽略真正的系统边界。</p>
<p>Data Flywheel 目前选择了 <strong>React + TypeScript + Vite 前端，以及 FastAPI 后端</strong>。结合代码和“数据飞轮平台：技术选型与设计系统”讨论，我认为这套组合适合作为当前产品基础。本文解释理由与代价，并区分 2026-09-06 阅读到的实现和后续建议，不将未来的跨企业平台能力视为已经完成。</p>]]></description></item><item><title>数据平台 UI 设计与视觉规范：从 M3 到可扩展的专业工作台</title><link>https://blog.omagiclee.com/posts/ai-data/data-platform/ui-design-guidelines/</link><pubDate>Sun, 06 Sep 2026 00:05:00 +0800</pubDate><guid>https://blog.omagiclee.com/posts/ai-data/data-platform/ui-design-guidelines/</guid><description><![CDATA[<p>数据平台的界面需要帮助用户持续完成筛选、比较、批量操作、任务配置和结果复核。视觉规范既要让页面看起来一致，也要让用户看懂当前数据范围、任务状态与操作后果。</p>
<p>Data Flywheel 的设计讨论提出了两个明确诉求：一是按钮、字体、字号、颜色、层级和布局都有成熟依据，二是后续能够扩展视频时间轴、标注画布与插件面板。讨论后来收敛到偏好公开的 <strong>Material Design 3（M3）</strong> 视觉语言，并保留当前 React 组件实现的可控性。</p>
<p>本文结合 2026-09-06 阅读到的项目代码，讨论如何把这两个诉求落实为规范。代码已有 M3 风格的语义变量和基础组件，但这不等于已经完整实现或验证了全部 M3 规范。</p>]]></description></item><item><title>Operator as Plugin：借鉴 DeepSeek Harness 设计数据平台插件体系</title><link>https://blog.omagiclee.com/posts/ai-data/data-platform/operator-as-plugin/</link><pubDate>Sun, 06 Sep 2026 00:04:00 +0800</pubDate><guid>https://blog.omagiclee.com/posts/ai-data/data-platform/operator-as-plugin/</guid><description><![CDATA[<p>世界模型数据平台往往沿着“接入 → 清洗 → 加工与镜头切分 → 打标 → 向量化与索引 → 检索挖掘 → 标注”逐步扩展。如果每增加一种算法都要修改主服务、增加专用接口、重新部署整个系统，平台很快会成为难以维护的算法集合。</p>
<p><strong>Operator as Plugin 是可行方向：算法作者贡献能力，平台负责让能力可调用、可组合、可追踪地运行。</strong> 但插件注册只解决了扩展入口，长任务恢复、数据语义、GPU 执行和结果发布还需要独立设计。</p>
<p>本文延续 Data Flywheel 的技术设计讨论，并参考 DeepSeek 官方 Harness 文档。资料核对日期为 2026-09-06；以下数据平台协议、示例清单与架构均为本文提出的方案，<strong>不是 DeepSeek Harness 已有的数据处理 API，也不是 Data Flywheel 已经实现的插件系统</strong>。</p>]]></description></item><item><title>数据平台需求管理：从用户提需到评审、排期、交付与验收</title><link>https://blog.omagiclee.com/posts/ai-data/data-platform/requirements-management/</link><pubDate>Sun, 06 Sep 2026 00:03:00 +0800</pubDate><guid>https://blog.omagiclee.com/posts/ai-data/data-platform/requirements-management/</guid><description><![CDATA[<p>“支持检索雨天场景”“帮我增加一个数据源”“把向量化速度提升一倍”，都可以进入需求池，但它们不能仅靠一个标题和一个截止日期完成交付。数据平台需要把问题背景、数据范围、负责人、承诺和验收证据串起来。</p>
<p>Data Flywheel 的“规划需求管理系统方案”讨论，最终明确了一个聚焦的目标：<strong>用户提需求 → 评审 → 排期 → 开发交付 → 用户验收</strong>。本文基于 2026-09-06 的代码阅读总结现有闭环，并讨论下一步如何连接数据与实验，不把它扩张成一套大而全的项目管理软件。</p>]]></description></item><item><title>数据平台发布说明体系：概念边界、主流实践与设计方案</title><link>https://blog.omagiclee.com/posts/ai-data/data-platform/release-notes/</link><pubDate>Sun, 06 Sep 2026 00:03:00 +0800</pubDate><guid>https://blog.omagiclee.com/posts/ai-data/data-platform/release-notes/</guid><description><![CDATA[<p>数据平台的发布说明需要准确表达五项信息：<strong>变更内容、生效范围、兼容性影响、用户行动和恢复条件</strong>。代码合并、版本发布与租户实际启用是不同事件；服务升级还可能影响既有数据、运行中任务及下游消费者。</p>
<p>本文先界定 Commit、PR、Changelog 与 Release Notes 的职责，再对比 Databricks、Snowflake、BigQuery、Amazon Redshift、Microsoft Fabric 和 MaxCompute 的公开实践，最后给出自建平台的设计方案。资料核对日期为 <strong>2026-09-06</strong>；平台案例按原文发布日期描述，设计建议与厂商事实分别表述。</p>]]></description></item><item><title>数据平台权限管理：从 Scoped RBAC 到 ABAC 与 ReBAC</title><link>https://blog.omagiclee.com/posts/ai-data/data-platform/access-control/</link><pubDate>Sun, 06 Sep 2026 00:02:00 +0800</pubDate><guid>https://blog.omagiclee.com/posts/ai-data/data-platform/access-control/</guid><description><![CDATA[<p>数据平台的权限问题，往往不是“这个人有没有登录”，而是“这个人能否在项目 A 中查看某段视频、导出原始文件、运行高成本任务，以及修改其他人的标注”。按钮能不能显示，只是这套系统的最后一层表现。</p>
<p>本文参考 Data Flywheel 的“设计权限管理系统”讨论，以及 2026-09-06 阅读到的本地代码。当前方案是 <strong>Keycloak 负责身份认证，FastAPI 管理应用会话，平台用户／组、角色与作用域负责业务授权，PyCasbin 执行角色权限判断</strong>。以下将现有实现与后续扩展建议分开说明。</p>]]></description></item><item><title>数据平台发布流程与环境管理：Dev、Staging、Prod 如何协作</title><link>https://blog.omagiclee.com/posts/ai-data/data-platform/release-environments/</link><pubDate>Sun, 06 Sep 2026 00:01:00 +0800</pubDate><guid>https://blog.omagiclee.com/posts/ai-data/data-platform/release-environments/</guid><description><![CDATA[<p>数据平台发布的不只是网页和 API，还可能包括采集连接器、计算任务、数据 Schema、模型权重、标签字典和向量索引。因此，“服务启动成功”远远不等于“发布成功”。一段正常执行的新代码，也可能静默生成错误数据。</p>
<p>环境管理的目标，是让每个版本经过有明确职责的验证，再以可追踪、可停止、可恢复的方式进入生产。下面是一套可按团队规模裁剪的实践方案。</p>
<p>结合 2026-09-06 阅读到的 Data Flywheel 代码，目前已有 SQLite 开发默认配置、Keycloak OIDC 与 PostgreSQL 接入代码，以及本地 Compose 基础设施配置。本文讨论的 Staging、制品晋级、灰度与恢复流程属于后续建设方案，不能将本地服务可启动视为生产发布体系已经完成。</p>]]></description></item></channel></rss>