数据湖以原始格式集中存放结构化和非结构化数据,供后续分析调用。它与数据仓库的分工在于写入时不强制建模,但缺少元数据治理时会迅速退化成无人敢用的数据沼泽。
数据湖是一种集中存储方式:数据以原始格式写入,不在入库时强制转换成预定义的表结构。与之相对的数据仓库要求写入前先建模,因此查询快、口径清晰,但接纳新数据类型的成本高。
对机器人和自动化场景来说,数据湖的吸引力在于它能容纳形态各异的数据:AMR 的位姿轨迹、视觉系统的原始图像、力控传感器的高频波形、PLC 的事件日志。这些数据在采集时往往还不知道要拿来做什么,先存下来再说是合理策略。
代价是治理成本被推迟而不是消除。没有元数据目录、没有 Schema 记录、没有责任人,几年后没人能说清某个目录里的数据是什么设备、什么版本、什么采样率产生的。这种状态通常被称为数据沼泽,它的特征是数据还在但没人敢用。避免的方法很朴素:写入时必须同时登记来源、时间范围、格式和负责人。
成本结构也需要提前算清。对象存储单价便宜,但视觉数据的体量增长极快——一台相机以 30 fps 全量存原始图像,一天就是数百 GB。多数项目最终会引入分层存储策略:热数据保留数周,冷数据降级或按采样保留。
合规上还有一条硬约束:如果图像或视频中出现员工,这批数据就落入 GDPR(欧盟通用数据保护条例)范围,需要明确的保留期限和删除机制。在数据湖里实现按人删除远比在关系型数据库里困难,这一点必须在架构阶段考虑。
一家能源管理企业把巡检机器人采集的红外图像和电表读数写入数据湖,用于后续训练异常识别模型。他们从第一天起就要求每批数据附带设备编号、镜头参数和天气条件——两年后训练模型时,正是这些元数据让老数据仍然可用。
实践应用
一家能源管理企业把巡检机器人采集的红外图像和电表读数写入数据湖,用于后续训练异常识别模型。他们从第一天起就要求每批数据附带设备编号、镜头参数和天气条件——两年后训练模型时,正是这些元数据让老数据仍然可用。
优势
- 写入时不强制建模,可容纳轨迹、图像、波形、日志等异构数据
- 采集时用途尚未确定的数据也能先保存,为后续建模留出空间
- 对象存储单价低,适合长期保留大体量原始数据
- 同一份原始数据可支撑多种分析和模型训练用途
局限性
- 缺少元数据目录会退化为数据沼泽,数据还在但无人敢用
- 视觉数据体量增长极快,需提前设计分层存储与保留策略
- 含员工影像的数据落入 GDPR 范围,按人删除在数据湖中实现困难
- 查询性能和口径一致性不如按需建模的数据仓库
典型应用领域
常见问题
- 数据湖和数据仓库有什么区别?
- 数据仓库要求写入前先建模,查询快、口径清晰,但接纳新数据类型成本高;数据湖以原始格式写入,不在入库时强制转换,灵活但把治理成本推后。
- 机器人场景为什么适合用数据湖?
- AMR 位姿轨迹、视觉原始图像、力控高频波形、PLC 事件日志形态各异,采集时往往还不知道要用来做什么,先原样存下来是合理策略。
- 什么是数据沼泽,怎么避免?
- 没有元数据目录、Schema 记录和责任人,几年后没人说得清某个目录的数据来自什么设备、什么版本、什么采样率。避免方法很朴素:写入时同时登记来源、时间范围、格式和负责人。
- 数据湖有哪些合规风险?
- 图像或视频中出现员工时,这批数据落入 GDPR 范围,需要明确的保留期限和删除机制。按人删除在数据湖中比在关系型数据库里困难得多,必须在架构阶段就考虑。