数据湖

英文:Data Lake 分类:infra

基本释义

以原始格式(JSON/Parquet/图像)集中存储海量异构数据的存储系统,供后续清洗、分析与 AI 训练使用,与数据仓库互补。

技术要点

架构:对象存储(S3)+ 表格式(Iceberg/Delta/Hudi)+ 查询引擎(Spark/Trino);优势:低成本海量存储、Schema-on-Read(先存后定义)、支持非结构化数据;挑战:数据质量治理与"湖变沼泽"。

应用场景

用于大模型训练数据(文本/图像/音视频原始语料)、日志归档、多源数据汇聚与数据科学探索;数据湖是"AI 数据资产"的仓库。

返回AI百科目录 · AI最前沿首页

相关词条:词元服务 · 超节点 · 训练集群 · 监控告警 · 特征存储