这是什么
数据工程涵盖设计和构建稳健的流水线,以可靠的方式在规模上收集、存储、转换和提供数据——包括ETL/ELT架构、数据质量与验证,以及决定下游分析能否被信任的基础设施决策。
为什么重要
再精妙的统计模型,如果用不可靠、未经验证的数据训练,也一文不值——数据工程是决定一个组织的数据科学成果是否真正可信的、不那么光鲜但至关重要的学科。
考试小贴士
设计数据流水线时,在每一步都构建验证检查,而不仅仅在最终输出时——在靠近源头的早期发现数据质量问题,比在它已经通过多个转换阶段传播之后才发现,成本要低得多,也更容易诊断。