摘要：
目录 [ 全局任务调度与编排: Apache Airflow ] (负责定时触发和监控下方所有的流转任务) │ │ 【1. 数据采集与缓冲层】 │ ▼ ┌────────────────────┐ ┌────────────────────┐ │ 鸿蒙设备 (传感器/执行)│ │ AI Agent 阅读全文
posted @ 2026-04-09 11:12
向着朝阳
阅读(24)
评论(0)
推荐(0)
摘要：
目录 这是一个非常经典的架构选型问题。 首先需要纠正一个架构概念：Spark 本身只是一个“计算引擎”，它不能存数据。 当业界说“ODS 用 Spark，清洗用 Spark SQL”时，完整的架构其实是：ODS 存储用 HDFS 或 S3 (通常结合 Delta Lake / Iceberg 等数据 阅读全文
posted @ 2026-04-09 11:12
向着朝阳
阅读(52)
评论(0)
推荐(0)
摘要：
目录 需求 我所在的公司是做鸿蒙生态的，给企业提供 超级设备解决方法。比如我们通过鸿蒙可以看到各个物联网设备的 运行情况，通过鸿蒙对超级设备进行控制。当然我们有AI Agent来控制各种超级设备。 现在有个需求：我们要把各个企业使用的数据收集，清洗，成为大模型的后训练的数据集。 挑战： 1 数据清洗 阅读全文
posted @ 2026-04-09 11:11
向着朝阳
阅读(36)
评论(0)
推荐(0)
浙公网安备 33010602011771号