9.21

第七天
所花时间 5.5小时
代码量 753行
博客量 1
了解到的知识点 了解了ai编程的 开发者角色的转型 概率性思维 生产力优势 局限挑战等 还做了简单的大数据应用
完成内容 创建 Hive 原始表和清洗表，完成时间、流量、类型及课程 ID 的清洗。使用 IP 地址库将 IP 转换为城市。 生成访问次数 Top10、流量 Top10、各城市课程 Top10 三个结果表。 使用 Sqoop 将 Hive 统计结果导入 MySQL。 创建数据可视化网页，支持排行榜、城市列表和城市搜索。
遇到的问题 流量字段带空格导致为空，通过 TRIM 后转换解决。 Hive 无法直接识别 IP 城市，引入离线 IP 地址库解决。Sqoop 不能直接导出 ORC，先转换为 HDFS 文本文件。 Sqoop 命令出现转义字符、IP 和用户配置错误，修正后成功连接。 网页最初使用演示数据，后来切换为 MySQL 实时数据。城市数量较多，增加了全部城市列表及搜索功能。
还做了大型数据库课程的实验 一些linux操作和hadoop操作
学习了一小时英语