摘要: 学习过程与总结: 前两天老师给我们发布了项目任务 遇到的困难: hive数据库里面的数据不能导出到MySQL数据库里 思维导图: 阅读全文
posted @ 2018-07-23 21:40 宫aaaa1 阅读(53) 评论(0) 推荐(0) 编辑
摘要: 学习过程与总结: 今天上午进行了考试,复习了:hive导入数据的方式有哪些,hive数据类型有哪些,使用Hive创建表emp,将本地数据导入到hive的emp表中,检测sqoop是否与mysql连接成功?,描述hive的体系架构,java中如何从文件emp.txt读取数据,使用bufferedRea 阅读全文
posted @ 2018-07-20 21:50 宫aaaa1 阅读(92) 评论(0) 推荐(0) 编辑
摘要: 学习过程与总结: 1.进行了考试,温习了前两天的内容。 2.了解了hive,在Linux环境下进行了hive的配置 3.学习了sql语句,用命令将sql文件导入到MySQL数据库中。 4.了解配置了sqoop。 遇到的困难: 对环境变量的配置有些遗忘,同时,对sql语句的编写不太熟悉。 思维导图: 阅读全文
posted @ 2018-07-19 21:37 宫aaaa1 阅读(78) 评论(0) 推荐(0) 编辑
摘要: 学习过程与总结: 今天学习了combiner,再用java类实现浏览器统计之前,学习了使用github上类库解析日志中浏览器信息,在将下载的东西打包之后,开始了用java类实现浏览器统计。在用java类实现浏览器统计的过程中,学习了获取指定字符串中指定标识符出现的索引未知的方法。通过找到特定的标识符 阅读全文
posted @ 2018-07-18 21:47 宫aaaa1 阅读(95) 评论(0) 推荐(0) 编辑
摘要: 学习过程与总结: 今天上复习了昨天的知识之后讲了昨天留的作业,老师利用idea+ maven创建JAVA工程,利用JAVA API操作HDF完成了创建hdfs目录/idea,创建文件/ idea/hello.txt,查看HDFS.上的文件内容/idea/hello.txt,带进度条文件上传,下载hd 阅读全文
posted @ 2018-07-17 21:20 宫aaaa1 阅读(69) 评论(0) 推荐(0) 编辑
摘要: 学习过程与总结: 今天换了新的老师,老师带我们复习了以前的知识,讲了hdfs的shell操作和java的hdfs操作。同时,新安装了idea。 遇到的困难: 安装idea之后,创建的项目目录不全。 发现对以前的知识不太熟练 思维导图: 阅读全文
posted @ 2018-07-16 21:10 宫aaaa1 阅读(95) 评论(0) 推荐(0) 编辑
摘要: 学习过程与总结: 今天上午老师给了我们,要我们用MapReduce求出其中一项数据的平均值,在写这个程序过程中,遇到了自己没有用过的方法和函数,自己也学习到了点函数。下午在老师的带领下,成功的做除了这个程序,并将数据用图标的方式呈现出来。在这一过程中,学习了对MySQL数据库的操作,学习了对数据的读 阅读全文
posted @ 2018-07-13 21:38 宫aaaa1 阅读(92) 评论(0) 推荐(0) 编辑
摘要: 学习过程与总结: 今天上午学习了jdbc的三种封装,为日后的编程打基础,在jdbc封装讲完之后,有讲解了反射的知识。 下午初步学习了MapReduce的一些知识,在老师的简单案例讲解之下,了解了MapReduce的的工作原理。在老师的讲解下,又在eclipse里面用java代码实现了MapReduc 阅读全文
posted @ 2018-07-12 22:08 宫aaaa1 阅读(106) 评论(0) 推荐(0) 编辑
摘要: 学习过程和总结: 1.学习了java的多线程,多态和继承 2.单例模式 3.hdfs读写操作和maven的使用 maven一定要配置好环境变量,配置之后也要在eclipse里面进行配置,到pom.xml文件的操作中,一定要耐心等待jar包的下载,在pom.xml文件配置完成记得要update,然后耐 阅读全文
posted @ 2018-07-11 22:52 宫aaaa1 阅读(73) 评论(0) 推荐(0) 编辑
摘要: 学习过程与总结: 1.jdk环境变量的配置 2.MySQL在Linux内的配置,包括配置环境变量,与外部Windows的MySQL图形管理界面的连接 3.ssh免密的配置 4.Hadoop在Linux环境下的配置。 遇到的问题与总结: 在配置ssh免密的时候,忘记下载一个client,导致最后一步不 阅读全文
posted @ 2018-07-10 22:13 宫aaaa1 阅读(107) 评论(0) 推荐(0) 编辑