随笔分类 -  工程培训总结

互联网营销精准决策项目总结
摘要：在今天我已经吧互联网营销精准决策项目的所有数据处理和分析的工作都完成了，包括按照范围分类，给表格打标签，设置权重，添加宽表，价格分类分析，销售情况分类分析等 在这几天的开发过程中，自己学到了很多，包括一些hive的使用方式、hql的语法，jdbc对hive的连接，hive的运行体制等，更重要是根据老 阅读全文
posted @ 2019-09-11 11:16 王怀宇 阅读(192) 评论(0) 推荐(0)
软件工程培训第六天（spark的简单使用和hive的用法）
摘要：一、学习过程 今天讲了spark的安装和spark的运行机制，然后老师重点将了下spark中的RDD然后就是我们自己联系word上的实例和例子的时间了 二、总结 Spark我感觉用一天时远远不够的，老师文档就给我们发了七八个，这一下午也就看完了一个，今天我把RDD的20多个基本的函数看了一遍，然后按 阅读全文
posted @ 2019-09-06 20:48 王怀宇 阅读(163) 评论(0) 推荐(0)
软件工程培训第五天（hive进阶）
摘要：一、学习过程 今天的将可内容仍然是hive的延伸，老师为我们讲诉了更高级的使用方式，如窗口函数，rank函数等，为我们讲解了一些比较复杂的查询语句，在讲完之后老师为我们留了一些联系和一个大作业。 二、总结 今天我再一次发现了hive的强大，他的查询语句在某些方面比sql语句更加的强大，更加灵活，可以 阅读全文
posted @ 2019-09-06 07:53 王怀宇 阅读(161) 评论(0) 推荐(0)
软件工程培训第四天总结，hive的学习
摘要：一、学习过程 今天的主要内容时hive的使用学习，从开始老师为我们讲解了hive的性质和来源以及他的运行流程。然后老师为我们讲了hive的安装，安装成功后老师按照之前发过的文档，逐条的为我们解释hive的使用方式，并为我们讲解例题。 二、总结 今天我学到hive的使用方式以及一些使用hive查询数据 阅读全文
posted @ 2019-09-04 19:00 王怀宇 阅读(153) 评论(0) 推荐(0)
mapreduce序列化操作
摘要：1. 需求 统计每一个手机号耗费的总上行流量、下行流量、总流量 （1）输入数据 （2）输入数据格式： 7 13560436666 120.196.100.99 1116 954 200 id 手机号码 网络ip 上行流量 下行流量 网络状态码 7 13560436666 120.196.100.99 阅读全文
posted @ 2019-09-03 20:53 王怀宇 阅读(515) 评论(0) 推荐(0)
软件工程培训第三天总结，hadoop和mapreduce基础（附：hbase，mongodb，redis的区别）
摘要：培训总结（三） （一）学习过程 开始老师先讲诉了大数据的起源和具体应用以及应用的意义。然后老师为我们讲诉了hadoop的安装（虽然这个早就安装了好几遍），在hadoop安装成功后老师带我们做了一个简单的wordcount的例子，让我再一次重温了mapreduce的基础知识，在课程的最后老师给我留了一 阅读全文
posted @ 2019-09-02 21:33 王怀宇 阅读(380) 评论(0) 推荐(0)
java实现HDFS上文件的判断，添加，查询
摘要：（一）在eclipse中新建一个java项目，就普通建一个java项目就可以，然后添加hadoop的依赖包 （二）打开后选择add Exernal jars 添加hadoop的包，包的位置如下（/usr/local/hadoop/是我的hadoop路径） /usr/local/hadoop/shar 阅读全文
posted @ 2019-09-02 16:49 王怀宇 阅读(1411) 评论(0) 推荐(0)
软件工程培训第二天总结，maven基础和kettle的简单使用（附kettle控件解释）
摘要：培训总结（二） 一、学习过程 下午老师再一次深入的讲解了maven的使用，并且演示了在maven下的文件的上传和下载的流程，讲老师的实验代码发给了我们让我们练习。 晚上另一名老师讲解一些企业工程中的项目开发流程，具体流程如下： 数据库设计-》页面原型-》UML建模（astan）-》编码-》测试-》交 阅读全文
posted @ 2019-09-01 19:31 王怀宇 阅读(508) 评论(0) 推荐(0)
软件工程培训第一天总结，java基础的复习以及框架的概述（附常用集合及其差别）
摘要：培训总结（一） 1、培训内容： 第一天的培训主要内容有： （1）复习java基础，如java的类，对象，集合，数组。在老师讲完之后也给我们了一些时间去做一些对应的例题，巩固我们对java的编程能力。 （2）讲解代码的规范，老师为了我们讲解了在公司中如何做到代码的规范，在什么位置要用什么样的注释符号， 阅读全文
posted @ 2019-09-01 09:22 王怀宇 阅读(206) 评论(0) 推荐(0)