摘要：
功能1: 今天到现在为止 实战课程的访问量yyyyMMdd courseID使用数据库来进行存储我们的统计结果 Spark Streaming把统计结果写入到数据库里面 可视化前端根据: yyyyMMdd courseId 把数据库里面的统计结果展示出来选择什么数据库作为统计结果的存储呢? RDBMS: MySQL、Oracle... day ... 阅读全文
posted @ 2019-04-30 17:17
BBBone
阅读(1577)
评论(0)
推荐(0)
摘要：
一、产生实时数据(使用python编写),为以后的处理打基础构建:编写python脚本,用crontab定时执行编写python脚本文件,行内容包括time,ip,url,statu_code,referer的数据 generate_log.py#coding=UTF-8 # 导入random函数 import randomimport time# 定义url字段url_paths = [ ... 阅读全文
posted @ 2019-04-30 17:16
BBBone
阅读(576)
评论(0)
推荐(0)
摘要：
跟项目经理，确认业务 自己思考，写出大概流程，画出草体，跟同事交流， 写出具体流程，画出具体流程图， 确定业务，跟项目经理交流，进一步确定项目， 开始进行项目的开发0 、创建项目scala项目：G A V ，构建项目目录树，导入依赖 向pom.xml中导入依赖 2.11.8 0.9.0.0 2.2.0 org.scala-l... 阅读全文
posted @ 2019-04-30 17:15
BBBone
阅读(195)
评论(0)
推荐(0)
摘要：
dependency1 创建一个带dependency的作业 关键点: dependenciesfirst.job type=command command=echo "first"second.job type=command dependencies=first command=echo "second"将first.job和second.job一起压缩,创... 阅读全文
posted @ 2019-04-30 17:12
BBBone
阅读(316)
评论(0)
推荐(0)
摘要：
RDDSpark基本的数据结构叫弹性分布式数据集(Resilient Distributed Datasets,简称RDD).概念: 一个分布于集群节点的只读数据集合,并以容错的、并行的方式进行维护. 为了解决MapReduce的性能问题,Spark使用RDD作为分布式程序的工作集合,它提供一种分布式共享内存的受限形式.在分布式共享内存系统中,应用可以向全局地址空间的任意位置进行读写操... 阅读全文
posted @ 2019-04-30 17:10
BBBone
阅读(395)
评论(0)
推荐(0)
摘要：
Hadoop的主要特点扩容能力: 能可靠地存储和处理PB级的数据.成本低: 可用廉价机器组成的服务器进行分发、处理数据.高效率: 通过分发数据,可在节点上进行处理,速度非常快.可靠性: 能自动维护数据的多份复制, 任务失败后能自动地重新部署计算任务.机架感知:概念:通过位置感知可以知道工作节点所处的机架(通过网络交换机)特点:HDFS使用机架感知在多个交换机的节点间复制数据,用于数据冗余.该方法降... 阅读全文
posted @ 2019-04-30 17:10
BBBone
阅读(383)
评论(0)
推荐(0)
摘要：
CAP理论指的是任何一个分布式计算系统都不能同时保证如下三点: Consistency(一致性):所有节点上的数据时刻保持同步 Availability(可用性):每个请求都能接收到一个响应,无论响应成功或失败. Partition tolerance(分区容错性):系统应该能持续提供服务,无论网络中的任何分区失效. CA without P CP without A... 阅读全文
posted @ 2019-04-30 17:08
BBBone
阅读(224)
评论(0)
推荐(0)
摘要：
一、内置函数的使用查看当前hive版本支持的所有内置函数show function;查看某个函数的使用方法及作用,比如查看upper函数desc function upper;查看upper函数更为详细的信息desc function extended upper;转换为小写: lower()查询emp表中员工姓名,员工姓名小写显示select empno, ename, lower(ename)... 阅读全文
posted @ 2019-04-30 17:07
BBBone
阅读(542)
评论(0)
推荐(0)
摘要：
1. 下载 Mysql 版本为: mysql-5.6.43-linux-glibc2.12-x86_64.tar.gz (注意:下载二进制文件)  存放位置: /usr/local2. 检查机器上是否安装了MySQL\## root用户 \$> ps -ef|grep mysqld \$> rpm -qa |grep -i mysql 3. 解压、改名\##roo... 阅读全文
posted @ 2019-04-30 17:04
BBBone
阅读(393)
评论(0)
推荐(0)
摘要：
SpringBoot的优点简化配置下一代Java Web框架微服务的入门级微框架课程目录开发第一个SpringBoot程序自定义属性配置Controller的使用spring-data-jpa(用于操作数据库,很方便)事务管理(数据库)结果: 可以开发一个小型的Java Web项目前置知识:利用maven构建项目Spring注解RESTful API注意:具备必要的前置知识不需要去学习Spring... 阅读全文
posted @ 2019-04-30 17:03
BBBone
阅读(300)
评论(0)
推荐(0)
浙公网安备 33010602011771号