摘要：
《快学Scala》心得体会 1 基础 1.1 声明和定义 Val无法改变它的内容，实际上就是一个常量 Var 声明其值可变的变量 在scala中，与java不同的是，变量或函数的类型总是写在变量或函数名称的后面。 1.2 常用类型 Scala有7种数值类型：Byte、Char、Short、Int、L 阅读全文
posted @ 2019-09-17 17:43
~清风煮酒~
阅读(206)
评论(0)
推荐(0)
摘要：
在idea中新建工程 删除新项目的src,创建moudle 在父pom中添加spark和scala依赖,我们项目中用scala开发模型，建议scala，开发体验会更好（java、python也可以） 在我们Moudle中配置打包插件 安装scala开发插件到idea 安装后重启 设置scalasdk 阅读全文
posted @ 2019-09-17 16:54
~清风煮酒~
阅读(1743)
评论(0)
推荐(0)
摘要：
原文链接 引言 本文整理自工作多年以来遇到的所有 Git 问题汇总，之前都是遗忘的时候去看一遍操作，这次重新整理了一下，发出来方便大家收藏以及需要的时候查找答案。 一、必备知识点 image.png image.png 仓库 二、git add 提交到暂存区，出错怎么办 一般代码提交流程为：工作区 阅读全文
posted @ 2019-09-17 16:53
~清风煮酒~
阅读(310)
评论(0)
推荐(0)
摘要：
由于公司不允许使用外网，之前用的idea 15 安装了一次。但是idea15的提示不够友好，今天升级idea2017.3.2，同样又需要安装，那就写个教程吧。 网上其他的安装教程不通用，也是针对不同idea版本的。安装方法也适用其他idea plugins插件。 在有网略的地方访问下面的网址，按照流 阅读全文
posted @ 2019-09-17 16:44
~清风煮酒~
阅读(5484)
评论(0)
推荐(0)
摘要：
1.开始怀疑是 修改修复了 但是get时还是null 后来清理了 浏览器缓存 ok 阅读全文
posted @ 2019-09-17 16:41
~清风煮酒~
阅读(965)
评论(0)
推荐(0)
摘要：
如果公司有提供证书如： 拿到证书秘钥可直接在springboot 的配置文件中配置： 注意cert.pfx文件的位置 启动服务访问：这种只支持https访问ok; 如果要同时支持http自动转换为https（springboot2.x） springboot 1.5.x http://localho 阅读全文
posted @ 2019-09-17 16:40
~清风煮酒~
阅读(888)
评论(0)
推荐(0)
idea打包报错Cleaning up unclosed ZipFile for archive D:\m2\commons-beanutils\commons-beanutils\1.9.2\...
摘要：
关于idea的打包报错：Cleaning up unclosed ZipFile for archive D:\m2\commons-beanutils\commons-beanutils\1.9.2\commons-beanutils-1.9.2.jar 先配置在run configuration 阅读全文
posted @ 2019-09-17 16:40
~清风煮酒~
阅读(2166)
评论(0)
推荐(0)
摘要：
java.util.concurrent.ExecutionException: org.apache.catalina.LifecycleException: Failed to start component [StandardEngine[Tomcat].StandardHost[localh 阅读全文
posted @ 2019-09-17 16:38
~清风煮酒~
阅读(2345)
评论(0)
推荐(0)
摘要：
插入 Insert: image.png image.png 查看插入数据： image.png image.png Save: image.png image.png 现在有两条数据： image.png image.png 插入定义好的变量： image.png image.png 查看结果： 阅读全文
posted @ 2019-09-17 16:37
~清风煮酒~
阅读(206)
评论(0)
推荐(0)
摘要：
~~~<html><head> <script src="https://cdn.jsdelivr.net/npm/vue/dist/vue.js"></script></head><body><h4>声明式渲染 </h4><i>Vue.js 的核心是一个允许采用简洁的模板语法来声明式地将数据渲染进 阅读全文
posted @ 2019-09-17 16:33
~清风煮酒~
阅读(771)
评论(0)
推荐(0)
摘要：
业务场景:当一行中有一个CheckBox被选中，则为此行添加class。 阅读全文
posted @ 2019-09-17 16:32
~清风煮酒~
阅读(296)
评论(0)
推荐(0)
摘要：
1． 下载rabbitMq以及对应依赖 地址：http://www.rabbitmq.com/install-windows.html image.png image.png 2． 安装rabbitMq 安装完默认是启动 查看rabbitMq状态 安装完后进入对应的安装目录，执行rabbitmqct 阅读全文
posted @ 2019-09-17 16:30
~清风煮酒~
阅读(224)
评论(0)
推荐(0)
摘要：
1. 简要概述 Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的框架。Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架它负责存储和管理大家都关心的数据,然后接受观察者的注册,一但这些数据的状态发生变化, Zookeeper就将负责通知已经在 Zo 阅读全文
posted @ 2019-09-17 16:28
~清风煮酒~
阅读(387)
评论(0)
推荐(0)
摘要：
1. 编辑spark-defaults.conf位置文件 添加spark.eventLog.enabled和spark.eventLog.dir的配置修改spark.eventLog.dir为我们之前在hdfs配置的端口hdfs配置参考hadoop(七)集群配置同步（hadoop完全分布式四）|9 阅读全文
posted @ 2019-09-17 16:27
~清风煮酒~
阅读(1126)
评论(0)
推荐(1)
摘要：
1.官方网址 http://spark.apache.org/ image.png image.png 2.点击下载 下载最新版本目前是（2.4.3）此spark预设为hadoop2.7或者更高版本，我前面安装的是hadoop3.1.2后面试一下不知道兼容不具体地址：http://spark.apa 阅读全文
posted @ 2019-09-17 16:25
~清风煮酒~
阅读(4924)
评论(0)
推荐(0)
摘要：
当我们每个机器的时间都不一致时，假如有一个定时任务，定的10点启动执行。结果namenode十点了启动任务，可是分配到的执行节点DataNode才九点五十导致任务执行失败怎么办？这就需要将机器之间的时间保持一致 时间同步方式：找一台机器，作为时间服务器，所有的机器与这台机器的时间进行同步，如每隔十分 阅读全文
posted @ 2019-09-17 16:24
~清风煮酒~
阅读(400)
评论(0)
推荐(0)
摘要：
HDFS背景 随着数据量的增大，在一个操作系统中内存不了了，就需要分配到操作系统的的管理磁盘中，但是不方便管理者维护，迫切需要一种系统来管理多态机器上的文件，这就是分布式文件管理系统。 HDFS的概念 HDFS英文hadoop distributed file system ，是一个分布式文件系统， 阅读全文
posted @ 2019-09-17 16:24
~清风煮酒~
阅读(756)
评论(0)
推荐(0)
摘要：
集群测试 上传小文件到集群，随便选择一个小文件上传到hdfs的根目录 验证是否上传成功，验证ok,Replication的3代表三个副本数 image.png image.png 上传一个大文件如我们的hadoop安装包 image.png image.png 查看每个文件在hdfs的副本情况和存储 阅读全文
posted @ 2019-09-17 16:23
~清风煮酒~
阅读(1422)
评论(0)
推荐(0)
摘要：
linux机版本：centos7虚拟机工具版本：vmware121.查看虚拟时间 2.在vmware选择对应虚拟机右键 右键 右键 3.点击设置后，选择选项 勾选时间同步 勾选时间同步 4.在虚拟中输入如下命令 5.重启虚拟机 6.开机验证 阅读全文
posted @ 2019-09-17 16:22
~清风煮酒~
阅读(8592)
评论(1)
推荐(1)
摘要：
前置章节：hadoop集群namenode启动ssh免密登录（hadoop完全分布式五）|11 集群启动 配置workers(3.x之前是slaves)， 删除localhost，添加102/103/104 注：workers文件结尾不能有空格，文件中不能有空行 同步workers到其他机器 验证是 阅读全文
posted @ 2019-09-17 16:20
~清风煮酒~
阅读(613)
评论(0)
推荐(0)
摘要：
前置章节：hadoop集群配置同步（hadoop完全分布式四）|10 启动namenode之前： 1. 先查看有无节点启动，执行jps查看，有的话停掉 2. 删除每个机器上之前运行的data和logs文件 启动namenode 格式化namenode执行命令和执行成功的部分日志 启动102的name 阅读全文
posted @ 2019-09-17 16:18
~清风煮酒~
阅读(1378)
评论(0)
推荐(0)
摘要：
前置配置：rsync远程同步|xsync集群分发(hadoop完全分布式准备三）|9 1. 分布式集群分配原则 部署分配原则 部署分配原则 说明Namenode和secondarynamenode占用内存较大，建议两个分开。我们的环境都是本地虚拟机，部署在一起内存不够。Resourcemanager 阅读全文
posted @ 2019-09-17 16:17
~清风煮酒~
阅读(593)
评论(0)
推荐(0)
摘要：
canal是阿里巴巴的来源项目。我们可以通过配置binlog实现数据库监控，得到数据库表或者数据的更新信息。参考我的文档前先去官网看下，可能已经支持更高版本的MySQL了 1. 查看官方开源项目 https://github.com/alibaba/canal 2. 下载最新的canal.deplo 阅读全文
posted @ 2019-09-17 16:15
~清风煮酒~
阅读(14740)
评论(1)
推荐(2)
摘要：
前置环境准备：centos7克隆ip|机器名|映射关系|别名配置（hadoop完全分布式准备一）scp命令copy文件和配置(hadoop完全分布式准备二) rsync远程同步工具 优点 rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。rsync和scp区别:用 rs 阅读全文
posted @ 2019-09-17 16:13
~清风煮酒~
阅读(905)
评论(0)
推荐(0)
摘要：
机器的克隆参考centos7克隆ip|机器名|映射关系|别名配置（hadoop完全分布式准备一） 那么问题来了，如果我们有30台机器，之间可以互相访问，那我们如何快速安装配置环境如jdk hadoop等？可通过scp命令将配置、下载好的工具等直接copy到我们新的机器上就可以了。 scp(secur 阅读全文
posted @ 2019-09-17 16:12
~清风煮酒~
阅读(2087)
评论(0)
推荐(0)
摘要：
hadoop完全分布式准备工作 克隆默认基础虚拟机三台102/103/104目标：在win10主机上能连上这三台机器，三台机器之间可以互相ping通，用机器名也可ping通。基础虚拟机：创建了文件opt/modle，/opt/software添加了普通用户shaozhiqi（和root权限同级别）基 阅读全文
posted @ 2019-09-17 16:11
~清风煮酒~
阅读(342)
评论(0)
推荐(0)
摘要：
大数据 大数据简要概念 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。需要新处理模式，才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据作用 主要解决：通过对海量数据的存储和分析计算，找出其中的价值。 数据单位 按顺序给出数据存储单位:b 阅读全文
posted @ 2019-09-17 16:10
~清风煮酒~
阅读(645)
评论(0)
推荐(0)
摘要：
伪分布模式hdfs 1.启动hsfs 2. 编辑vi hadoop-env.sh image.png image.png image.png image.png 3.配置nameNode和生产文件第地址 指定HDFS中NameNode的地址 4.指定HDFS的副本数 只有一个节点的话相同数据只存放一 阅读全文
posted @ 2019-09-17 16:09
~清风煮酒~
阅读(519)
评论(0)
推荐(0)
摘要：
前提步骤安装Hadoop，安装步骤: https://www.jianshu.com/p/2ce9775aeb6e 单节点案例官方文档地址：http://hadoop.apache.org/docs/r3.1.2/ 配置非常重要 配置非常重要 单节点的案例 可以看到有三项，本地单节点，伪分布式，完全 阅读全文
posted @ 2019-09-17 16:07
~清风煮酒~
阅读(375)
评论(0)
推荐(0)
摘要：
1. 查看主机名，三个命令都可以 # hostname # uname -n # cat /proc/sys/kernel/hostname 2. 使用 vi /etc/hostname 文件 修改为Hadoop100 3. 设置主机名及IP映射 vi 编辑器打开vi /etc/hosts 文件 在 阅读全文
posted @ 2019-09-17 16:06
~清风煮酒~
阅读(1098)
评论(0)
推荐(0)
摘要：
NAT的静态ip设置并且修改网卡名为eth0 1 cd /etc/sysconfig/network-scripts/ mv eno16777736 ifcfg-eth0 #修改名称 vi eth0 #编辑 NAME=eth0 #修改为eth0 DEVICE=eth0 #修改eth0 :wq! #保 阅读全文
posted @ 2019-09-17 16:04
~清风煮酒~
阅读(522)
评论(0)
推荐(0)
摘要：
安装JDK 下载jdk https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 选择最新版本： 下载hadoop 官网：https://hadoop.apache.org/release 阅读全文
posted @ 2019-09-17 16:02
~清风煮酒~
阅读(494)
评论(0)
推荐(0)
摘要：
复合类型构建操作 1. Map类型构建: map 语法: map (key1, value1, key2, value2, …) 说明：根据输入的key和value对构建map类型 举例： hive> Create table lxw_test as select map('100','tom',' 阅读全文
posted @ 2019-09-17 15:54
~清风煮酒~
阅读(638)
评论(0)
推荐(0)
摘要：
字符串函数 1. 字符串长度函数：length 语法: length(string A) 返回值: int 说明：返回字符串A的长度 举例： hive> select length('abcedfg') from lxw_dual; 7 2. 字符串反转函数：reverse 语法: reverse( 阅读全文
posted @ 2019-09-17 15:53
~清风煮酒~
阅读(439)
评论(0)
推荐(0)
摘要：
日期函数 1. UNIX时间戳转日期函数: from_unixtime 语法: from_unixtime(bigint unixtime[, string format]) 返回值: string 说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前 阅读全文
posted @ 2019-09-17 15:52
~清风煮酒~
阅读(196)
评论(0)
推荐(0)
摘要：
逻辑运算： 1. 逻辑与操作: AND 语法: A AND B 操作类型：boolean 说明：如果A和B均为TRUE，则为TRUE；否则为FALSE。如果A为NULL或B为NULL，则为NULL 举例： hive> select 1 from lxw_dual where 1=1 and 2=2; 阅读全文
posted @ 2019-09-17 15:51
~清风煮酒~
阅读(514)
评论(0)
推荐(0)
摘要：
Hive概念 Hive最适合于数据仓库应用程序，使用该应用程序进行相关静态数据分析，不需要快速响应出结果，而数据本身不会发生频繁变化。 Hdfs分布式文件系统限制了hive，使其不支持记录级别的更新、插入、删除。但是支持用户通过查询生成新表或者将查询结果导入文件中。 Hive的查询延迟较高，且不支持 阅读全文
posted @ 2019-09-17 15:49
~清风煮酒~
阅读(993)
评论(2)
推荐(0)
摘要：
<!DOCTYPE html><html lang="zh-CN"> <head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content=" 阅读全文
posted @ 2019-09-17 15:38
~清风煮酒~
阅读(438)
评论(0)
推荐(0)
摘要：
1.1 官网 https://spark.apache.org/docs/2.1.1/sql-programming-guide.html#upgrading-from-spark-sql-16-to-20 1.2 初始化sparkContext //local的位置可以用集群的url代替，写成lo 阅读全文
posted @ 2019-09-17 15:35
~清风煮酒~
阅读(346)
评论(0)
推荐(0)
浙公网安备 33010602011771号