2020年1月10日
sringboot的坑
摘要： 最近新创建了一个springboot的空项目，运行时爆了一堆的错误 原因是没有配置数据库，但我配置文件明明写了，那么只可能是springboot没有读到你的配置文件 No active profile set, falling back to default profiles: default 先没 阅读全文
posted @ 2020-01-10 16:04 寅狗 阅读(179) 评论(0) 推荐(0) 编辑
前端集成插件
摘要： 最近发现了一些比较好的前端集成插件来给大家分享一下，用法都很简单，但效果确实不错 markdown（写字板）：https://pandao.github.io/editor.md/页面排版:https://github.com/sofish/typo.css动画效果:https://daneden. 阅读全文
posted @ 2020-01-10 14:09 寅狗 阅读(232) 评论(0) 推荐(0) 编辑
2019年12月6日
scala中对集合的常见操作
摘要： *集合* 可变集合（collection.mutable）* ListBuffer=>内容和长度都可以改变** 不可变集合(collection.immutable)* List=>长度和内容都不可变* var list=List(1,2,3,4)** Map* Map[String,String] 阅读全文
posted @ 2019-12-06 12:04 寅狗 阅读(895) 评论(0) 推荐(0) 编辑
wordcount--scala
摘要： val words:Array[String]=Array("hello tom hello jim","hello hatno hello 菲菲")words.map(x=>x.split(" ")) .flatten .groupBy(x=>x) .map(wdKV=>(wdKV._1,wdKV 阅读全文
posted @ 2019-12-06 12:02 寅狗 阅读(117) 评论(0) 推荐(0) 编辑
2019年8月13日
sqoop
摘要： sqoop：数据迁移工具实际上就是一个mapreduce程序，可以将关系型数据库导入到hdoop存储系统中，也可以将hadoop存储系统中的数据导出到关系型数据库中 阅读全文
posted @ 2019-08-13 16:43 寅狗 阅读(104) 评论(0) 推荐(0) 编辑
flume
摘要： flume数据采集 各种各样的数据源--》读数据，缓存数据，写数据--各种各样的目标存储系统 缓存数据：内存，本地磁盘文件 读数据：任何数据都封装成event对象；组件接口（source），根据各种数据源写source实现类 event：head{描述信息}，body{数据} 写数据：组件接口（si 阅读全文
posted @ 2019-08-13 16:38 寅狗 阅读(117) 评论(0) 推荐(0) 编辑
hbase
摘要： hbase简单来说就是一个nosql数据库，非结构化数据库，Hbase的表数据存储在HDFS文件系统中，hbase具备如下特性：存储容量可以线性扩展； 数据存储的安全性可靠性极高！能实时的做增删改查 文件系统：存储数据 l Hbase的表模型与关系型数据库的表模型不同： l Hbase的表没有固定的 阅读全文
posted @ 2019-08-13 16:20 寅狗 阅读(142) 评论(0) 推荐(0) 编辑
hive
摘要： hive:基于hadoop的一个数据仓库工具（离线），可以将结构化的数据文件映射成为一张数据库表，并提供sql查询功能 hive里面的表的字段对应文件里的一些数据字段，解析sql语法，组装成一个mapreduce job到yarn运行，在到hdfs里面查找 会sql即可 阅读全文
posted @ 2019-08-13 16:15 寅狗 阅读(131) 评论(0) 推荐(0) 编辑
2019年8月2日
elasticsearch
摘要： elasticsearch支持多条件查询，也支持聚合查询，是基于lucence的搜索服务器，提供数搜索，存储，分析 beats:轻量型数据采集器 kibana：数据可视化管理工具 logstash：数据收集管理工具 x-pack:管理集群，web界面（收费） 阅读全文
posted @ 2019-08-02 09:46 寅狗 阅读(96) 评论(0) 推荐(0) 编辑
2019年7月30日
踩过的坑
摘要： 1.hbase开启后regionserver自动关闭，节点与master上的时间不一致，差的太远。 解决：配时间同步器，或者修改虚拟机上的时间：date -s 'xxxx-xx-xx xx:xx:xx' hwclock -w(将时间写入虚拟机的主板，不然下次启动时间又会还原) 2.vi模式下查找关键 阅读全文
posted @ 2019-07-30 16:10 寅狗 阅读(298) 评论(0) 推荐(0) 编辑
下一页