随笔分类 -  Summarize

Scala对象数据封装成json并输出
摘要：背景： Sparkstreaming计算完成的数据封装成对象后需要转换成json并输出到Redis 问题： 1、scala对象无法序列化 2、sclaa对象序列化后为空 解决方案： 1、样例类必须加上注解@BeanProperty，这样scala的类中的属性就有了get，set方法 case cla 阅读全文
posted @ 2020-11-15 22:04 七寸青衫 阅读(931) 评论(0) 推荐(0)
scala/java获取文件相对路径，编译成jar包后可以继续读取
摘要：文件需要放在resource下，打成jar包后仍然可以读取到1. 各种环境都能读取。（通用） ClassPathResource classPathResource = new ClassPathResource("word.txt");InputStream inputStream =classP 阅读全文
posted @ 2020-11-15 16:23 七寸青衫 阅读(466) 评论(0) 推荐(0)
Json字符串转换成Scala对象的一些注意事项
摘要：字符串： { "currentTime":1604475400444, "dayString":"2020-11-04", "hmString":"16:31", "hmsString":"16:31:56", "itemAveragePrice":23.582698961937723, "item 阅读全文
posted @ 2020-11-04 16:47 七寸青衫 阅读(234) 评论(0) 推荐(0)
linux安装pip
摘要：背景：写了一个python删除mysql表中数据的脚本，在执行的时候提示如下： 安装pymysql：使用pip install 安装 pymysql，提示没有pip 安装pip：依次执行下面命令： wget https://bootstrap.pypa.io/get-pip.py python ge 阅读全文
posted @ 2020-09-25 11:08 七寸青衫 阅读(406) 评论(0) 推荐(0)
关于es及其大集群规模下的优化
摘要：es主要特点: 分布式的实时文件存储，每个字段都被索引并可被搜索 分布式的实时分析搜索引擎–做不规则查询 可以扩展到上百台服务器，处理 PB 级结构化或非结构化数据 es和其他数据存储对比 es基本操作不做介绍 远程向es中写数据： object MyESUtil { val esUrl = "ht 阅读全文
posted @ 2020-06-06 21:51 七寸青衫 阅读(492) 评论(0) 推荐(0)
Idea几点使用总结（持续更新）
摘要：一、从github上誊代码 如图，然后粘贴连接即可 二、github代码更新 三、idea代码jar包导入虚拟机 参考连接： https://blog.csdn.net/qq_33265875/article/details/103518430 阅读全文
posted @ 2020-05-04 23:12 七寸青衫 阅读(181) 评论(0) 推荐(0)
关于shell nohup &不起作用的总结
摘要：nohup 和&配合使用 具体使用不做介绍 参考：https://www.jianshu.com/p/93a45927f013 这里说一下在shell脚本中 nohup &不起作用 一直输出在控制台的情况 脚本： 执行效果： 将命令传入变量，然后调用变量 修改脚本： 执行效果： 阅读全文
posted @ 2020-04-07 23:55 七寸青衫 阅读(1906) 评论(0) 推荐(0)
关于内存问题
摘要：top 查看内存 具体解释：看大佬的https://blog.csdn.net/yjclsx/article/details/81508455 通过对应的pid查找对应的进程 找啊找啊 找不到 咋办呐。。 找到了。。。 没有任务在进行，但是占用还是很高 释放一下内存吧 有改善，只是稍微好一点点。。 阅读全文
posted @ 2020-04-01 01:01 七寸青衫 阅读(131) 评论(0) 推荐(0)
Apache框架版本&CDH框架版本
摘要：Apache框架版本： CDH框架版本： 阅读全文
posted @ 2020-03-29 20:23 七寸青衫 阅读(418) 评论(0) 推荐(0)
关于HBase中读多写多得不同应用场景
摘要：一、关于索引方面的作用： 不管是本地索引还是全局索引，在功能上没有任何差别，都是为了加快某个列的查询！ 适合的情景不同！ 因为当向hbase的表中插入数据时，数据在更新时，也需要更新索引！ 本地索引： 索引以列族的形式存储在表中，在更新数据和更新索引时，只需要向数据所在的regionserver发请 阅读全文
posted @ 2020-03-23 22:00 七寸青衫 阅读(338) 评论(0) 推荐(0)
关于软连接
摘要：https://blog.csdn.net/gao_zhennan/article/details/79127232 阅读全文
posted @ 2020-03-18 21:53 七寸青衫 阅读(96) 评论(0) 推荐(0)
Kafka真实项目应用
摘要：项目介绍：项目模拟交易所，进行证券之类的交易，在撮合交易中：添加委托，更新委托，添加成交，添加或者更新持仓，会频繁进行数据库操作。防止在频繁操作数据库的过程中，数据库处理不完，导致报错，然后抛出异常，数据丢失的问题。也考虑到项目以后会使用 kafka 作为总线，进行数据交互，所以在此阶段，db 操作 阅读全文
posted @ 2020-03-16 23:29 七寸青衫 阅读(2113) 评论(0) 推荐(0)

loading: { rebound: { tension: 16, }, spinner: { id: 'spinner', radius: 90, } }