时间的往事

摘要： 阵列卡的作用： 可以给硬盘组件磁盘阵列 RAID1 通过磁盘数据镜像实现数据冗余，两组硬盘上的数据一致。 RAID5 通过奇偶校验信息存储的方式实现数据冗余，兼顾存储性能，数据安全，存储成本的一种方案。 当RAID5中的一个硬盘数据损坏时，系统能够利用剩下的数据和相应的奇偶校验信息来计算出已经损坏的 阅读全文

摘要： 今天在DBVeaver中是使用hive运行sql正常，到了sparksql中运行，就变成了+8小时。 为了解决时区问题，需要在spark的配置中添加以下设置，具体时区根据实际情况来。 conf.set("spark.sql.session.timeZone","UTC") 阅读全文

摘要： 先安装，否则使用不了fuser命令 yum install -y psmisc 查看当前目录是否在被使用 fuser -m /home 查看该进程的使用者ps aux|grep 16976 可以查看到有用户登录在使用 检查并退出所有登录用，直到查不到使用home的目录位置。 备份home目录 tar 阅读全文

摘要： case class Result(id:String,open:Double,close:Double, high:Double,low:Double, day:String,hour:String, window_start:String,window_end:String) case clas 阅读全文

摘要： v2 版本：x * y = k v3 版本： 1. 介绍 UniswapV3与其早期版本⼀样，基于相同的恒定乘积算法，但提供了⼏个重要的新特性： （1）聚焦流动性(ConcentratedLiquidity):做市商(LPs)有能⼒通过将流动性“限定”在任意价格范围内来聚焦流动性(早期版本提供的是( 阅读全文

摘要： 1. 安装操作 短短几句，但是非常重要 conda create -n py36spark python=3.6 source activate py36spark conda install ipykernel deactivate conda install nb_conda_kernels # 阅读全文

摘要： 1. 下载安装： 下载地址：wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.1-Linux-x86_64.sh --no-check-certificate （最新版本：wget https://mir 阅读全文

摘要： conda -V #查看conda版本 conda list env 或者 conda info -e #查看虚拟环境列表 conda create -n pyspark-env python=3.6 #创建python虚拟环境 source activate pyspark-env #激活虚拟环境 阅读全文

摘要： python对应的版本兼容性是个头疼的问题，因此后续再使用pyarrow包的过程中安装出现了不兼容的问题。 所以后续改为使用anaconda3中是适用conda创建虚拟环境来解决这个问题。 参考另外一篇。 1. 下载python3地址：https://www.python.org/ftp/pytho 阅读全文

摘要： https://baijiahao.baidu.com/s?id=1675248116782789504&wfr=spider&for=pc https://zhuanlan.zhihu.com/p/394011028 https://mp.weixin.qq.com/s?__biz=MzU5MzM 阅读全文

摘要： DeFi，全称为Decentralized Finance，即“去中心化金融”或者“分布式金融”。“去中心化金融”，与传统中心化金融相对，指建立在开放的去中心化网络中的各类金融领域的应用，目标是建立一个多层面的金融系统，以区块链技术和密码货币为基础，重新创造并完善已有的金融体系。上面加粗这一句是我在 阅读全文

摘要： 服务器：需要公网一台服务器，有固定IP地址 内网是一个web服务，可以将内网web服务通过公网服务器IP提供到公网访问。 有什么用途：临时将内网web服务等开放到公网上测试。 frp下载地址： https://github.com/fatedier/frp 服务器端配置： 安装在云主机上的 [com 阅读全文

摘要： 按顺序生成 50 - 60 之间的数字作为多行的记录集，结果如下： 第一步： 用最大值减去最小值，然后使用以下语句生成10个空的集合数组， select 50 as minNum,split(space(60-50),'') as x; 显示如下： 第二步：将x进行展开，使用posexplode可以 阅读全文

摘要： 准备的数据，现在要求将b, c两列中空白的值使用前面的值补充。 补充完的结果需要如下： 第一步： 确定数据是否有行号，如果没有，则自己增加一列行号，如准备数据的a列。如果已经有，此步可忽略。 第二步： 增加两列b1,c1, 将空值设置为0，非空值设置为1。 select a,b,c, case wh 阅读全文

摘要： 1. 首先要找到配置文件位置。 在开始菜单里找到并打开Anaconda Prompt，输入命令jupyter notebook --generate-config，然后执行。 这样生存了配置文件C:\Users\lenovo\.jupyter\jupyter_notebook_config.py 2 阅读全文

摘要： 机器学习： 数学基础：https://www.bilibili.com/video/BV1LQ4y197hi (上海交通大学张志华)机器学习导论 https://www.bilibili.com/video/BV1jt411b76n?from=search&seid=4868569476650427 阅读全文

摘要： 阅读全文

摘要： 出错信息如下： com.alibaba.fastjson.JSONException: syntax error, expect {, actual float, pos 178, fieldName order_price, fastjson-version 1.2.68 at com.aliba 阅读全文

摘要： 开发工作： package com.king.app import java.util.Objects import org.apache.flink.api.common.eventtime.{SerializableTimestampAssigner, WatermarkStrategy} im 阅读全文

摘要： 问题：在scala中将对象转为json字符串时，经常会出现这样的问题 unionDS.print() unionDS.map(x=> JSON.toJSONString(x)) .addSink(MyKafkaUtil.getKafkaProducer(sinkTopic)) 错误信息： Error 阅读全文