业余砖家

摘要： 背景 在工作中经常遇到从日志或者其他地方拷贝过来的文本，里面使用其他分隔符进行分割。然而，使用Excel的分列功能进行分列后，发现数字类型的数值后面变为0。 有时候我们就是需要原先的数值，该怎么办呢？ 比如，有如下的数据，以竖线|作为分割符。 |员工编号|销售量|商品单价|销售额|201800000 阅读全文

摘要： 背景 工作中经常遇到需要将Excel中的内容进行求和或者其他计算，但是由于格式为文本，无法进行计算和求和。 单元格的左上角都有绿色小三角，且用自动求和公式计算无法计算结果，显示为0，说明单元格格式为文本。 1、直接将文本转化成数字 需要转换的数据，左上角会出现黄色感叹号，点击，并选择“转化为数字”， 阅读全文

摘要： 一、Hbase的概念 HBase是Hadoop的生态系统，是建立在Hadoop文件系统（HDFS）之上的分布式、面向列的数据库，通过利用Hadoop的文件系统提供容错能力。如果你需要进行实时读写或者随机访问大规模的数据集的时候，请考虑使用HBase！ HBase作为Google Bigtable的开 阅读全文

摘要： 了解Flush触发条件后，这里产生了一个问题，频繁的flush会产生大量小文件，在对hbase进行查询时会产生大量IOPS，读取性能会受到很大的影响，同时也会给hdfs造成一定压力，hbase提供了一个Compact机制来合并这些HFile，以下对Compact机制做详细介绍。 在hbase中每当有 阅读全文

摘要： 一、HBase数据模型（☆） 1．NameSpace 命名空间，类似于关系型数据库的 Database 概念，每个命名空间下有多个表。HBase有两个自带的命名空间，分别是 hbase 和 default，hbase 中存放的是 HBase 内置的表，default 表是用户默认使用的命名空间。 2 阅读全文

摘要： 1、一般情况下，都是使用鼠标左右键拖动来实现数据的填充的 2、但是填充1200列，下拉拖动就非常麻烦，可以首先定位到A200。 在屏幕左侧中央处找到剪切板下方的“A1”字样，鼠标单击A1文字，输入想要跳转的单元格，如A200，输入完成之后，点击回车即可。 3、将要填充数据的单元格全部选中，选择的单元 阅读全文

摘要： 一、m3u8 视频在线提取工具 https://blog.luckly-mjw.cn/tool-show/m3u8-downloader/index.html 阅读全文

摘要： Kafka数据积压的原因有很多，比如消费端处理能力不足、生产端消息发送速度过快等。解决方法也有很多，以下是一些常见的解决方法 : 增加分区数：如果数据量很大，合理的增加Kafka分区数是关键。但是分区的数量并不是无限增大的，他是有上限的，一般分区的分区数的数不能大于kafka的broker数。 提高 阅读全文

摘要： 前言：在数据库开发过程中我们经常会使用分页，核心技术是使用用limit start, count分页语句进行数据的读取。 一、MySQL分页起点越大查询速度越慢 直接用limit start, count分页语句，表示从第start条记录开始选择count条记录 ： select * from te 阅读全文

摘要： 一、生成随机数字 1. 生成 0 到 1 之间的随机数 MySQL 中的 RAND 函数可以用于生成一个大于等于 0 小于 1 的随机数字。例如： SELECT rand(); 该函数返回的数据类型为 double，包含 16 位小数；每次调用都会返回不同的数据。 如果想要重现某些场景，需要确保每次 阅读全文