落霞与孤鹜齐飞

摘要： 1.并行度 在direct方式下，sparkStreaming的task数量是等于kafka的分区数，kakfa单个分区的一般吞吐量为10M/s 常规设计下：kafka的分区数一般为broken节点的3,6,9倍比较合理 比如我的集群有6个broken节点，创建kafka的分区为18个，sparkS 阅读全文

摘要： 1、业务库痛点及解决⽅案 初期出⾏业务的订单相关，是以mysql作为业务库为基准的，但是随着业务线增多，每⽇新增数据指 数上涨，⼏乎在每天的⾼峰期期间，都会出现业务库所在服务器的cpu、IO、内存等跑满。经业务排 查发现，线上每天有定时任务都在查询业务库，从⽽导致业务库经常cpu使⽤情况是柱状⽅式 阅读全文

摘要： 四、在全部的六边形区域内过滤出合适的区域作为虚拟车站点 实现方式： 对历史库的订单数据进行汇总，选出某个区域的订单数大于某个阈值（比如100） 代码实现： //1.创建h3实例 val h3 = H3Core.newInstance //2.经纬度转换成hash值 def locationToH3( 阅读全文

摘要： 一.如果有一批数据，知道某个主键比如ip地址、人的身份证、车牌、订单以及经纬度信息 那可以做出哪些事情？ 1.某个ip对应的经纬度在哪个地区？ 1.某个人出现的经纬度，根据人与经纬度关系，形成出行轨迹 3.某车牌或者车架对应的经纬度信息，车辆轨迹，借助地图做出，可以做交通数据应用 4.某个地区的订单 阅读全文

摘要： 错误： org.apache.phoenix.exception.PhoenixIOException: SYSTEM.CATALOG at org.apache.phoenix.util.ServerUtil.parseServerException(ServerUtil.java:144) at 阅读全文

摘要： Phoenix介绍： 针对hbase开发的第三方插件，目前已贡献给Apache，顶级项目 Phoenix是构建在HBase上的一个SQL层 可以使用类似于操作mysql的标准sql语句，作为hbase客户端JDBC的驱动对hbase中的数据进行低延迟的访问 内部实现为将sql查询语句编译成hbase 阅读全文

摘要： hbase连接deug：DEBUG [main-SendThread(bigdata.server1:2181)] - Reading reply sessionid:0x16f764e7f6e0009, packet:: clientPath:null serverPath:null finish 阅读全文

摘要： kafka版本：<kafka.version> 0.8.2.1</kafka.version> spark版本 <artifactId>spark-streaming-kafka-0-8_2.11</artifactId> object DmRealStat { def main(args: Arr 阅读全文

摘要： kafka版本 1.0.0 spark版本 spark-streaming-kafka-0-10_2.11/** * @created by imp ON 2019/12/21 */class KafkaManagerByRedis(zkHost:String,kafkaParams: Map[St 阅读全文

摘要： kafka 与spark集成 序列化问题 sparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")sparkConf.registerKryoClasses(Array( classOf[Array 阅读全文