寒冰之光

摘要： 1、首先增加一个普通账号，别禁止root账号后没有其他账号登录系统了： ——增加用户：adduser xxxx ——设置密码：passwd xxxx 2、修改ssh配置： ——修改配置文件：vi /etc/ssh/sshd_config ——配置文件中增加一行：PermitRootLogin no 阅读全文

摘要： 本文对java项目在windows环境访问HBase的过程进行记录。 1、引入对应的HBase的jar包。网上有的帖子里说是要指定引入某几个文件即可，我实际测试的时候发现总是报错 java.lang.NoClassDefFoundError: com/ctc/wstx/io/InputBootstr 阅读全文

摘要： 先说结论吧：集群意外宕机重启后异常，如果以前运行正常没有配置错误的话，优先考虑重新cdh agent服务，很可能是它在作妖。 现象：服务器所在机房因意外断电，等待了大半天后恢复。登录CDH一看，发现集群重启后出现了一堆服务状态不良，HBase也没法用了： 显示状态不良，Clock Offset，提示 阅读全文

摘要： 某个生产数据库（oracle）中单表记录了上亿的车辆定位数据，应用系统的轨迹回放功能已出现明显的加载卡顿现象（优化了索引，查询指定车辆一段时间内的定位数据，差不多也需要15秒左右）。考虑到常规分表的方案治标不治本、同时也是为其他更大量级数据项目积累经验，我们决定尝试使用hbase来存储定位数据。要做 阅读全文

摘要： 最近项目上因为遇到数据量过大导致查询统计性能问题（oracle数据库、单表每月1亿多条车辆定位记录，由一个windows环境下的链路服务程序来接收车辆上传的定位数据写入oracle），急需使用大数据架构来解决。前期同事已经提出整体解决思路（修改链路服务程序，在写oracle的基础上同时写入kafka 阅读全文

摘要： 最近数据交换项目上需要用到ETL工具，原来一直不太了解，经同事介绍kettle可以很方便地进行数据同步。于是简单试用了一下，实现了从源表到目标表的数据同步（包括增删改）。 我们的需求如下：将业务系统指定表（source表）中的数据，同步到交换平台上相同结构的表（target表）中。不论source表 阅读全文

摘要： 1. 概述 执法人员考试系统（以下简称“考试系统”）是公司第一个顺利支撑全国2500人同时在线考试的系统。本文通过对考试系统的上线部署、问题反馈、测试调优等过程的复盘，为其他类似场景提供借鉴。 2. 系统简介 考试系统功能主要包括系统登录、开始答题、题目切换（上一题/下一题）、交卷等，从功能上看并不 阅读全文

摘要： 最近因为项目上的需要，使用.net core写了一个服务，用于指定word模板文件与数据，完成数据的填充（word读写使用npoi）与格式转换（使用aspose，将word转pdf）。之所以选择用.net core就是考虑到跨平台部署的问题。 1、远程至服务器（以172.16.170.75为例）， 阅读全文

摘要： 最近因为项目上的需要，使用.net core写了一个服务，用于指定word模板文件与数据，完成数据的填充（word读写使用npoi）与格式转换（使用aspose，将word转pdf）。之所以选择用.net core就是考虑到跨平台部署的问题。 1、打开powershell，使用ssh登录到服务器（以 阅读全文

摘要： Logstash是es官方标配的ELK中的“L”，它们三者的关系是这样：“E”指elasticsearch，用来提供核心的搜索服务；“L”指logstash，用来实现源数据到es索引库的收集、转换、入库；“K”指Kibana，用来通过丰富的图表化界面展示数据。安装这个logstash真的是比较坑，尤 阅读全文