爱知菜的技术博客

摘要： 本文为转载： https://blog.csdn.net/vcbin/article/details/53941682 问题描述 系统背景：大型线上Java服务集群（活跃用户数上千万），业务重度使用Redis存储个管理Session，业务并发量>1WQPS,基本上每个请求都需要访问Redis(可能是 阅读全文

摘要： 个人心得（CDH5.14，心得是对下文转载步骤的补充）： CDH5.14的config.mk config.mk的配置要改成如下： USE_HDFS = 1 HDFS_LIB_PATH = /home/user/xgboost/xgboost-package/libhdfs/lib HADOOP_H 阅读全文

摘要： 之前在impala集成kerberos时，遇到了时间相关的问题，当时没有做充分的测试，对某些理解有些问题（http://caiguangguang.blog.51cto.com/1652935/1381323），今天正好做了下测试，总结如下： 1.klist中expires以及renew until 阅读全文

摘要： Project git url: https://github.com/ss/openwrt-ss 包含 ss-{local,redir,tunnel} 三个可执行文件 默认启动 ss-local 建立本地 SOCKS 代理 ss-libev-spec 为针对 OpenWrt 路由器的优化版本包含 阅读全文

摘要： 坑点： CDH的spark home其实在 /opt/cloudera/parcels/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658/lib/spark2/bin 一定要找那个有spark-class.sh文件的目录。spark-submit.sh其实调用的 阅读全文

摘要： 安装完MIT Kerberos的客户端后，krb5的目录是一个隐藏的目录，这点很恶心 Setting Up the Kerberos Configuration File Settings for Kerberos are specified through a configuration file 阅读全文

摘要： CDH 的 kafka 命令脚本安装目录： /opt/cloudera/parcels/KAFKA-2.2.0-1.2.2.0.p0.68/lib/kafka/bin List Topics： ./kafka-topics.sh --zookeeper 172.16.26.4:2181/kafka 阅读全文

摘要： Redis有两个linux和windows两个版本，截至本文发表时，linux是5.05，而windows的版本不是官方的，版本为3.2。 这两个版本的redis的dump.rdb文件并不兼容。 Linux的redis安装：下载官网的压缩包，tar xzvf 解压，cd进入src目录，make in 阅读全文

摘要： 转自: http://www.ha97.com/5095.html PS：下面是性能测试的主要概念和计算公式，记录下： 一．系统吞度量要素： 一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。 单个reqeust 对CPU消耗越高，外部系统接口、IO影响速度越慢 阅读全文

摘要： In [3]: import pyspark from pyspark import SparkContext, SparkConf from pyspark.sql import SparkSession sparkconf = SparkConf().setAppName("myspark") 阅读全文