摘要:kafka副本(replication)包含两种类型:leader副本,follower副本 leader副本负责读写请求,follower副本负责同步leader副本消息,通过副本选举实现故障转移。 阅读全文
posted @ 2019-10-19 00:12 guoew 阅读 (68) 评论 (0) 编辑
摘要:crontab命令常见于Unix和类Unix的操作系统之中,用于设置周期性被执行的指令,来完成一些自动、定时、重复性的工作 阅读全文
posted @ 2019-09-03 15:19 guoew 阅读 (107) 评论 (0) 编辑
摘要:实验环境:ubuntu16.04 python环境: 3.6.7 安装参考:https://superset.incubator.apache.org/installation.html 阅读全文
posted @ 2019-07-04 14:06 guoew 阅读 (386) 评论 (0) 编辑
摘要:下面是一些工作过程中比较常见的工具方法,但不代表最终答案。希望能对你有所帮助,如果您有更好更多的方法工具,欢迎推荐! 阅读全文
posted @ 2019-07-04 13:47 guoew 阅读 (68) 评论 (0) 编辑
摘要:一. Header相关的几个概念 CORS: 跨域资源共享(CORS) 是一种机制,它使用额外的 HTTP头来告诉浏览器 让运行在一个 origin (domain) 上的Web应用被准许访问来自不同源服务器上的指定的资源。当一个资源从与该资源本身所在的服务器不同的域、协议或端口请求一个资源时,资源 阅读全文
posted @ 2019-06-06 18:43 guoew 阅读 (656) 评论 (1) 编辑
摘要:java.lang.OutOfMemoryError这个错误我相信大部分开发人员都有遇到过,产生该错误的原因大都出于以下原因:JVM内存过小、程序不严密,产生了过多的垃圾。 阅读全文
posted @ 2019-04-15 10:28 guoew 阅读 (48) 评论 (0) 编辑
摘要:前提:需要搭建和部署nginx服务以及后端服务,以便测试反向代理使用,这部分工作省略。 一. 设置缓存空间 在nginx的http模块中开辟一块名为my_cache的缓存空间,缓存路径为/tmp/nginxcache,大小为10m。 二. 设置缓存 在nginx server模块设置反向代理缓存 三 阅读全文
posted @ 2019-02-17 23:15 guoew 阅读 (168) 评论 (0) 编辑
摘要:一. 故障处理部分 1.1. spark提交任务报错java.lang.NoClassDefFoundError: com/alibaba/fastjson/JSON 报错原因: 在运行环境没有找到fastjson的依赖库 解决方法: 在SPARK_HOME/jars/ 添加fastjson VER 阅读全文
posted @ 2019-02-17 14:13 guoew 阅读 (529) 评论 (0) 编辑
摘要:一. kubernetes是什么 kubernetes是一个全新得基于容器技术得分布式架构领先方案。是google Borg得一个开源版本。Borg是google得一个久负盛名得内部使用得大规模集群管理系统,它基于容器技术,目的是实现资源管理的自动化,以及跨多个数据中心的资源利用率的最大化。 二. 阅读全文
posted @ 2019-02-14 22:54 guoew 阅读 (204) 评论 (0) 编辑
摘要:wrk 是一个很简单的 http 性能测试工具,没有Load Runner那么复杂,他和 apache benchmark(ab)同属于HTTP性能测试工具,但是比 ab 功能更加强大,并且可以支持lua脚本来创建复杂的测试场景。 wrk 的一个很好的特性就是能用很少的线程压出很大的并发量,原因是它 阅读全文
posted @ 2019-02-14 22:29 guoew 阅读 (457) 评论 (0) 编辑