摘要:由于需要规范HBase数据表命名,对测试环境的数据进行了重命名操作。 停掉所有服务后执行下面改名操作 # 禁用活跃用户表 disable 'DC_XXL:ACTIVE_USERS' # 创建快照 snapshot 'DC_XXL:ACTIVE_USERS', 'tony_snapshot' # 克隆 阅读全文
posted @ 2020-07-07 15:05 AllEmpty 阅读(239) 评论(0) 推荐(0) 编辑
摘要:1. 检查Kubernetes服务运行状态 kubectl get cs 2. Node管理 Node查看 查看所有node kubectl get nodes 节点状态 NAME STATUS ROLES AGE VERSION master Ready master 46h v1.17.0 sl 阅读全文
posted @ 2020-06-09 10:20 AllEmpty 阅读(96) 评论(0) 推荐(0) 编辑
摘要:1. Dashboard概述 Dashboard是基于Web的Kubernetes用户界面,我们可以通过Dashboard直接管理集群资源,运行、创建或修改集群中的资源,监控容器中的资源状态和发生的错误信息。还可以使用部署向导来扩展部署,启动滚动更新,重新启动Pod或部署新应用程序。 2. 安装Da 阅读全文
posted @ 2020-06-09 10:02 AllEmpty 阅读(339) 评论(0) 推荐(0) 编辑
摘要:1. 安装Kubernetes # 设置网络参数 cat > /etc/sysctl.d/k8s.conf <<EOF net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward = 1 net.bridge.bridge-nf-call-i 阅读全文
posted @ 2020-06-09 09:55 AllEmpty 阅读(73) 评论(0) 推荐(0) 编辑
摘要:1. 安装CRI-O 容器运行时接口Container Runtime Interface(CRI):这是一个插件接口,它让 kubelet(用于创建 pod 和启动容器的集群节点代理)有使用不同的兼容 OCI 的容器运行时的能力,而不需要重新编译 Kubernetes。在这项工作的基础上,CRI- 阅读全文
posted @ 2020-06-09 09:50 AllEmpty 阅读(114) 评论(0) 推荐(0) 编辑
摘要:1. 安装Docker 安装必要的工具包 yum install -y yum-utils device-mapper-persistent-data lvm2 升级yum yum update --skip-broken 添加yum的docker源 yum-config-manager --add 阅读全文
posted @ 2020-06-09 09:40 AllEmpty 阅读(113) 评论(0) 推荐(0) 编辑
摘要:云原生技术栈 云原生技术栈说明查看:https://github.com/wh211212/awesome-cloudnative-cn Kubernetes技术关系图 应用Kubernetes应掌握的技术栈 阅读全文
posted @ 2020-06-09 09:36 AllEmpty 阅读(74) 评论(0) 推荐(0) 编辑
摘要:Kubernetes架构 Kubernetes主要核心构件: etcd:协同存储,负责保存整个集群的状态,通常会部署奇数个节点以保证高可用性。 API:提供了资源操作的唯一入口,并提供认证、授权、访问控制、API注册和发现等机制。 controller manager:负责维护集群的状态,执行故障检 阅读全文
posted @ 2020-06-09 09:28 AllEmpty 阅读(75) 评论(0) 推荐(0) 编辑
摘要:1. Kubernetes是什么 Kubernetes中文版资料 Kubernetes是容器集群管理系统,是一个开源的平台,可以实现容器集群的自动化部署、自动扩缩容、维护等功能。 通过Kubernetes我们可以: 快速部署应用 快速扩展应用 无缝对接新的应用功能 * 节省资源,优化硬件资源的使用 阅读全文
posted @ 2020-06-09 09:22 AllEmpty 阅读(123) 评论(0) 推荐(0) 编辑
摘要:使用postgresql数据库一直都是在服务器同一台机子上,所以一向都正常,今天在其他服务器上调用,执行pip3 install psycopg2后直接暴下面错误: [root@slave2 ~]# pip3 install -i https://pypi.tuna.tsinghua.edu.cn/ 阅读全文
posted @ 2020-03-31 16:53 AllEmpty 阅读(937) 评论(0) 推荐(0) 编辑
摘要:服务器运行环境:spark 2.4.4 + scall 2.11.12 + kafka 2.2.2 由于业务相对简单,kafka只有固定topics,所以一直使用下面脚本执行实时流计算 spark-submit --packages org.apache.spark:spark-streaming- 阅读全文
posted @ 2020-03-18 10:58 AllEmpty 阅读(860) 评论(0) 推荐(0) 编辑
摘要:1. 回归算法概念 回归分析是一种预测性的建模技术,它研究的是因变量(目标)和自变量(预测器)之间的关系。这种技术通常用于预测分析、时间序列模型以及发现变量之间的因果关系。 回归算法通过对特征数据的计算,从数据中寻找规律,找出数据与规律之间的因果关系,并根据其关系预测后续发展变化的规律以及结果。 常 阅读全文
posted @ 2020-03-10 11:38 AllEmpty 阅读(473) 评论(0) 推荐(0) 编辑
摘要:学习机器学习算法,最难的不是算法及公式推导的学习,因为这些很多都是成熟的现成的,有代码例子可以直接使用。最难的是将算法应用到实际的项目当中。 1. 算法概念 K最近邻(k-Nearest Neighbor,KNN)分类算法,是一个理论上比较成熟的方法,也是最简单的机器学习算法之一。该方法的思路是:在 阅读全文
posted @ 2020-03-10 11:26 AllEmpty 阅读(139) 评论(0) 推荐(0) 编辑
摘要:这是一份迟到的年终总结,19年底与20年1月份,每天都处于异常忙碌的状态,为了能在新公司呆下来,997+早晚的学习,除了睡觉几乎没有任何空闲时间。而过年假期则在家陪着我那可爱的娃,没有心思用来写年终总结。不过迟到好过没到,没有回顾哪来进步,没有计划与目标,也就没有动力驱动着自己去努力。 2019年的 阅读全文
posted @ 2020-02-21 22:05 AllEmpty 阅读(213) 评论(1) 推荐(0) 编辑
摘要:机器学习的专业术语非常多,不需要一开始理解所有的专业术语,这些术语会随着对机器学习的深入,会慢慢理解,水到渠成。 不过在学习的过程中,有一些概念必须要了解,有助于后续的学习与理解,需要了解的核心概念有:监督学习、无监督学习、模型、策略、算法等。 监督学习 监督学习,指的是学习的数据与后续测试的数据, 阅读全文
posted @ 2020-01-08 19:41 AllEmpty 阅读(292) 评论(0) 推荐(0) 编辑