摘要：
CREATE FUNCTION check_date as 'com.chinaoly.hive.udf.CheckDateFormatUdf' using jar 'hdfs://nameservice1/user/hive/hive-udf-1.0.jar'; CREATE FUNCTION u 阅读全文
摘要：
一不小心在Eureka上注册了一个BUG服务想赶紧删掉咋办…重启Eureka吗显然不靠谱实际上是可以手工删除的很简单： curl -X DELETE "http://localhost:1111/eureka/apps/CALL_CLIENT/localhost:call_client:8083" 阅读全文
摘要：
yarn.nodemanager.resource.memory-mb = 15G Yarn核心运维 1、组件安装规划、cpu、内存规划 2、产线环境高可用配置、集群部署、resourcemanager/nodemanager集群服务启动、服务验证、日志追踪 3、resourcemanager主备切 阅读全文
摘要：
yarn -cluster(yarnClusterScheduler)模式，Client和Driverr运行在一起(运行在本地)，AM只用来管理资源。如果需要返回数据到client就用YARN client模式。如果想让数据存储到hdfs, 阅读全文
摘要：
比azkaban、ooiz还要好的调度dolphinScheduler 阅读全文
摘要：
Phoenix SQLLine快速使用 启动 在Phoenix主目录下bin文件夹中，执行以下命令： bin/sqlline.py master 其中master为Zookeeper中的节点，如果有多个节点，中间使用逗号分开。 执行该命令后，客户端成功启动。 罗列所有表 在客户端执行!tables命 阅读全文
摘要：
引入Phoenix jar 在maven项目中引入Phoenix jar包： <dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core</artifactId> <version>4.8.0-HBase-1 阅读全文
摘要：
Hive与HBase整合文档 Hive整合HBase配置 拷贝hbase 相关jar包 将hbase 相关jar包拷贝到hive lib目录下 hbase-client-0.98.13-hadoop2.jar hbase-common-0.98.13-hadoop2.jar hbase-server 阅读全文
摘要：
Phoenix 安装使用文档 下载Phoenix 直接到Phoenix官网下载安装包，官网地址为：http://mirror.bit.edu.cn/apache/phoenix/ 备注：Phoenix 版本需要与HBase 版本一致。比如hbase版本为0.98，那么Phoenix选择与之对应的版本 阅读全文
摘要：
1、HBase Master启动失败 报 master.HMaster: Failed to become active master 解决方法 报错内容： ERROR [Thread-21] master.HMaster: Failed to become active master java.l 阅读全文
摘要：
region总量(700-350) = 总数据量(3520G) / region大小(7G) TTL(Time to Live) 用于限定数据的超时时间。 region最大值：10-20Gb region最优值：5-10Gb 1、hbase写数据流程(hbase写数据性能，要高出读性能 一个数量级) 阅读全文
摘要：
[hadoop@cbp1 logs]$ hdfs haadmin -getServiceState nn3 standby [hadoop@cbp1 logs]$ hdfs haadmin -getServiceState nn2 standby [hadoop@cbp1 logs]$ hdfs h 阅读全文
摘要：
1、开启机器，本次实例分配的ip是：192.168.3.197（Xshell ssh连接） 2、安装unzip 工具、vim编辑器（个人习惯，vi也可以） 3、在vi /etc/hosts文件中添加本机IP跟主机名 4、关闭selinux ，编辑vi /etc/selinux/config文件，设置 阅读全文
摘要：
版本关系 若使用Phoenix，需下载与当前使用MRS集群相对应的Phoenix版本，具体请参见http://phoenix.apache.org。其对应关系如表1所示： 表1 MRS与Phoenix版本对应关系一览表 MRS版本 Phoenix版本 备注 MRS 1.5.x及其之前版本 无 MRS 阅读全文
摘要：
generate_train_data.py import pandas as pd import user_cf import operator import item_cf data_path = 'G:\\Bigdata_object\\u.data' udata = pd.read_csv( 阅读全文
摘要：
协同算法： User-Based CF 计算user与user的相似度矩阵 Item-Based CF计算item-item的相似度矩阵 假设： - 用户喜欢哪些跟他有相似爱好的用户喜欢的东西 - 具有相似兴趣的用户在未来也具有相似兴趣 方法： - 给定用户u，找到一个用户的集合N(u)，他们和u具 阅读全文
摘要：
最近启动 Hadoop， nodemanger 老挂，报kerberos 验证错误，各种查找原因，时间也同步，kint 也能登录到kerberos，一直找不到原因，最后发现是网关和远端的时间同步，但是不在同一个时区导致的问题 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 1 阅读全文
摘要：
建表语句： create database sentry default character set utf8; CREATE USER 'sentry'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON sentry. * TO 'sent 阅读全文
摘要：
Linux自带了ntp服务 -- /etc/init.d/ntpd，这个服务不仅可以设置让本机和某台/某些机器做时间同步，他本身还可以扮演一个time server的角色，让其他机器和他同步时间。 配置文件就是/etc/ntp.conf。 为了测试，设置让node2 -- 192.168.1.102 阅读全文
摘要：
日更 阅读全文
摘要：
日更 阅读全文
摘要：
日更 阅读全文
摘要：
日更 阅读全文
摘要：
日更 阅读全文
摘要：
1、根据经验，选择安装包时应该按最小化原则，即不需要的或者不确定是否需要的就不安装，这样可以最大程度上确保系统安全。 2、如果安装过程落了部分包组或者其他伙伴安装时没选，再安装后可以按如下方式补上安装时未安装的包组： yum groupinstall "Compatibility libraries 阅读全文
摘要：
日更 阅读全文
摘要：
日更 阅读全文
摘要：
日更 阅读全文
摘要：
日更 阅读全文
摘要：
日更 阅读全文
摘要：
日更 阅读全文
摘要：
日更 阅读全文
摘要：
日更 阅读全文
摘要：
日更 阅读全文
摘要：
日更 阅读全文
摘要：
日更 阅读全文
摘要：
日更 阅读全文