01 2021 档案

大数据思维导图
摘要： 阅读全文
posted @ 2021-01-31 21:57 Simon92 阅读(873) 评论(0) 推荐(0)
注册udf
摘要：CREATE FUNCTION check_date as 'com.chinaoly.hive.udf.CheckDateFormatUdf' using jar 'hdfs://nameservice1/user/hive/hive-udf-1.0.jar'; CREATE FUNCTION u 阅读全文
posted @ 2021-01-24 14:57 Simon92 阅读(129) 评论(0) 推荐(0)
删除eureka上注册的服务
摘要：一不小心在Eureka上注册了一个BUG服务想赶紧删掉咋办…重启Eureka吗显然不靠谱实际上是可以手工删除的很简单： curl -X DELETE "http://localhost:1111/eureka/apps/CALL_CLIENT/localhost:call_client:8083" 阅读全文
posted @ 2021-01-23 21:42 Simon92 阅读(897) 评论(0) 推荐(0)
yarn
摘要：yarn.nodemanager.resource.memory-mb = 15G Yarn核心运维 1、组件安装规划、cpu、内存规划 2、产线环境高可用配置、集群部署、resourcemanager/nodemanager集群服务启动、服务验证、日志追踪 3、resourcemanager主备切 阅读全文
posted @ 2021-01-04 22:03 Simon92 阅读(126) 评论(0) 推荐(0)
spark
摘要：yarn -cluster(yarnClusterScheduler)模式，Client和Driverr运行在一起(运行在本地)，AM只用来管理资源。如果需要返回数据到client就用YARN client模式。如果想让数据存储到hdfs, 阅读全文
posted @ 2021-01-02 21:36 Simon92 阅读(98) 评论(0) 推荐(0)