bioamin

摘要： 1、普通方式： 例如rdd.map(para(para(0).trim(),para(1).trim().toInt)).toDF("name","age") #需要导入隐式转换 import spark.implicits._ // 隐式转换 val df1=data.map(x=>x.split 阅读全文

摘要： def show(numRows: Int): Unit = show(numRows, truncate = true) /** * Displays the top 20 rows of Dataset in a tabular form. Strings more than 20 charac 阅读全文

摘要： def sample( withReplacement: Boolean, fraction: Double, seed: Long = Utils.random.nextLong): RDD[T] = { require(fraction >= 0, s"Fraction must be nonn 阅读全文

摘要： DataFrame注册成一张表格，如果通过CreateTempView这种方式来创建，那么该表格Session有效，如果通过CreateGlobalTempView来创建，那么该表格跨Session有效，但是SQL语句访问该表格的时候需要加上前缀global_temp dataframe 转换为临时 阅读全文

摘要： Hbase在hdfs上的存储位置，根目录是由配置项hbase.rootdir决定，默认就是"/hbase" 其中hbase master 的webui 由参数hbase.master.info.port决定，一般配置为 60010 [dip@g3-test-36 ~]$ hadoop fs -ls 阅读全文

摘要： bioamin在完成《ldap部署》、《phpldap部署》后，依据下面博客完成了用户创建 创建OU创建用户 1.创建OU 选择Organisational unit 组织单元 输入OU名称 提交信息 结果创建成功 2.创建员工 选择ou选择新建子条目 选择默认模板 选择inetorgperson 阅读全文

摘要： 上文bioamin完成《ldap部署》，本文部署phpldapamin 用于可视化管理 1、安装php-ldap yum install -y php-ldap 2、安装httpd和phpldapadmin yum install -y httpd yum install -y phpldapadm 阅读全文

摘要： 主要参考https://www.server-world.info/en/note?os=CentOS_7&p=openldap&f=1 1、安装ldap server [root@dlp ~]# yum -y install openldap-servers openldap-clients [r 阅读全文

摘要： 环境：cdh集群5.15 ，redhat7 有一台zookeeper无法启动，查看日志报错如下 2020-07-04 14:24:23,880 ERROR org.apache.zookeeper.server.persistence.Util: Last transaction was parti 阅读全文

摘要： 需求：采集8类日志数据，并且进入es展示： 方案制定：目前数据采集通用flume+kafka模式，所以采用原有模式，一类服务进入一个topic，然后通过logstash进行数据清洗，最后进入es进行展示。 flume采用tadir 读取数据源，memory 进行缓存，kafka进行sink a1.s 阅读全文