xiaolaotou

2019年8月26日

该文被密码保护。阅读全文

posted @ 2019-08-26 10:33 xiaolaotou 阅读(1) 评论(0) 推荐(0)

该文被密码保护。阅读全文

posted @ 2019-08-26 10:23 xiaolaotou 阅读(2) 评论(0) 推荐(0)

VPN 不能建立到远程计算机的连接，可能需要更改此连接的网络设置。和连接上VPN，不能访问外网

摘要：一、连接VPN时异常不能建立到远程计算机的连接。你可能需要更改此连接的网络设置。二、解决办法 1、选择设备管理器 2、找到网络适配器 3、将网络设备器中WAN开头的右键点击卸载设备 4、然后右键网络适配器点击扫描检测硬件改动 5、等WAN 恢复过来 6、然后重新连接VPN即可。二、连上VPN，阅读全文

posted @ 2019-08-26 09:40 xiaolaotou 阅读(6) 评论(0) 推荐(0)

HDFS 修改默认副本数

摘要：描述：将HDFS副本数修改为2第一步：将HDFS上已有文件副本数修改为2 第二步：修改dfs.replication值为2（页面上操作），然后重启HDFShdfs-site.xml文件：第三步：修改副本数之后进行核对第四步、手动创建一个文件，上传至HDFS，观察其副本数如果副本数还是3，首先确认阅读全文

posted @ 2019-08-26 09:28 xiaolaotou 阅读(5923) 评论(0) 推荐(0)

2019年8月14日

Flink学习之路（二）Flink搭建（单机）

摘要：！！！！！！！！！！阅读全文

posted @ 2019-08-14 15:17 xiaolaotou 阅读(776) 评论(3) 推荐(0)

Flink学习之路（一）Flink简介

摘要：一、什么是Flink? Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，提供支持流处理和批处理两种类型应用的功能。二、Flink特点 1、现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型：流处理一般需要支持低延迟、Exactly-Once保证，而批处理一阅读全文

posted @ 2019-08-14 11:59 xiaolaotou 阅读(1906) 评论(0) 推荐(0)

2019年8月12日

HDFS中大数据常见运维指令总结

摘要：一、查看HDFS下的参数信息二、hdfs与dfs结合使用的参数信息其他一些操作命令说明：仅记录用于学习的指令。 1、追加文件内容到hdfs文件系统中的文件 2、查看hadoop的Sequencefile文件内容 3、使用df命令查看可用空间 [root@master ~]# hdfs dfs 阅读全文

posted @ 2019-08-12 10:57 xiaolaotou 阅读(1492) 评论(0) 推荐(0)

2019年8月9日

hive 将hive表数据查询出来转为json对象和json数组输出

摘要：一、将hive表数据查询出来转为json对象输出 1、将查询出来的数据转为一行一行，并指定分割符的数据 2、使用UDF函数，将每一行数据作为string传入UDF函数中转换为json再返回 1、准备数据 2、查询出来的数据转为一行一行，并指定分割符的数据 3、准备UDF函数二、将hive表数据查询阅读全文

posted @ 2019-08-09 11:11 xiaolaotou 阅读(19310) 评论(0) 推荐(0)

2019年7月30日

linux下 shell时间处理

摘要：一、hour 二、day 三、work 四、month 阅读全文

posted @ 2019-07-30 11:35 xiaolaotou 阅读(7908) 评论(0) 推荐(0)

2019年6月14日

Elasticsearch分页解决方案

摘要：一、命令的方式做分页 1、常见的分页方式：from+size elasticsearch默认采用的分页方式是from+size的形式，但是在深度分页的情况下，这种使用方式的效率是非常低的，比如from=5000,size=10，es需要在各个分片上匹配排序并得到5000*10条有效数据，然后在结果集阅读全文

posted @ 2019-06-14 15:36 xiaolaotou 阅读(17427) 评论(0) 推荐(1)

公告