会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
超级无敌小剑
博客园
首页
新随笔
联系
订阅
管理
上一页
1
2
3
4
下一页
2021年9月10日
Nginx简述
摘要: 1 Nginx Nginx("engine x") 是一个高性能的HTTP和反向代理服务器,特点是占有内存少,并发能力强,事实上nginx的并发能力确实在同类型的网页服务器中表现较好. 2.正向代理和反向代理 正向代理类似一个跳板机,代理访问外部资源. 用户-->代理服务器-->要访问的网站 反向代
阅读全文
posted @ 2021-09-10 20:51 超级无敌小剑
阅读(97)
评论(0)
推荐(0)
2021年8月5日
Hive 自定义函数
摘要: 1.Hive自定义函数之UDF package my_len; import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthExc
阅读全文
posted @ 2021-08-05 15:51 超级无敌小剑
阅读(283)
评论(0)
推荐(0)
Hive的压缩和存储
摘要: 1.Hadoop压缩配置 因为hive的文件是存储在HDFS上的 所以要先了解hadoop的文件压缩格式和配置 1.1MR支持的压缩编码 压缩格式 算法 文件扩展名 是否可切分 DEFLATE DEFLATE .deflate 否 Gzip DEFLATE .gz 否 bzip2 bzip2 .bz
阅读全文
posted @ 2021-08-05 11:24 超级无敌小剑
阅读(338)
评论(0)
推荐(0)
Hive常用函数示例
摘要: 1.常用函数 常用函数 一、常用日期函数 1. unix_timestamp:返回当前或指定时间的时间戳 select unix_timestamp(); select unix_timestamp("2020-10-28",'yyyy-MM-dd'); 2. from_unixtime:将时间戳转
阅读全文
posted @ 2021-08-05 11:09 超级无敌小剑
阅读(420)
评论(0)
推荐(1)
2021年7月1日
kafka常用操作和常见问题
摘要: 1.kafka官网:kafka官网 1.kafka概述 1)Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。(传统使用) Kafka是一个开源的分布式事件流平台(event streaming platform),被数千家公司用于高性
阅读全文
posted @ 2021-07-01 21:00 超级无敌小剑
阅读(132)
评论(0)
推荐(0)
消费一下kafka的__consumer_offsets
摘要: __consumer_offsets consumer默认将offset保存在Kafka一个内置的topic中,该topic为__consumer_offsets __consumer_offsets 为kafka中的topic, 那就可以通过消费者进行消费. 大概思路: 1.先启动一个生产者: o
阅读全文
posted @ 2021-07-01 17:29 超级无敌小剑
阅读(1557)
评论(0)
推荐(0)
kafka_API笔记
摘要: kafkaserver.properties配置文件 server.properties #server.properties #broker的全局唯一编号,不能重复 broker.id=0 #删除topic功能使能,当前版本此配置默认为true,已从配置文件移除 delete.topic.enab
阅读全文
posted @ 2021-07-01 11:09 超级无敌小剑
阅读(93)
评论(1)
推荐(0)
2021年6月30日
sqoop工具使用办法
摘要: sqoop底层没有reducer 只有n个mapper --显示sqoop连接到的数据库列表sqoop list-databases --connect jdbc:mysql://Ava01:3306 -username root -password 123456--sqoop import dat
阅读全文
posted @ 2021-06-30 16:15 超级无敌小剑
阅读(184)
评论(0)
推荐(0)
2021年6月29日
kafka简单数据流
摘要:
阅读全文
posted @ 2021-06-29 22:50 超级无敌小剑
阅读(34)
评论(0)
推荐(0)
Hbase笔记
摘要: Hbase操作: --namespace --修改或者增加属性 hbase> alter_namespace 'ns1', {METHOD => 'set', 'PROPERTY_NAME' => 'PROPERTY_VALUE'} --删除属性 alter_namespace 'ns1', {ME
阅读全文
posted @ 2021-06-29 22:40 超级无敌小剑
阅读(140)
评论(0)
推荐(0)
上一页
1
2
3
4
下一页
公告