IT-執念

摘要： 三 Hive 自定义函数UDF和Transform 开篇提示： 快速链接beeline的方式： 1.自定义函数UDF 当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function） UDF 作用于单个数据行，产生一个数据行作 阅读全文

摘要： 阅读全文

摘要： 二.Hive分桶 1.创建分桶表 向创建的分桶表中插入数据需要是已分桶且排序的。通常是将其他表查询的结果插入桶中才会执行分桶操作。分桶的原理和分区原理差不多，类似HashPartitioner。 2.向分桶表中导入其他表查询后的数据 或者 可以使用distribute by(id) sort by( 阅读全文

摘要： 一 .Hive安装及初体验 1 .hive简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 1.1直接使用hadoop面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 1.2为什么要使 阅读全文

摘要： 1、什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使用SolrCloud来满足这 阅读全文

摘要： 1、 redis-cluster架构图 redis-cluster投票:容错 架构细节 ①所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽. ②节点的fail是通过集群中超过半数的节点检测失效时才生效. ③客户端与redis节点直连,不需要中间proxy层 阅读全文

摘要： 1、什么是Nginx Nginx是一款高性能的http 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器。由俄罗斯的程序设计师Igor Sysoev所开发，官方测试nginx能够支支撑5万并发链接，并且cpu、内存等资源消耗却非常低，运行非常稳定。 2、应用场景 1、http服务器。 阅读全文

摘要： 一、quartz 核心概念 1、scheduler是一个计划调度器容器，容器里面可以盛放众多的JobDetail和trigger，当容器启动后，里面的每个JobDetail都会根据trigger按部就班自动去执行。 2、JobDetail是一个可执行的工作，它本身可能是有状态的。 3、Trigger 阅读全文

摘要： 1、创建maven工程，导入spring和quartz相关依赖 2、创建任务类 3、在spring配置文件中配置任务类 4、在spring配置文件中配置JobDetail 5、在spring配置文件中配置触发器 6、在spring配置文件中配置scheduler 7、加载spring配置文件，创建s 阅读全文

摘要： 一、SOAP和WSDL概念： SOAP（Simple Object Access Protocol）：简单对象访问协议 SOAP作为一个基于XML语言的协议用于在网上传输数据 SOAP=在Http的基础上+xml数据 SOAP是基于http的 WSDL(WebService Description 阅读全文