10 2018 档案

浏览器页面请求js、css大文件处理
摘要：当页面引用一个比较大的js和css文件时，会出现较大下载延迟，占用带宽的问题，如果一个应用里有很多这样的js或CSS文件，那么就需要优化了。 比如ext-all.js有1.4M，页面引用这个文件，正常引用如下： HTTP中响应头（Response Headers）属性content-Encoding 阅读全文
posted @ 2018-10-30 16:05 cac2020 阅读(1359) 评论(0) 推荐(1)
大数据处理框架之Strom：redis storm 整合
摘要：storm 引入redis ,主要是使用redis缓存库暂存storm的计算结果，然后redis供其他应用调用取出数据。 新建maven工程 pom.xml Topology spout StormRedisBolt 阅读全文
posted @ 2018-10-29 14:34 cac2020 阅读(862) 评论(0) 推荐(0)
大数据处理框架之Strom：kafka storm 整合
摘要：storm 使用kafka做数据源，还可以使用文件、redis、jdbc、hive、HDFS、hbase、netty做数据源。 新建一个maven 工程： pom.xml KafkaTopology 阅读全文
posted @ 2018-10-29 14:15 cac2020 阅读(1330) 评论(0) 推荐(0)
大数据处理框架之Strom:容错机制
摘要：1、集群节点宕机Nimbus服务器 单点故障，大部分时间是闲置的，在supervisor挂掉时会影响，所以宕机影响不大，重启即可非Nimbus服务器 故障时，该节点上所有Task任务都会超时，Nimbus会将这些Task任务重新分配到其他服务器上运行 2、进程挂掉Worker 挂掉时，Supervi 阅读全文
posted @ 2018-10-26 17:31 cac2020 阅读(620) 评论(0) 推荐(0)
大数据处理框架之Strom: Storm拓扑的并行机制和通信机制
摘要：一、并行机制 Storm的并行度 ，通过提高并行度可以提高storm程序的计算能力。 1.组件关系：Supervisor node物理节点,可以运行1到多个worker,不能超过supervisor.slots.ports数量；worker：工作进程，即jvm.为特定拓扑的一个或者多个组件Spout 阅读全文
posted @ 2018-10-26 15:21 cac2020 阅读(372) 评论(0) 推荐(0)
大数据处理框架之Strom: Storm----helloword
摘要：大数据处理框架之Strom: Storm helloword Storm按照设计好的拓扑流程运转，所以写代码之前要先设计好拓扑图。这里写一个简单的拓扑： 第一步：创建一个拓扑类含有main方法的类型，作为程序入口： 第二步：创建数据源类方式一：继承backtype.storm.topology.ba 阅读全文
posted @ 2018-10-26 11:01 cac2020 阅读(573) 评论(0) 推荐(0)
大数据处理框架之Strom:Storm集群环境搭建
摘要：搭建环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) zookeeper-3.4.11 jdk1.7.0_80 Python 2.7.5 (https://www.cnblogs.com/kimyeee/p/7250560.html) 集群 阅读全文
posted @ 2018-10-25 17:21 cac2020 阅读(275) 评论(0) 推荐(0)
大数据处理框架之Strom：认识storm
摘要：Storm是分布式实时计算系统，用于数据的实时分析、持续计算，分布式RPC等。 （备注：5种常见的大数据处理框架：· 仅批处理框架：Apache Hadoop；· 仅流处理框架：Apache Storm 和 Apache Samza；· 混合框架：Apache Spark 和 Apache Flin 阅读全文
posted @ 2018-10-25 15:28 cac2020 阅读(1848) 评论(0) 推荐(0)
zookeeper日志清理
摘要：环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) jdk1.7.0_80 zookeeper-3.4.11 一、事务日志和快照日志1.事务日志和快照日志概述配置文件：/home/cluster/zookeeper/conf/zoo.cfg事 阅读全文
posted @ 2018-10-23 10:40 cac2020 阅读(13810) 评论(0) 推荐(0)
【kafka学习之五】kafka运维：kafka操作日志设置和主题删除
摘要：一、操作日志 首先附上kafka 操作日志配置文件：log4j.properties 根据相应的需要设置日志。 其次 kafka默认打印GC日志，如下， 生产是不需要的 需要关掉，kafka home bin目录下面有个kafka-run-class.sh脚本 vim编辑一下 将参数 KAFKA_G 阅读全文
posted @ 2018-10-22 18:06 cac2020 阅读(10235) 评论(0) 推荐(0)
【Redis学习之十一】Java客户端实现redis集群操作
摘要：客户端：jedis-2.7.2.jar 配置文件两种方式： properties: xml: 创建集群bean： 阅读全文
posted @ 2018-10-19 10:46 cac2020 阅读(1876) 评论(1) 推荐(1)
FastDFS：Java客户都实现文件的上传、下载、修改、删除
摘要：客户端版本：fastdfs_client_v1.24.jar 配置文件 客户端操作： 测试： 阅读全文
posted @ 2018-10-19 10:17 cac2020 阅读(15939) 评论(0) 推荐(0)
DevOps之四：Git & GitLab
摘要：一、Git1、Git是什么Git是目前世界上最先进的分布式版本控制系统，本地可以管理版本. 2、Git和SVN的区别 SVN是集中式版本控制系统，版本库是集中放在中央服务器的，而干活的时候，用的都是自己的电脑，所以首先要从中央服务器哪里得到最新的版本，然后干活，干完后，需要把自己做完的活推送到中央服 阅读全文
posted @ 2018-10-17 17:02 cac2020 阅读(593) 评论(0) 推荐(0)
代码静态检查Eclipse插件：SonarLint插件离线安装
摘要：Eclipse Version: Oxygen.3a Release (4.7.3a)Myeclipse版本： 10.7 SonarLint 插件离线安装包：org.sonarlint.eclipse.site-2.0.0.20160404-1547-RELEASE.zip 下载地址：https:/ 阅读全文
posted @ 2018-10-17 16:57 cac2020 阅读(8160) 评论(0) 推荐(0)
DevOps之三：CentOS7.3 安装部署Jenkins(三种方式) & Hudson
摘要：环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) jdk1.7.0_80 apache-tomcat-7.0.90 jenkins-2.32.3-1.1.noarch.rpm (https://jenkins.io/download/) J 阅读全文
posted @ 2018-10-16 17:56 cac2020 阅读(3645) 评论(0) 推荐(0)
DevOps之三：Maven私服Nexus使用 && 清理nexus历史镜像
摘要：环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) jdk1.7.0_80 apache-tomcat-7.0.90 mysql-5.7.23 apache-maven-3.5.4 nexus-2.11.1-01 一、使用1、Nexus的仓库 阅读全文
posted @ 2018-10-16 12:36 cac2020 阅读(5832) 评论(0) 推荐(0)
DevOps之三：搭建Maven私服Nexus
摘要：安装环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) jdk1.7.0_80 apache-tomcat-7.0.90 mysql-5.7.23 apache-maven-3.5.4-bin.tar.gz(http://maven.apac 阅读全文
posted @ 2018-10-16 09:43 cac2020 阅读(3364) 评论(0) 推荐(0)
DevOps之二：搭建SVN服务器（SvnAdmin）
摘要：安装环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) jdk1.7.0_80 apache-tomcat-7.0.90 mysql-5.7.23 SvnAdmin 是一套非常简单的java web程序，主要用来管理SVN项目，访问项目的用户 阅读全文
posted @ 2018-10-15 17:52 cac2020 阅读(537) 评论(0) 推荐(0)
DevOps之二：搭建SVN服务器（整合Apache+Subversion）
摘要：安装环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) jdk1.7.0_80 rhel-server-7.3-x86_64-dvd.iso 作为本地镜像yum源 apr-1.6.5.tar.gz、apr-util-1.6.1.tar.gz、 阅读全文
posted @ 2018-10-15 16:36 cac2020 阅读(1505) 评论(0) 推荐(0)
Linux 安装gcc、gcc-c++编译器
摘要：安装环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) 方式一：yum安装 使用ISO制作yum源：Linux 使用系统ISO制作yum源 yum install gcc yum install gcc-c++ 方式二：离线安装rpm文件 g 阅读全文
posted @ 2018-10-14 13:10 cac2020 阅读(40353) 评论(0) 推荐(3)
Linux 使用系统ISO制作yum源
摘要：关于linux安装问题，大多数情况下 系统开发完成之后，需要部署到生产机器上，客户提供的机器预装好了操作系统，但是都是内网环境 与外网都是物理隔绝的，那么 在搭建生产环境时需要安装相关软件时，如果自己从外网下载 再拷贝到生产机器上 会很不方便 ，而且安装文件存在相互依赖 不一定安装成功。yum安装会 阅读全文
posted @ 2018-10-14 12:50 cac2020 阅读(8985) 评论(1) 推荐(0)
DevOps之二：搭建SVN服务器（subversion）
摘要：安装环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) jdk1.7.0_80 subversion-1.10.3.tar.gz apr-1.6.5.tar.gz、apr-util-1.6.1.tar.gz、apr-iconv-1.2.2.t 阅读全文
posted @ 2018-10-13 18:15 cac2020 阅读(2296) 评论(0) 推荐(0)
DevOps之二：搭建SVN服务器--Apache HTTP Server安装
摘要：安装环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) jdk1.7.0_80 httpd-2.4.35.tar.gz apr-1.6.5.tar.gz、apr-util-1.6.1.tar.gz、apr-iconv-1.2.2.tar.gz 阅读全文
posted @ 2018-10-13 15:28 cac2020 阅读(804) 评论(0) 推荐(0)
DevOps之一：DevOps概述
摘要：DevOps（Development和Operations的组合词），用于促进开发软件开发人员（Dev）、IT运维技术人员（Ops）、质量保障部门（QA）部门之间沟通、协作与整合的一组过程、方法与系统的统称。 一、概念 1、持续集成（Continuous Integration）持续集成强调开发人员 阅读全文
posted @ 2018-10-10 22:19 cac2020 阅读(477) 评论(0) 推荐(0)
eclipse调优
摘要：基于Eclipse 4.7.0 (Oxygen) 目的：加快eclipse启动速度 修改eclipse安装目录下配置文件eclipse.ini(1)指定eclipse运行的jre，不让其进行搜索-vmC:\Java8\jdk1.8.0_162\bin\(2)eclipse是用java开发的，增加堆内 阅读全文
posted @ 2018-10-10 21:05 cac2020 阅读(1259) 评论(0) 推荐(0)
【kafka学习之四】kafka集群性能测试
摘要：kafka集群的性能受限于JVM参数、服务器的硬件配置以及kafka的配置，因此需要对所要部署kafka的机器进行性能测试，根据测试结果，找出符合业务需求的最佳配置。 1、kafka broker jVM参数kafka broker jVM 是由脚本kafka-server-start.sh中参数K 阅读全文
posted @ 2018-10-01 09:55 cac2020 阅读(7900) 评论(0) 推荐(0)