随笔分类 -  推荐系统

上一页 1 2
14-hadoop-运行的2种方式
摘要：hadoop的程序运行有, 具体有3种, 除了上一篇(http://www.cnblogs.com/wenbronk/p/6662119.html)提过的直接发布jar上传到hadoop以外, 还有本地运行和真实服务器运行两种方式 1, 本地模式 1.1 解压hadoop.tar.gz到window 阅读全文
posted @ 2017-04-04 22:55 bronk 阅读(867) 评论(0) 推荐(0)
13-hadoop-入门程序
摘要：通过之前的操作, http://www.cnblogs.com/wenbronk/p/6636926.html http://www.cnblogs.com/wenbronk/p/6659481.html hadoop-HA的集群已经搭建完成了, 需要写个小程序来认识下hadoop了 统计文本文件中 阅读全文
posted @ 2017-04-03 15:50 bronk 阅读(464) 评论(0) 推荐(0)
12-mapReduce的简介和yarn搭建
摘要：Hadoop的核心组件之er: mapreduce mapreduce的核心理念: 移动计算, 而不是移动数据(reducetask中仍然有移动数据的情况) 分而治之 split: 切分hadoop上传的block map: 对split后的结果进行分组 shaffer: 对map后的键值对进行排序 阅读全文
posted @ 2017-04-02 18:00 bronk 阅读(287) 评论(0) 推荐(0)
11-hdfs-NameNode-HA-wtihQJM解决单点故障问题
摘要：在hdfs中, NN只有一个, 但其中保存的数据尤其重要, 所以需要将元数据保存, 其中源数据有2个形式, fsimage 和 edit文件, 最简单的解决方法就是复制fsimage, 并在文件修改时同时修改 NNActive 和 NNStandby 中的edit, 保存在第三方的QJM中, 所以多 阅读全文
posted @ 2017-03-31 20:16 bronk 阅读(1032) 评论(0) 推荐(0)
10-hdfs-hdfs搭建
摘要：hdfs的优缺点比较: 架构图解分析: nameNode的主要任务: SNameNode的功能: (不是NN的备份, 主要用来合并fsimage) 合并流程: dataNode的主要功能: HDFS上传文件思想: hdfs用于一般用于处理离线数据文件, 存储方式为block副本, 集群规划使用完全式 阅读全文
posted @ 2017-03-27 21:45 bronk 阅读(338) 评论(0) 推荐(0)
9-lvs-lvs集群-及keepalived健康检查
摘要：注意: 配置前需要将上一篇的配置都清除掉 nginx作为请求分发服务器时, 有健康检查机制, 挂了的服务器不会在分发请求 但lvs没有, 需要keepalived进行健康检查, 否则仍然将请求分发过去, 造成无法访问 安装keepalived高可用的lvs集群 1, 安装 ipvsadm 上篇(ht 阅读全文
posted @ 2017-03-25 22:24 bronk 阅读(304) 评论(0) 推荐(0)
8-lvs-负载均衡
摘要：注意: linux集群的时间需要一致 并发量在千万以上, 一般才会使用此种方式, 基于第四层进行ip欺骗, 使得nginx只接受上行流量, 下行流量通过具体执行的服务器直接返回 由章文嵩博士(淘宝) 1998年成立的项目 3种模式: NAT 上下行走前段服务器 TUN 前端服务器通过ip隧道的方式到 阅读全文
posted @ 2017-03-25 20:00 bronk 阅读(288) 评论(0) 推荐(0)
7-nginx-keepalived配置主从双击热备
摘要：nginx的高可用解决方案 keepalive 是 VRRP 协议的完美实现, 通过vip(虚拟ip)来实现主从双击热备, 自动切换的高可用方案, nginx的主从是通过keepalived实现的 通过权重进行主从切换的 keepalived 是为ipvs开发的, 会自动执行健康检查, 如果需要给其 阅读全文
posted @ 2017-03-22 21:50 bronk 阅读(940) 评论(0) 推荐(0)
6-nginx-会话一致性解决(sesion一致)
摘要：由于tomcat使用的为集群, 通过nginx访问时轮询不同的tomcat, 使得session无法统一, 所以将session单独抽取出来做共享session. 此tomcat版本为 7.0.61.tar.gz 刚开始用7.0.75对他来说版本太高了, 一直包异常!!!!!! 首先打开两台tomc 阅读全文
posted @ 2017-03-19 00:35 bronk 阅读(631) 评论(0) 推荐(0)
5-niginx-健康检查模块
摘要：1, nginx有一个自带的健康检查模块, 过于丑陋... 只需要在 nginx.conf下的http中的server配置如下即可 然后重启nginx, 使用脚本: service nginx reload 通过浏览器可访问 2, tengine也有一个健康检查模块, 比较强大 先在server中配 阅读全文
posted @ 2017-03-18 22:04 bronk 阅读(239) 评论(0) 推荐(0)
4-nginx-反向代理到tomcat及负载均衡
摘要：反向代理相比于正向代理, 比如使用搬瓦工时, 就是位于客户端的正想代理, 而反向代理则是服务器端的代理, 主要用于实现请求分发, 负载均衡等功能 正向代理推荐一个: 搬瓦工, 比较好用.. 反向代理主要有2个重要的配置: proxy_pass C语言的代理函数 upstream 1, 直接通过pro 阅读全文
posted @ 2017-03-18 20:56 bronk 阅读(523) 评论(0) 推荐(0)
3-nginx.conf参数配置
摘要：上面是配置的具体参数的含义, 下面详细讲解 1, 虚拟主机 虚拟主机, 可以将网络上的一个计算机分为多个虚拟主机, 并分别独立提供服务 和tomcat的区别是: tomcat配置多个工程统一服务, 而虚拟主机可以单独服务 2, 配置虚拟主机的方式 1), 基于ip进行虚拟 通过linux的虚拟ip绑 阅读全文
posted @ 2017-03-18 17:01 bronk 阅读(453) 评论(0) 推荐(0)
2-nginx 安装
摘要：1, nginx简介: •Nginx("engine x") 是一个高性能的HTTP 和反向代理服务器，也是一个IMAP/POP3/SMTP 代理服务器。•第一个公开版本0.1.0发布于2004年10月4日。•其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源 阅读全文
posted @ 2017-03-16 00:06 bronk 阅读(335) 评论(0) 推荐(0)

上一页 1 2