01 2016 档案

zookeeper服务部署数量
摘要：zookeeper服务部署数量 资料1： 资料2： zookeeper服务有一个特性，容忍度，当集群正常机器过半则表示服务可以使用，比如2 0 3 1,4 1,5 2。所以2n 1和2n的容忍度是一样的，都是n 1，所以没必要弄成2n台，多一台浪费 阅读全文
posted @ 2016-01-28 10:54 逸新 阅读(441) 评论(0) 推荐(0)
实时人群计算——设想
摘要：实时人群计算——设想 目的 + 做到实时人群打标 技术 + spark streaming + 在前段创建一些判断条件，例如订单访问次数等，以此为依据创建人群。 + spark streaming 周期从mysql拉取新创建的人群 + 以batch进来的人为key，... 阅读全文
posted @ 2016-01-19 18:36 逸新 阅读(517) 评论(0) 推荐(0)
docker容器多服务——Supervisor
摘要：docker容器多服务——Supervisor 参考文档： docker本身是不建议一个容器中运行多个服务的，但如果有需要的可以通过linux服务来实现，例如：Supervisor，supervisor本身是linux下一个进程管理工具，通过配置文件可以实现启动服务，并且中断后... 阅读全文
posted @ 2016-01-19 17:11 逸新 阅读(8826) 评论(0) 推荐(0)
DMP职能
摘要：DMP职能 DMP(Data Management Platform)数据管理平台，是把分散的第一、第三方数据进行整合纳入统一的技术平台，并对这些数据进行标准化和细分，让用户可以把这些细分结果推向现有的互动营销环境里。 DMP的核心元素包括： + 数据整合及标准化能力：采用统一化... 阅读全文
posted @ 2016-01-19 16:06 逸新 阅读(432) 评论(0) 推荐(0)
人群任务处理流程
摘要：目的 + 产出定制条件的总数量 + 产出当前条件的人在其他标签维度的分布情况 + 产出满足当前条件的人，并添加标记 创建任务 + 创建原子任务 + 原子任务间进行逻辑交并补 + 存储进任务DB 执行任务 + 解析任务 + 周期扫描DB获取任务 + 解析原子任务，将... 阅读全文
posted @ 2016-01-18 18:49 逸新 阅读(466) 评论(0) 推荐(0)
dockerfile——docker容器，服务自启动
摘要：原文链接： 已知默认启动容器内服务有两种方式 1、在启动容器的时候，后面跟上需要执行的脚本，例如： , ps: 为镜像内的脚本。 2、使用docker file 创建一个Dockerfile，内容如下 ... 阅读全文
posted @ 2016-01-18 11:20 逸新 阅读(12796) 评论(0) 推荐(1)
docker容器端口映射解析
摘要：原文地址： 问题 docker固定容器ip前提是设置net为none，此情景下所有的网络配置都失效，包括 p端口映射。 目的 使用其他的方法做端口映射，绕过net为none 方法 docker的端口映射并不是在docker技术中实现的，而是通过宿主机的iptables来实现... 阅读全文
posted @ 2016-01-15 16:37 逸新 阅读(7694) 评论(0) 推荐(1)
mysql连接慢的问题——dns惹的祸
摘要：原文地址: 症状描述 + 本机连接mysql速度很快 + 远程ping mysql主机速度正常 + 远程连接mysql速度需要等待30秒左右 （问题所在） + 远程连接后访问mysql中的表正常 原因是mysql主机不能访问广域网，连接DNS时连接不上，因此连接的时候会有延时。... 阅读全文
posted @ 2016-01-15 16:05 逸新 阅读(3160) 评论(0) 推荐(0)
docker入门与hadoop
摘要：docker hadoop + docker入门实践 + docker安装hadoop + 入门：http://udn.yyuap.com/doc/docker_practice/image/save_load.html docker 网络 pipework + Pipewo... 阅读全文
posted @ 2016-01-09 00:19 逸新 阅读(807) 评论(0) 推荐(0)
docker 学习笔记 简介
摘要：docker可以做以下事情 + 隔离应用依赖 + 创建应用镜像并进行复制 + 创建容易分发的即启即用的应用 + 允许实例简单快速的扩展 + 测试应用并随后销毁他们 docker组成 镜像 + 镜像类似虚拟机的快照 + 镜像大都通过其他镜像生成 + 镜像拥有唯一ID + 具有可... 阅读全文
posted @ 2016-01-07 14:54 逸新 阅读(162) 评论(0) 推荐(0)
docker 安装笔记
摘要：准备机器 + 从已有的linux虚拟机中复制一个，注意重新生成网卡 + 修改机器ip： + 修改hostname： + 删除系统的网卡信息： + 重启系统： + 创建docker用户： + 为docker用户创建密码： + 添加docker到sudoers： 安装dock... 阅读全文
posted @ 2016-01-04 15:30 逸新 阅读(357) 评论(0) 推荐(0)
docker --（视频笔记1）
摘要：<p 1、在linux kernel layer 上可以构造N个userSpace；</p <p 2、程序运行的时候只是关注userspace</p <p 3、依靠多进程的方式实现分布式，每个进程作为一台机器，对于应用程序来说是完全透明的。</p <p 4、</p <table border="0"... 阅读全文
posted @ 2016-01-03 18:09 逸新 阅读(276) 评论(0) 推荐(0)
spark streaming -- （视频笔记）
摘要：1、spark: one stack to rule them all一个堆栈解决所有的计算问题2、大数据第一个问题，如何存储，HDFS已经完美解决了。3、资源管理就是yarn，mesource4、大数据如何计算。MR将被Spark取代。batch计算实时流计算 spark streaming交互式... 阅读全文
posted @ 2016-01-02 22:26 逸新 阅读(600) 评论(0) 推荐(0)