神之一招

2020年2月29日

摘要： MapReduce: 分布式并行编程, 也就是多台机器的 CPU 之间的并行编程. MapReduce 帮你自动实现底层. 分而治之的策略: 理念: 实例: 两个文件, 统计这两个文件中单词的个数 key:单词, value:出现次数 reduce: key - value list. 用 Iter 阅读全文

posted @ 2020-02-29 13:58 神之一招阅读(192) 评论(0) 推荐(0)

大数据04 HBASE

摘要： HBase 可以理解为是一个分布式存储系统, 利用MapReduce 来处理存储在这个分布式存储系统中的数据. 所以可以理解为它是 HDFS 的一层抽象. 所以HBase 可以理解为是一个分布式系统(DB), 但是实际上内存存储的实现是通过 HDFS 实现的. HBase 特点: 是 BigTabl 阅读全文

posted @ 2020-02-29 12:31 神之一招阅读(96) 评论(0) 推荐(0)

大数据 03 HDFS

摘要： JobTracker 分配工作给若干机器. TaskTracker: 负责监督光纤交换机. 块的概念: 一个块 64M. 还可以是 128M. 大文件切割成这种小块, 然后分布存储在不同机器上. 当然也可以并行处理. 名称节点: 整个 HDFS 集群管家, 负责元数据的存储. (index 数据块阅读全文

posted @ 2020-02-29 11:48 神之一招阅读(165) 评论(0) 推荐(0)

2020年2月27日

09 客户端浏览器安全

摘要：浏览器同源策略 host (域名或IP地址, 如果是IP地址则可以看做是一个根域名), 子域名, 端口, 协议 (http, https) 比如，mail.example.com和calendar.example.com是example.com的两个子域，子域名也被包含在同源策略中. 在浏览器中 < 阅读全文

posted @ 2020-02-27 17:58 神之一招阅读(172) 评论(0) 推荐(0)

安装 centos7 网络问题

摘要：安装完 centos7 之后, 网络是不好用的. 首先, 打开网卡自动启动在目录 /etc/sysconfig/network-scripts/ifcfg-eth0 (有的是 eth33), 通过 ip addr 可以看到 vi 打开后, 将最后的 ONBOOT=no, 修改成 ONBOOT=y 阅读全文

posted @ 2020-02-27 09:37 神之一招阅读(123) 评论(0) 推荐(0)

2020年2月26日

大数据XD 02 hadoop

摘要： Hadoop HDFS ：分布式存储 MapReduce: 分布式海量数据处理. Hadoop 在企业中的应用 MR : MapReduce 的简称. Apache Hadoop 版本 Hadoop 2.0 架构与1.0版本差距很大. 还有一些 Hadoop 的商业版本, 别的公司出的, Horto 阅读全文

posted @ 2020-02-26 16:56 神之一招阅读(173) 评论(0) 推荐(0)

大数据XD 01 introduction

摘要：大数据核心分布式存储分布式处理大数据关键技术大数据, 云计算, 物联网关系云计算: 虚拟化, 多租户, 云计算是通过网络以服务的方式为用户提供非常廉价的IT资源. 阿里云, 百度云等. (公有云, 私有云, 混合云) 物联网: IoT (internet of things), 各种阅读全文

posted @ 2020-02-26 15:04 神之一招阅读(205) 评论(0) 推荐(0)

自组织 - 赋能团队

摘要：自组织自组织: 是在没有自上而下指导的情况下，事物的形成过程. 团队的自组织称为敏捷开发的“最佳实践” Scurm 要求整个团队列席计划会议和日常会议 (举例: 每个团队成员无法看到全貌, 比如造汽车, 有人只造汽车轮子, 有人只造车身, 有人只造方向盘),只有大家在一起共同的思考, 最后发现阅读全文

posted @ 2020-02-26 12:03 神之一招阅读(477) 评论(0) 推荐(0)

2020年2月25日

基金

摘要：稳定点: 货币基金，纯债基金收益高，混合基金，股票基金 A股: 中国境内发型的股票，看国运.指数: 就是集群大盘：上证指数, 上海前多少家公司，2700点, 你买上证指数, 就等于买前面公司的组合, 这有点类似之前说的美国标准普尔.小盘：中证500，排除上证之后的500家公司的集合.买这种指数, 涨阅读全文

posted @ 2020-02-25 21:11 神之一招阅读(133) 评论(0) 推荐(0)

微服务架构图

摘要：大概的意思, 微服务上边只是一个简单的架构, 类似数据支撑等, 可能还有很多别的方面, 比如访问文件的等等. 另外, 现在又有新的了. 服务网格: 下一代微服务标准, service mesh, 代表解决方案 istio 阅读全文

posted @ 2020-02-25 21:04 神之一招阅读(2303) 评论(0) 推荐(0)

slow is smooth , smooth is fast ! 不要追求高难技术, 扎扎实实把项目做好先!

公告