随笔分类 -  大数据

摘要：在spark中最重要的东西有一个超级重要的组件是：dag的调度器。上面的sql经过翻译之后，就变成了一个dag图，然后这个dag的调度器就开始对这个dag图中所代表的操作去做执行了。 图计算是计算机领域中非常重要的一种计算模型了。 计算机中基础的数据结构课中，有图计算相关的内容，有向无环图的最短路径 阅读全文

摘要：postrouting要解决的应该是源端地址，因为出了网卡之后，就要改成网卡的地址了，否则数据包是回不来的。这个也是vxlan的适用的场景，因为vxlan网卡把数据数据发送出去以后，网卡的源地址是自己的地址，其实感觉只要vxlan的网卡地址和物理机网络完全是在一个网段就没有必要去使用postrout 阅读全文

摘要：先自己想想preorouting试用的场景是什么，上面一篇文章已经说过了，是说网卡放过了这个数据包，然后是需要iptables对这个数据包做一个整改，这里的适用场景肯定是改目的地址啊，因为改了目的地址之后，机器上配置了forwarding是个1，这个时候linux的路由策略是被触发的，这个时候会把数 阅读全文

摘要：怎么说呢，市面上介绍pasox协议的资料都不是给小白准备的，甚至不是给具备一定计算计算机基础的同学准备的。 比如这篇佳作：https://weibo.com/ttarticle/p/show?id=2309404510981786042616，也没有让人一下子看了之后顿悟，而是要结合诸多其他的信息才 阅读全文

摘要：zookeeper首先是一个数据库，如果是数据库的话，那么各种pasox资料就都成立了，包括多人同时写的场景，包括写和读的场景，其实就是为了实现内部的一致性； 重要的事情说三遍， zookeeper首先是一个数据库； zookeeper首先是一个数据库； zookeeper首先是一个数据库； 所以z 阅读全文

摘要：https://kafka.apache.org/quickstart#quickstart_send kafka是一个消息管理系统，这个系统中存放的一些本地的日志，这个系统很适合用来作为flink的数据源，为处理日志提供一个统一的高吞吐、低延迟的平台，是一个互联网分布式框架的大规模发布订阅框架。 阅读全文

摘要：首先肯定先是把整个算法包给打出来，打出来之后，打印出来之后，是要通过一个工具，将这个作业提交给整个spark集群 首先一个spark是怎么启动这些作业的，首先就是一个最简单的例子，看一下spark里面是怎么去执行的 SparkContext: Added JAR file:///home/hon/D 阅读全文