2024年3月
spark: dag调度器
摘要： 在spark中最重要的东西有一个超级重要的组件是：dag的调度器。上面的sql经过翻译之后，就变成了一个dag图，然后这个dag的调度器就开始对这个dag图中所代表的操作去做执行了。 图计算是计算机领域中非常重要的一种计算模型了。 计算机中基础的数据结构课中，有图计算相关的内容，有向无环图的最短路径 阅读全文
posted @ 2024-03-10 20:29 honpey 阅读(64) 评论(0) 推荐(0)
2022年2月
ebpf: 如果kprobe_probe_read函数恶意读取更多的size会发生什么
摘要： 内核samples/bpf代码中tracex1_kernel中把bpr_probe_read中的第二个参数变成*2，相当于恶意读取字段数值，编译没有错误，但是在load bpf的时候verfify checker会有大量的错误 /* non-portable! works for the given 阅读全文
posted @ 2022-02-19 14:51 honpey 阅读(471) 评论(0) 推荐(0)
ebp：如何完成类型的访问，如果类型变了会怎么办
摘要： bpf程序是如何控制内存类型的访问 bpf_probe_read试着把类型转化的部分，换成一个内核不识别的函数，看下下编译和执行是否都能正确地进行～把内核中samples/bpf中的tracex1_kern.c中的skb = (struct sk_buff*) PT_REGS_PARM1(ctx); 阅读全文
posted @ 2022-02-19 14:42 honpey 阅读(93) 评论(0) 推荐(0)
ebpf：怎么去搞第一个比较完整的ebpf的程序
摘要： 普通的ebpf程序是比较简单的，包括当前cilium/bpf中其实都提供了比较完整的案例，对于比较复杂的程序，即比如这个trace点是放在了kprobe上面，对于这种的bpf程序的入口函数其实是变成了bt_regs，这种的话，首先你是需要去获得寄存器的信息的，第二个呢，从寄存器中找到相应的函数的信息 阅读全文
posted @ 2022-02-19 13:15 honpey 阅读(562) 评论(0) 推荐(0)
2021年12月
网络网络：西西弗斯 路由代码解读
摘要： 又开始了读网络部分的代码，真是有毒； 这次是要好好看看路由部分的代码 fib_table_insert是整个增加路由的入口 执行route add -net 192.163.0.0/24 dev eth0 在这行这句话的时候，到了内核中 fib_table_insert key_node在路由中的重 阅读全文
posted @ 2021-12-26 10:15 honpey 阅读(138) 评论(0) 推荐(0)
虚拟网络之虚拟网卡
摘要： 很多的网络方案中都是弄了个张网卡，然后在这个网卡上等着接受数据，比如vxlan网卡，比如网桥等等 vxlan网卡上你去配置一些规则， 最重要的事情，就是配置路由规则，看下数据包导入到那张网卡中去，如果是普通的网卡的话，直接就把数据包发送出去了，如果是特殊的网卡就处理数据包染后发送出去。 阅读全文
posted @ 2021-12-04 09:27 honpey 阅读(417) 评论(0) 推荐(0)
把虚拟网络给掰碎了：postrouting要解决的场景
摘要： postrouting要解决的应该是源端地址，因为出了网卡之后，就要改成网卡的地址了，否则数据包是回不来的。这个也是vxlan的适用的场景，因为vxlan网卡把数据数据发送出去以后，网卡的源地址是自己的地址，其实感觉只要vxlan的网卡地址和物理机网络完全是在一个网段就没有必要去使用postrout 阅读全文
posted @ 2021-12-03 22:07 honpey 阅读(76) 评论(0) 推荐(0)
把虚拟网络给掰碎了：prerouting要解决的场景
摘要： 先自己想想preorouting试用的场景是什么，上面一篇文章已经说过了，是说网卡放过了这个数据包，然后是需要iptables对这个数据包做一个整改，这里的适用场景肯定是改目的地址啊，因为改了目的地址之后，机器上配置了forwarding是个1，这个时候linux的路由策略是被触发的，这个时候会把数 阅读全文
posted @ 2021-12-03 22:03 honpey 阅读(83) 评论(0) 推荐(0)
再说虚拟网络
摘要： xu虚拟网络中最重要的是还是网卡， 理解虚拟网络最重要的还是网卡； 理解虚拟网络最重要的还是网卡； 理解网卡的行为，一个数据包到了网卡之后要做什么，到了网卡之后，网卡就把数据包网协议栈上去送了，然后在协议栈网上去送的过程中如果协议栈配置的是可以转发，那么直接就路由过去了；我们之所以对网卡感觉比较乱， 阅读全文
posted @ 2021-12-03 21:48 honpey 阅读(94) 评论(0) 推荐(0)
2021年11月
opentsdb如何存取字符类型的数值呢
摘要： 看了一圈，opentsdb的设计原则就是value中存放的就是数字，所以的标注性的文字都是放在了文字里了 染后具体的数值部分，只支持float和int了，其他的都不支持。 阅读全文
posted @ 2021-11-01 17:20 honpey 阅读(142) 评论(0) 推荐(0)
下一页