摘要：参考：Spark学习之路 （四）Spark的广播变量和累加器 - 扎心了，老铁 - 博客园 (cnblogs.com) 一、概述 在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量 阅读全文
c# 数组截取
2021-08-24 15:36 by ZealouSnesS, 2768 阅读, 0 推荐, 收藏, 编辑
摘要：以下实现的是c#截取数组a中第三位到第八位的数据 void Main() { byte[] a = new byte[] { 12, 32, 34, 43, 21, 23, 45, 56, 67, 78, 89, 96, 54, 32, 23, 45, 23 }; byte[] newA= a.Sk 阅读全文
python词典的items()用法
2021-08-24 15:28 by ZealouSnesS, 3966 阅读, 0 推荐, 收藏, 编辑
摘要：tl;nr: for ... in ... dict.items dict x, y 把元组/键值对当中的元素分别打印 不成立，会报错 x 把键值对作为一个整体x，结果为元组/键值对 把键值对x, a[x]中的元素分别打印 items() 主要用于提取词典中的key: value对 1 scores 阅读全文
scala 声明变量
2021-08-23 13:49 by ZealouSnesS, 252 阅读, 0 推荐, 收藏, 编辑
摘要：scala 中无论 val 还是 var，声明的时候都必须赋一个初值，不能仅声明，例如： var str:String val str: String 都会报错 block can not contain declarations 所以，必须赋给一个初值，如果实在在声明的时候尚不能确定变量的值，则应 阅读全文
spark map中忽略某些行
2021-08-23 13:44 by ZealouSnesS, 97 阅读, 0 推荐, 收藏, 编辑
摘要：用 mapPartiton def missingFeatures(stuff): Boolean = ??? // Determine if features is missing val data = sc.textFile(my_file) .flatMap {line => if(missi 阅读全文
scala 截取字符串
2021-08-23 11:20 by ZealouSnesS, 2351 阅读, 0 推荐, 收藏, 编辑
摘要：例如截取字符串前一万个字符 str.substring(0, 10000) 注意截取长度不能超过字符串长度，否则会抛异常，改进一下 str.substring(0, if (str.length > 10000) 10000 else str.length) 阅读全文
python 可变参数
2021-08-19 23:00 by ZealouSnesS, 1598 阅读, 0 推荐, 收藏, 编辑
摘要：参考：函数的参数 - 廖雪峰的官方网站 (liaoxuefeng.com) 可变参数 在Python函数中，还可以定义可变参数。顾名思义，可变参数就是传入的参数个数是可变的，可以是1个、2个到任意个，还可以是0个。 我们以数学题为例子，给定一组数字a，b，c……，请计算a2 + b2 + c2 + 阅读全文
scala 字节数组转为字符串再转回字节数组
2021-08-05 15:30 by ZealouSnesS, 497 阅读, 0 推荐, 收藏, 编辑
摘要：直接用Array[Byte].toString() 然后 String.getBytes() 会有问题 应该用： str = Base64.getEncoder.encodeToString(arr) arr = Base64.getDecoder.decode(str) 阅读全文
prometheus 获取cpu利用率
2021-01-22 17:52 by ZealouSnesS, 3403 阅读, 0 推荐, 收藏, 编辑
摘要：rate(container_cpu_usage_seconds_total{container_name!="POD",pod_name!=""}[5m]) 这个时间可以是5m，也可以是更长 https://www.replex.io/blog/kubernetes-in-production-t 阅读全文
安装驱动
2020-12-21 14:37 by ZealouSnesS, 188 阅读, 0 推荐, 收藏, 编辑
摘要：先在windows 设备管理器中找到要安装驱动的设备的设备型号。例如要安装wifi驱动就需要找出无线网卡型号，然后到上网搜索该设备的驱动下载安装就行。 例如： ubuntu 无法连接wifi，网络下拉菜单中 enable wifi 按钮消失， 原因是没有安装驱动/驱动被卸载了/内核被卸载了。 解决方 阅读全文