摘要: 在上篇文章中我们跟踪ls命令看到了其所使用的这么几个系统调用:stat、openat、fstat、getdents、close、write等,这里再简单介绍下这几个系统调用的功能: **stat:**为获取文件状态系统调用 **openat:**将打开目录/data获取它的文件描述符,返回值3即为文 阅读全文
posted @ 2021-09-21 13:08 AiFly 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 通过strace工具可跟踪用户进程与Linux内核的调用交互,可看到其中的System Call(系统调用)情况; 安装strace: apt-get instsall strace strace安装完成后执行:strace ls /data即可看到ls命令执行时所执行的系统调用情况,如下图所示: 阅读全文
posted @ 2021-09-05 22:07 AiFly 阅读(14) 评论(0) 推荐(0) 编辑
摘要: 默认情况下程序输出到终端的字符样式为白字黑背景,样式、字体比较单一。如想改变程序输出到终端字符的样式等可使用ANSI转移码使其输出具有不同样式; ANSI转义序 ANSI转义序列包括这三个部分组成:前置引导,CSI转义序列,结束符号 1、前置引导: 为ESC的ASCII值(\033,\0x1b),标 阅读全文
posted @ 2021-08-14 15:40 AiFly 阅读(16) 评论(0) 推荐(0) 编辑
摘要: 最近在Linux下开发Go程序,发现一个奇怪的问题,在读取Linux系统信息时读到了空字符,导致了程序异常。在ASSIC中十六进制0为字符NUT,表示为空字符NULL。但这个字符在不同的编程语言、不同的运行环境中却有着不一样的呈现,如果换一个角度看,空字符也就是无字符也就能解释ASSIC空字符没有显 阅读全文
posted @ 2021-07-10 10:09 AiFly 阅读(115) 评论(0) 推荐(0) 编辑
摘要: 与其他编程语言一样在并发环境下如不对多个goroutine(线程)访问或修改的共享资源元素的进行控制,让进入临界区的对象互斥。就可能会出现数据异常情况; 一个非线程安全对象如下,如不对Id的访问进行控制,多个goroutine进行更新Id字段是就会出现数据不一致的情况,如下示例: type Conf 阅读全文
posted @ 2021-06-19 10:02 AiFly 阅读(97) 评论(0) 推荐(0) 编辑
摘要: Dapr为微软开源的一个用于构建分布式应用的框架,Dapr为分布式应用运行时(Distributed Application Runtime)的英文单词缩写;Dapr提供了分布式应用所依赖的执行环境,分布式运行时包括了:服务通讯、数据持久化、资源绑定、pub-sub、Actors、密钥等,通过使用D 阅读全文
posted @ 2021-05-16 17:32 AiFly 阅读(241) 评论(0) 推荐(0) 编辑
摘要: CEP(Complex Event Processing)复杂事件处理,这里的复杂事件指的是业务规则的复杂, 随着互联网、物联网技术的发展现在传感器装得越来越多,目前实时流数据业务处理越来越广,业务规则也越来越复杂。 可以说CEP就是一种基于事件的数据流分析技术,它通过过滤、聚合、关联、状态、时序等 阅读全文
posted @ 2021-04-21 00:19 AiFly 阅读(118) 评论(0) 推荐(0) 编辑
摘要: 插件化开发提供了很多便利,可动态扩展程序的相关功能,如Windows中的DLL、Linux中的So文件、还有IDEA中的插件,应用范围不可谓不广; 在Golang中提供了自己的插件机制,可使用其进行插件化开发;在Golang的plugin包中提供了加载插件、调用插件中函数的相关方法; Golang中 阅读全文
posted @ 2021-03-20 15:02 AiFly 阅读(203) 评论(0) 推荐(0) 编辑
摘要: multipass 轻量虚拟机管理器,是由Ubuntu运营公司Canonical所推出的开源项目。运行环境支持Linux、Windows、macOS,在Linux上使用的是KVM、Window上使用Hyper-V、macOS中使用HyperKit以最小开销运行VM。支持在笔记本模拟小型云。 mult 阅读全文
posted @ 2021-02-10 11:30 AiFly 阅读(1354) 评论(0) 推荐(0) 编辑
摘要: 在接入第三方数据流或接入物联网设备时,通常这些数据所上报的数据只是按照指定的协议所编码,上报的数据流也不够紧凑,如我们直接存储这类字节流数据也比较大。此时可以将字节流转为其他压缩格式的流,如Protobuf等; 将字节流转为Protobuf流具体流程为:定义Proto文件、生成对应的Proto对象、 阅读全文
posted @ 2021-01-01 17:42 AiFly 阅读(411) 评论(0) 推荐(0) 编辑
摘要: SingleFlight将并发请求合并成一个请求,可用于减少下游压力;CyclicBarrier可重用栅栏并发原语,控制一组请求同时执行; SingleFlight 在Go中SingleFlight并不是原生提供的,而是开发组提供的扩展并发原语。它可实现多个goroutine调用通过一函数时,只让一 阅读全文
posted @ 2020-12-14 16:25 AiFly 阅读(315) 评论(0) 推荐(0) 编辑
摘要: 在阅读有些Python的开源项目源码时,会看到某些对象调用了一个方法,但在该对象当中却又找不到该方法。还可能会看到在调用某个方法是并不是直接调用而是使用了getattr这个方法;好在现在IDE比较智能,通常也还能够关联找得到该方法; 调用对象本身没有存在的方法属性、间接调用方法,下面看看在Pytho 阅读全文
posted @ 2020-11-28 18:07 AiFly 阅读(189) 评论(0) 推荐(0) 编辑
摘要: 要训练自己的模型、需要标注图片,好在现在标注工具比较简单几乎傻瓜化了。这里使用LabelImg对图片进行标注; LabelImg安装 conda create -n labelImg python=3 conda activate labelImg conda install pyqt=5 cond 阅读全文
posted @ 2020-10-07 13:23 AiFly 阅读(2133) 评论(0) 推荐(0) 编辑
摘要: 最近复活了躺在月饼盒子里吃灰已久的树莓派,买了个L298N电机驱动器、买了个车架子,准备搞个小车玩玩; 通过树莓派让小车轮子转起来也比较简单简要概述起来分为下面二步: 1. 树莓派发送数据给电机驱动器 2. 电机驱动器驱动电机转动从而带动轮子转动 让小车动起来就是这么简单,方法步骤有了,下面就看看具 阅读全文
posted @ 2020-09-19 19:40 AiFly 阅读(552) 评论(0) 推荐(0) 编辑
摘要: 在使用Java编写apache-flink程序的时候相信很多新手都遇到下面这样的异常; org.apache.flink.api.common.functions.InvalidTypesException: The return type of function 'main(DemoApp.jav 阅读全文
posted @ 2020-08-24 08:12 AiFly 阅读(1126) 评论(0) 推荐(0) 编辑
摘要: tqdm Tqdm库比较常用,用于显示进度条。 简单用法: from tqdm import tqdm for i in tqdm(range(2)): pass 100%|███████████████████| 2/2 [00:00<00:00, 1998.72it/s] 从上面可以看到生成一个 阅读全文
posted @ 2020-07-19 15:30 AiFly 阅读(1451) 评论(0) 推荐(0) 编辑
摘要: 前两天文章说了海南IT互联网相关数据提到公司数量很多,但招聘的岗位很少的问题,但由于只是简单截图了相关招聘数据做就吐槽招聘数据少。可能数据维度太少、没做横向对比,导致看上去不太不太科学、客观。但该篇文章的结论是否有问题呢? 公司增、税收增、人员不增的说法是否站得住脚,这篇文章将主流招聘网站的数据全部 阅读全文
posted @ 2020-06-28 09:19 AiFly 阅读(262) 评论(0) 推荐(0) 编辑
摘要: MongoSpark为入口类,调用MongoSpark.load,该方法返回一个MongoRDD类对象,Mongo Spark Connector框架本质上就是一个大号的自定义RDD,加了些自定义配置、适配几种分区器规则、Sql的数据封装等等,个人认为相对核心的也就是分区器的规则实现;弄清楚了其分析 阅读全文
posted @ 2020-06-27 21:28 AiFly 阅读(530) 评论(0) 推荐(0) 编辑
摘要: Go中也提供了反射机制,与Java一样Go的反射也是在运行时获取对象的相关信息,更新对象内部状态;Golang通过反射可以获取对象类型、字段类型与值、调用struct实例方法、更新实例值等; Go关于反射相关的对象、函数都在reflect包中最主要的两个为:Type与Value; Go提供了下面两个 阅读全文
posted @ 2020-05-19 22:43 AiFly 阅读(1486) 评论(0) 推荐(0) 编辑
摘要: Golang中存在一个Sync.Pool 对象,从名字上看像是对象池,但他本质上和实际上的对象池有着很大的区别,下面将详细介绍该对象。 Sync.Pool对象可伸缩、并发安全; 数据结构 sync.Pool对外暴露Get、Put、New三个方法,Get返回Pool中的对象,当没有取得到对象时调用Ne 阅读全文
posted @ 2020-04-25 22:35 AiFly 阅读(496) 评论(0) 推荐(1) 编辑
摘要: 在上篇文章中我们跟踪ls命令看到了其所使用的这么几个系统调用:stat、openat、fstat、getdents、close、write等,这里再简单介绍下这几个系统调用的功能: **stat:**为获取文件状态系统调用 **openat:**将打开目录/data获取它的文件描述符,返回值3即为文 阅读全文
posted @ 2021-09-21 13:08 AiFly 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 通过strace工具可跟踪用户进程与Linux内核的调用交互,可看到其中的System Call(系统调用)情况; 安装strace: apt-get instsall strace strace安装完成后执行:strace ls /data即可看到ls命令执行时所执行的系统调用情况,如下图所示: 阅读全文
posted @ 2021-09-05 22:07 AiFly 阅读(14) 评论(0) 推荐(0) 编辑
摘要: 默认情况下程序输出到终端的字符样式为白字黑背景,样式、字体比较单一。如想改变程序输出到终端字符的样式等可使用ANSI转移码使其输出具有不同样式; ANSI转义序 ANSI转义序列包括这三个部分组成:前置引导,CSI转义序列,结束符号 1、前置引导: 为ESC的ASCII值(\033,\0x1b),标 阅读全文
posted @ 2021-08-14 15:40 AiFly 阅读(16) 评论(0) 推荐(0) 编辑
摘要: 最近在Linux下开发Go程序,发现一个奇怪的问题,在读取Linux系统信息时读到了空字符,导致了程序异常。在ASSIC中十六进制0为字符NUT,表示为空字符NULL。但这个字符在不同的编程语言、不同的运行环境中却有着不一样的呈现,如果换一个角度看,空字符也就是无字符也就能解释ASSIC空字符没有显 阅读全文
posted @ 2021-07-10 10:09 AiFly 阅读(115) 评论(0) 推荐(0) 编辑
摘要: 与其他编程语言一样在并发环境下如不对多个goroutine(线程)访问或修改的共享资源元素的进行控制,让进入临界区的对象互斥。就可能会出现数据异常情况; 一个非线程安全对象如下,如不对Id的访问进行控制,多个goroutine进行更新Id字段是就会出现数据不一致的情况,如下示例: type Conf 阅读全文
posted @ 2021-06-19 10:02 AiFly 阅读(97) 评论(0) 推荐(0) 编辑
摘要: Dapr为微软开源的一个用于构建分布式应用的框架,Dapr为分布式应用运行时(Distributed Application Runtime)的英文单词缩写;Dapr提供了分布式应用所依赖的执行环境,分布式运行时包括了:服务通讯、数据持久化、资源绑定、pub-sub、Actors、密钥等,通过使用D 阅读全文
posted @ 2021-05-16 17:32 AiFly 阅读(241) 评论(0) 推荐(0) 编辑
摘要: CEP(Complex Event Processing)复杂事件处理,这里的复杂事件指的是业务规则的复杂, 随着互联网、物联网技术的发展现在传感器装得越来越多,目前实时流数据业务处理越来越广,业务规则也越来越复杂。 可以说CEP就是一种基于事件的数据流分析技术,它通过过滤、聚合、关联、状态、时序等 阅读全文
posted @ 2021-04-21 00:19 AiFly 阅读(118) 评论(0) 推荐(0) 编辑
摘要: 插件化开发提供了很多便利,可动态扩展程序的相关功能,如Windows中的DLL、Linux中的So文件、还有IDEA中的插件,应用范围不可谓不广; 在Golang中提供了自己的插件机制,可使用其进行插件化开发;在Golang的plugin包中提供了加载插件、调用插件中函数的相关方法; Golang中 阅读全文
posted @ 2021-03-20 15:02 AiFly 阅读(203) 评论(0) 推荐(0) 编辑
摘要: multipass 轻量虚拟机管理器,是由Ubuntu运营公司Canonical所推出的开源项目。运行环境支持Linux、Windows、macOS,在Linux上使用的是KVM、Window上使用Hyper-V、macOS中使用HyperKit以最小开销运行VM。支持在笔记本模拟小型云。 mult 阅读全文
posted @ 2021-02-10 11:30 AiFly 阅读(1354) 评论(0) 推荐(0) 编辑
摘要: 在接入第三方数据流或接入物联网设备时,通常这些数据所上报的数据只是按照指定的协议所编码,上报的数据流也不够紧凑,如我们直接存储这类字节流数据也比较大。此时可以将字节流转为其他压缩格式的流,如Protobuf等; 将字节流转为Protobuf流具体流程为:定义Proto文件、生成对应的Proto对象、 阅读全文
posted @ 2021-01-01 17:42 AiFly 阅读(411) 评论(0) 推荐(0) 编辑