摘要：
queue https://docs.python.org/3.7/library/queue.html#queue.Queue 支持多生产者和多消费者。 为线程通信设计。 实现三种类型的队列： （1）FIFO （2）LIFO （3）优先队列 还有一个简单队列，是FIFO的一种易用性特例。 The 阅读全文
posted @ 2020-11-16 12:58
lightsong
阅读(140)
评论(0)
推荐(0)
摘要：
xmlrpc 允许软件在不同系统运行。实现计算和存储资源的共享。 http://xmlrpc.com/ It's a spec and a set of implementations that allow software running on disparate operating system 阅读全文
posted @ 2020-11-15 15:15
lightsong
阅读(109)
评论(0)
推荐(0)
摘要：
"Batteries-included" philosophy python版本，含有丰富和多功能的标准库。 不需要用户再去单独下载。 https://www.python.org/dev/peps/pep-0206/#batteries-included-philosophy The Python 阅读全文
posted @ 2020-11-12 17:10
lightsong
阅读(213)
评论(0)
推荐(0)
摘要：
pprint 对于非基本的数据类型， 即对象或者成员中含有对象的数据，print仅仅打印其对象基本信息，在一行中。不会打印数据内容。 如果想打印数据，则需要使用pprint模块。 此模块包括打印接口， 和打印类。 打印类用于定义打印格式， 提供复用。 https://docs.python.org/ 阅读全文
posted @ 2020-11-07 01:08
lightsong
阅读(131)
评论(0)
推荐(0)
摘要：
enum 某个变量有若干有表征意义的离散值， 则可以考虑使用枚举。 例如系统运行错误码、HTTP状态码。 https://docs.python.org/3.5/library/enum.html An enumeration is a set of symbolic names (members) 阅读全文
posted @ 2020-11-07 00:50
lightsong
阅读(127)
评论(0)
推荐(0)
摘要：
weakref 赋值运算产生的对象的引用是 强 引用。强引用的存在， 会阻止垃圾回收器回收对象。 在某些场景下， 不希望由于特殊的引用，而不能回收内存。 例如缓存器 和 映射保持器， 这两个可以对大内存对象进行管理。 https://docs.python.org/3.5/library/weakr 阅读全文
posted @ 2020-11-06 16:53
lightsong
阅读(156)
评论(0)
推荐(0)
摘要：
copy https://docs.python.org/3.5/library/copy.html 复制运算并不做对象拷贝动作，仅仅是建立一个连接到原始对象。 如果希望生成一个新的对象，进行修改，不改变原始对象， 则需要拷贝模块。 拷贝模块提供 深浅拷贝功能。 Assignment stateme 阅读全文
posted @ 2020-11-06 16:18
lightsong
阅读(108)
评论(0)
推荐(0)
摘要：
bisect 在有序列表中执行二分查找和插入。 https://docs.python.org/3.5/library/bisect.html This module provides support for maintaining a list in sorted order without ha 阅读全文
posted @ 2020-11-06 16:03
lightsong
阅读(120)
评论(0)
推荐(0)
摘要：
collections.abc -- official 提供了一些抽象基础类，用于判断某个类是否含有某个接口。 抽象基础类有几个最原始的抽象类型： （1）容器 -- Container （2）可哈希 -- Hashable （3）容量 -- Sized （4）可调用 -- Callable （5）可 阅读全文
posted @ 2020-11-06 15:29
lightsong
阅读(690)
评论(0)
推荐(0)
摘要：
collections https://docs.python.org/3.5/library/collections.html 实现一些特殊的容器数据类型。 是对通用内置容器的替代， 例如 词典、列表、集合、元组。 特殊的含义是通用数据类型，在某些常用场景上，不满足，需要手动实现的一些特殊的编程模 阅读全文
posted @ 2020-11-05 17:04
lightsong
阅读(131)
评论(0)
推荐(0)
摘要：
heap https://stackoverflow.com/questions/19979518/what-is-pythons-heapq-module 堆不是二叉树。 堆以list方式存储。 堆不同于sorted list。 堆在插入和删除比sorted list更加高效。 搜索还是sorte 阅读全文
posted @ 2020-11-05 15:33
lightsong
阅读(152)
评论(0)
推荐(0)
摘要：
引子 在python中，存储序列数据（数组）， 可以在list中存储。 但是list中元素可以支持不同类型的元素。这带来了数据存储的不规则性，但是现实中往往数组元素都是一致的。list处理上效率就会降低。 LIST https://www.tutorialspoint.com/python/pyth 阅读全文
posted @ 2020-10-29 16:07
lightsong
阅读(159)
评论(0)
推荐(0)
摘要：
Assert -- 内置类UNIT TEST API https://realpython.com/python-testing/ You can write both integration tests and unit tests in Python. To write a unit test 阅读全文
posted @ 2020-10-27 17:01
lightsong
阅读(152)
评论(0)
推荐(0)
摘要：
事件驱动型 此工作流实际上产生于事件驱动软件架构， 将软件系统切分为若干独立运行的子系统（进程）， 每个子系统同时具有发送和接受事件消息的能力。 工作流定义依赖各个子系统发送和接受事件的定义， 分散在各个子系统中。 对于工作流管理流管理 优点： 松散耦合，扩展性好。 缺点： 工作流的总体拓扑没有总体 阅读全文
posted @ 2020-10-22 15:16
lightsong
阅读(1214)
评论(0)
推荐(0)
摘要：
Apache Airflow https://airflow.apache.org/ Airflow is a platform created by the community to programmatically author, schedule and monitor workflows. 阅读全文
posted @ 2020-10-20 16:20
lightsong
阅读(699)
评论(0)
推荐(0)
摘要：
DASK https://github.com/dask/dask https://dask.org/ DASK提供并行计算和任务调度能力。 集成和很多数据科学工具。 堪称数据科学家的SPARK. Dask provides advanced parallelism for analytics, e 阅读全文
posted @ 2020-10-16 14:27
lightsong
阅读(296)
评论(0)
推荐(0)
摘要：
Joblib https://joblib.readthedocs.io/en/latest/index.html https://github.com/joblib/joblib 轻量流水线工具 （1）对于记忆模式， 使用上是透明的，并且具有懒计算特性。 （2）对于简单的并行计算是容易的。 Job 阅读全文
posted @ 2020-10-14 17:01
lightsong
阅读(208)
评论(0)
推荐(0)
摘要：
Ray https://ray.io/ https://github.com/ray-project/ray （1）机器学习生态基于python语言，但是python具有全局解释器锁缺点，限制了对单台机器的多核的利用 （2）同时查大规模模型的数据的出现，需要依赖集群来解决类似问题，引入了分布式机器学 阅读全文
posted @ 2020-10-14 14:51
lightsong
阅读(430)
评论(0)
推荐(0)
摘要：
DAGSTER https://github.com/dagster-io/dagster Dagster is a data orchestrator for machine learning, analytics, and ETL dagster是一种数据编排工具，为了机器学习，数据分析 和 E 阅读全文
posted @ 2020-10-11 00:34
lightsong
阅读(1647)
评论(0)
推荐(0)
摘要：
背景 通过对pyenv的探索，已经掌握pyenv对python多版本的管理方法。 同时pyenv可以集成virtualenv，实现多项目需求的独立环境的搭建， from（https://github.com/pyenv/pyenv-virtualenv） 问题是，对于项目的管理， 我们缺少一个依赖的 阅读全文
posted @ 2020-09-30 13:00
lightsong
阅读(309)
评论(0)
推荐(0)
摘要：
JIRA https://www.atlassian.com/software/jira The best software teams ship early and often. Jira Software is built for every member of your software te 阅读全文
posted @ 2020-09-23 10:57
lightsong
阅读(652)
评论(0)
推荐(0)
摘要：
实时学习 https://yuzhouwan.com/posts/4735/ 什么是机器学习？ Wikipedia 给出的定义是，一个计算机科学的子领域，由 模式识别 和 人工智能 中的计算机学习理论 演变而来 探索 结构化的、可学习的规则引擎，如何用来对数据 进行训练 和 预测 什么又是 Real 阅读全文
posted @ 2020-09-18 15:56
lightsong
阅读(304)
评论(0)
推荐(0)
摘要：
背景 问题： （1）同一个环境中，由于方案不同，选择的python版本不同。 一些开源软件，可能依赖老旧的python版本，但是项目选择的较新的python版本。 这样导致一个环境中，需要安装多个python版本的需求。 （2）即使对于同一python版本，多个不同的项目，选择的依赖包，有可能也有不 阅读全文
posted @ 2020-08-27 15:23
lightsong
阅读(482)
评论(0)
推荐(0)
摘要：
简介 https://github.com/fanqingsong/machine_learning_system_on_spark a simple machine learning system demo, for ML study. Based on machine_learning_syst 阅读全文
posted @ 2020-08-21 16:20
lightsong
阅读(222)
评论(0)
推荐(0)
摘要：
简介 https://github.com/ktbyers/netmiko Multi-vendor library to simplify Paramiko SSH connections to network devices 支持多设备厂商的库，简化SSH连接工作。 https://pynet. 阅读全文
posted @ 2020-08-13 10:59
lightsong
阅读(1794)
评论(0)
推荐(0)
摘要：
目的 总结python并行方法。 类别： 多线程 线程池 多进程 进程池 协程 threading https://docs.python.org/3/library/threading.html#module-threading https://github.com/jackfrued/Pytho 阅读全文
posted @ 2020-07-31 15:26
lightsong
阅读(295)
评论(0)
推荐(0)
摘要：
Purpose Reference and mock the course practice, http://dblab.xmu.edu.cn/post/8274/ Its business flow is as below picture. Inspired by this project, an 阅读全文
posted @ 2020-07-11 19:57
lightsong
阅读(206)
评论(0)
推荐(0)
摘要：
Concept http://spark.apache.org/streaming/ 非常容易地构建可伸缩的容错的流应用。 Spark Streaming makes it easy to build scalable fault-tolerant streaming applications. E 阅读全文
posted @ 2020-07-08 12:47
lightsong
阅读(177)
评论(0)
推荐(0)
摘要：
Spark https://spark.apache.org/ Lightning-fast unified analytics engine Speed Run workloads 100x faster. Apache Spark achieves high performance for bo 阅读全文
posted @ 2020-06-18 16:40
lightsong
阅读(214)
评论(0)
推荐(0)
摘要：
介绍 https://marketplace.visualstudio.com/items?itemName=tabeyti.jenkins-jack https://github.com/tabeyti/jenkins-jack 在VS CODE环境中， 将Jenkinsfile文件推送到Jenk 阅读全文
posted @ 2020-06-17 14:19
lightsong
阅读(2080)
评论(0)
推荐(0)
摘要：
Kafka 构建实时数据管线，和流式应用。 水平扩展、容错、奇快无比。 Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolera 阅读全文
posted @ 2020-06-04 16:36
lightsong
阅读(189)
评论(0)
推荐(0)
摘要：
Websocket https://github.com/socketio/engine.io#goals Websocket是SocketIO库依赖的B/S新特性，它有一些优点。 WebSocket based connections have two fundamental benefits: 阅读全文
posted @ 2020-05-26 15:22
lightsong
阅读(802)
评论(0)
推荐(0)
摘要：
Logstash https://www.elastic.co/cn/logstash 集中、转换和存储数据 Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。 Logstash is an open source dat 阅读全文
posted @ 2020-05-21 16:07
lightsong
阅读(321)
评论(0)
推荐(0)
摘要：
ELK https://www.elastic.co/what-is/elk-stack So, what is the ELK Stack? "ELK" is the acronym for three open source projects: Elasticsearch, Logstash, 阅读全文
posted @ 2020-05-18 16:50
lightsong
阅读(317)
评论(0)
推荐(0)
摘要：
Concept https://www.typescriptlang.org/index.html 弥补弱类型语言 JS 的缺陷， 出现类型定义。 可以翻译成ES3标准语言，兼容node和浏览器。 Starts and ends with JavaScript TypeScript starts f 阅读全文
posted @ 2020-05-05 19:43
lightsong
阅读(273)
评论(0)
推荐(0)
摘要：
async/await https://javascript.info/async-await 需要浏览器支持，后者使用webpack转换为ES5. There’s a special syntax to work with promises in a more comfortable fashio 阅读全文
posted @ 2020-05-05 18:59
lightsong
阅读(1798)
评论(0)
推荐(0)
摘要：
Zookeeper https://zookeeper.apache.org/doc/r3.6.0/index.html https://zookeeper.apache.org/doc/r3.6.0/zookeeperOver.html ZooKeeper: Because Coordinatin 阅读全文
posted @ 2020-05-05 00:40
lightsong
阅读(230)
评论(0)
推荐(0)
摘要：
听读汇总 https://www.jianshu.com/p/bb914f2c6ee9 自由表达 https://www.jianshu.com/p/d9adefc90264 Religion https://www.jianshu.com/p/0ce788f6303d 参考 https://tie 阅读全文
posted @ 2020-05-04 23:31
lightsong
阅读(1164)
评论(0)
推荐(0)
摘要：
目的 建立一个文件夹，文件夹中存放一些文本文件， 系统实时监测此文件夹，当有文件变化时候，自动执行入库功能（将文件内容推送到搜索库）， 文件内容可以即时被搜索系统搜索到。 技术依赖 1、 NIFI -- 文件检测入库 2、 ElasticSearch -- 文件内存存储和搜索 3、 Kibana负责 阅读全文
posted @ 2020-04-13 01:08
lightsong
阅读(782)
评论(0)
推荐(0)
摘要：
What? https://www.tutorialspoint.com/apache_nifi/index.htm 一个开源的数据萃取平台。 Apache NiFi is an open source data ingestion platform. It was developed by NSA 阅读全文
posted @ 2020-04-13 00:38
lightsong
阅读(504)
评论(0)
推荐(0)
浙公网安备 33010602011771号