摘要：
DAGSTER https://github.com/dagster-io/dagster Dagster is a data orchestrator for machine learning, analytics, and ETL dagster是一种数据编排工具，为了机器学习，数据分析 和 E 阅读全文
posted @ 2020-10-11 00:34
lightsong
阅读(1678)
评论(0)
推荐(0)
摘要：
背景 通过对pyenv的探索，已经掌握pyenv对python多版本的管理方法。 同时pyenv可以集成virtualenv，实现多项目需求的独立环境的搭建， from（https://github.com/pyenv/pyenv-virtualenv） 问题是，对于项目的管理， 我们缺少一个依赖的 阅读全文
posted @ 2020-09-30 13:00
lightsong
阅读(311)
评论(0)
推荐(0)
摘要：
JIRA https://www.atlassian.com/software/jira The best software teams ship early and often. Jira Software is built for every member of your software te 阅读全文
posted @ 2020-09-23 10:57
lightsong
阅读(668)
评论(0)
推荐(0)
摘要：
实时学习 https://yuzhouwan.com/posts/4735/ 什么是机器学习？ Wikipedia 给出的定义是，一个计算机科学的子领域，由 模式识别 和 人工智能 中的计算机学习理论 演变而来 探索 结构化的、可学习的规则引擎，如何用来对数据 进行训练 和 预测 什么又是 Real 阅读全文
posted @ 2020-09-18 15:56
lightsong
阅读(311)
评论(0)
推荐(0)
摘要：
背景 问题： （1）同一个环境中，由于方案不同，选择的python版本不同。 一些开源软件，可能依赖老旧的python版本，但是项目选择的较新的python版本。 这样导致一个环境中，需要安装多个python版本的需求。 （2）即使对于同一python版本，多个不同的项目，选择的依赖包，有可能也有不 阅读全文
posted @ 2020-08-27 15:23
lightsong
阅读(494)
评论(0)
推荐(0)
摘要：
简介 https://github.com/fanqingsong/machine_learning_system_on_spark a simple machine learning system demo, for ML study. Based on machine_learning_syst 阅读全文
posted @ 2020-08-21 16:20
lightsong
阅读(228)
评论(0)
推荐(0)
摘要：
简介 https://github.com/ktbyers/netmiko Multi-vendor library to simplify Paramiko SSH connections to network devices 支持多设备厂商的库，简化SSH连接工作。 https://pynet. 阅读全文
posted @ 2020-08-13 10:59
lightsong
阅读(1801)
评论(0)
推荐(0)
摘要：
目的 总结python并行方法。 类别： 多线程 线程池 多进程 进程池 协程 threading https://docs.python.org/3/library/threading.html#module-threading https://github.com/jackfrued/Pytho 阅读全文
posted @ 2020-07-31 15:26
lightsong
阅读(297)
评论(0)
推荐(0)
摘要：
Purpose Reference and mock the course practice, http://dblab.xmu.edu.cn/post/8274/ Its business flow is as below picture. Inspired by this project, an 阅读全文
posted @ 2020-07-11 19:57
lightsong
阅读(207)
评论(0)
推荐(0)
摘要：
Concept http://spark.apache.org/streaming/ 非常容易地构建可伸缩的容错的流应用。 Spark Streaming makes it easy to build scalable fault-tolerant streaming applications. E 阅读全文
posted @ 2020-07-08 12:47
lightsong
阅读(181)
评论(0)
推荐(0)
摘要：
Spark https://spark.apache.org/ Lightning-fast unified analytics engine Speed Run workloads 100x faster. Apache Spark achieves high performance for bo 阅读全文
posted @ 2020-06-18 16:40
lightsong
阅读(215)
评论(0)
推荐(0)
摘要：
介绍 https://marketplace.visualstudio.com/items?itemName=tabeyti.jenkins-jack https://github.com/tabeyti/jenkins-jack 在VS CODE环境中， 将Jenkinsfile文件推送到Jenk 阅读全文
posted @ 2020-06-17 14:19
lightsong
阅读(2093)
评论(0)
推荐(0)
摘要：
Kafka 构建实时数据管线，和流式应用。 水平扩展、容错、奇快无比。 Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolera 阅读全文
posted @ 2020-06-04 16:36
lightsong
阅读(189)
评论(0)
推荐(0)
摘要：
Websocket https://github.com/socketio/engine.io#goals Websocket是SocketIO库依赖的B/S新特性，它有一些优点。 WebSocket based connections have two fundamental benefits: 阅读全文
posted @ 2020-05-26 15:22
lightsong
阅读(810)
评论(0)
推荐(0)
摘要：
Logstash https://www.elastic.co/cn/logstash 集中、转换和存储数据 Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。 Logstash is an open source dat 阅读全文
posted @ 2020-05-21 16:07
lightsong
阅读(324)
评论(0)
推荐(0)
摘要：
ELK https://www.elastic.co/what-is/elk-stack So, what is the ELK Stack? "ELK" is the acronym for three open source projects: Elasticsearch, Logstash, 阅读全文
posted @ 2020-05-18 16:50
lightsong
阅读(320)
评论(0)
推荐(0)
摘要：
Concept https://www.typescriptlang.org/index.html 弥补弱类型语言 JS 的缺陷， 出现类型定义。 可以翻译成ES3标准语言，兼容node和浏览器。 Starts and ends with JavaScript TypeScript starts f 阅读全文
posted @ 2020-05-05 19:43
lightsong
阅读(275)
评论(0)
推荐(0)
摘要：
async/await https://javascript.info/async-await 需要浏览器支持，后者使用webpack转换为ES5. There’s a special syntax to work with promises in a more comfortable fashio 阅读全文
posted @ 2020-05-05 18:59
lightsong
阅读(1799)
评论(0)
推荐(0)
摘要：
Zookeeper https://zookeeper.apache.org/doc/r3.6.0/index.html https://zookeeper.apache.org/doc/r3.6.0/zookeeperOver.html ZooKeeper: Because Coordinatin 阅读全文
posted @ 2020-05-05 00:40
lightsong
阅读(230)
评论(0)
推荐(0)
摘要：
听读汇总 https://www.jianshu.com/p/bb914f2c6ee9 自由表达 https://www.jianshu.com/p/d9adefc90264 Religion https://www.jianshu.com/p/0ce788f6303d 参考 https://tie 阅读全文
posted @ 2020-05-04 23:31
lightsong
阅读(1172)
评论(0)
推荐(0)
摘要：
目的 建立一个文件夹，文件夹中存放一些文本文件， 系统实时监测此文件夹，当有文件变化时候，自动执行入库功能（将文件内容推送到搜索库）， 文件内容可以即时被搜索系统搜索到。 技术依赖 1、 NIFI -- 文件检测入库 2、 ElasticSearch -- 文件内存存储和搜索 3、 Kibana负责 阅读全文
posted @ 2020-04-13 01:08
lightsong
阅读(787)
评论(0)
推荐(0)
摘要：
What? https://www.tutorialspoint.com/apache_nifi/index.htm 一个开源的数据萃取平台。 Apache NiFi is an open source data ingestion platform. It was developed by NSA 阅读全文
posted @ 2020-04-13 00:38
lightsong
阅读(509)
评论(0)
推荐(0)
摘要：
JSONPath - XPath for JSON https://goessner.net/articles/JsonPath/index.html#e2 类似XPath是对xml文档内容的寻址，JSONPath是对Json文档的寻址。 A frequently emphasized advant 阅读全文
posted @ 2020-04-12 23:50
lightsong
阅读(313)
评论(0)
推荐(0)
摘要：
方法1 -- ssh方式 借助ssh协议，第一次输入后，以后均不需要输入。应该内置了ssh-copy-id功能。 方法2 -- HTTPS方式 https://beginor.github.io/2014/03/04/git-client-save-user-pass.html Git 每次进行 P 阅读全文
posted @ 2020-04-09 22:20
lightsong
阅读(714)
评论(0)
推荐(0)
摘要：
Known Host Keys 防止中间人攻击。 https://www.ssh.com/ssh/host-key#known-host-keys SSH clients store host keys for hosts they have ever connected to. These sto 阅读全文
posted @ 2020-04-09 22:15
lightsong
阅读(540)
评论(0)
推荐(0)
摘要：
Elasticsearch https://www.elastic.co/guide/en/elasticsearch/reference/6.0/getting-started.html Elasticsearch is a highly scalable open-source full-tex 阅读全文
posted @ 2020-04-07 01:14
lightsong
阅读(207)
评论(0)
推荐(0)
摘要：
kubernetes http://docs.kubernetes.org.cn/227.html https://www.kubernetes.org.cn/k8s https://mp.weixin.qq.com/s/zrpaBCa-gNuu99nHCeBLXQ Kubernetes是容器集群管 阅读全文
posted @ 2020-03-30 00:27
lightsong
阅读(252)
评论(0)
推荐(0)
摘要：
cookie操作 浏览器原生的JS接口操作cookie非常难用。 于是产生了好用的js包。 https://www.npmjs.com/package/js-cookie A simple, lightweight JavaScript API for handling cookies Works 阅读全文
posted @ 2020-03-26 22:43
lightsong
阅读(1761)
评论(0)
推荐(0)
摘要：
微前端 https://microfrontends.com/ 诞生于微服务的思想和架构之上。 1）应对日志增长的前端复杂度。 2）支持按照微服务团队，构建对应的前端代码的独立构建分发系统。 Web applications are getting more and more complex. Ma 阅读全文
posted @ 2020-03-15 22:40
lightsong
阅读(885)
评论(0)
推荐(0)
摘要：
Consul https://www.consul.io/docs/internals/architecture.html Consul is a service mesh solution providing a full featured control plane with service d 阅读全文
posted @ 2020-03-09 15:34
lightsong
阅读(718)
评论(0)
推荐(0)
摘要：
Ansible https://www.ansible.com/ 自动化运维的最流行的工具。 Automation for everyone Simplify work. Break down silos. Speed transformation.All with an enterprise au 阅读全文
posted @ 2020-03-03 12:03
lightsong
阅读(1073)
评论(0)
推荐(0)
摘要：
编译时压缩 https://www.cnblogs.com/qiuzhimutou/p/7592875.html 这里我列举几个常用的能够用于减少包体大小的插件，我们可以根据项目需求选择性的使用： compression-webpack-plugin :该插件能够将资源文件压缩为.gz文件，并且根据 阅读全文
posted @ 2020-02-28 00:21
lightsong
阅读(478)
评论(0)
推荐(0)
摘要：
背景 确定Vue2最低支持的Node版本，可以在CI环境中，确定Node的一些信息， 是否适合后端环境共享同一个Node版本呢。 Vue2项目 https://github.com/vuejs/vue/blob/dev/package.json 调研了Vue 2.6.11版本的package.jso 阅读全文
posted @ 2020-02-23 21:14
lightsong
阅读(10482)
评论(0)
推荐(0)
摘要：
Meteor框架 https://www.meteor.com/ Meteor is an ultra-simple environment for building modern web applications. With Meteor you write apps: in modern Jav 阅读全文
posted @ 2020-02-02 23:15
lightsong
阅读(188)
评论(0)
推荐(0)
摘要：
express-session http://www.expressjs.com.cn/en/resources/middleware/session.html var session = require('express-session') store The session store inst 阅读全文
posted @ 2020-02-01 23:42
lightsong
阅读(539)
评论(0)
推荐(0)
摘要：
Docker compose https://docs.docker.com/compose/ Compose is a tool for defining and running multi-container Docker applications. With Compose, you use 阅读全文
posted @ 2020-01-30 20:12
lightsong
阅读(287)
评论(0)
推荐(0)
摘要：
lunrjs https://github.com/olivernn/lunr.js Lunr.js is a small, full-text search library for use in the browser. It indexes JSON documents and provides 阅读全文
posted @ 2020-01-29 23:14
lightsong
阅读(427)
评论(0)
推荐(0)
摘要：
http-server https://github.com/http-party/http-server#readme http-server is a simple, zero-configuration command-line http server. It is powerful enou 阅读全文
posted @ 2020-01-29 21:59
lightsong
阅读(299)
评论(0)
推荐(0)
摘要：
npm command https://docs.npmjs.com/cli-documentation/ CLI commands > access Set access level on published packages > adduser Add a registry user accou 阅读全文
posted @ 2020-01-01 20:32
lightsong
阅读(279)
评论(0)
推荐(0)
摘要：
especially https://www.merriam-webster.com/dictionary/especially 特别地 尤其 1 : specially sense 1 // 特殊地 2 a : in particular : particularly food seems che 阅读全文
posted @ 2020-01-01 19:49
lightsong
阅读(622)
评论(0)
推荐(0)
浙公网安备 33010602011771号