energy

摘要： 1. 按 CTRL+ALT+DEL 将打开终端 2. 更新资源update。 sudo apt-get update 3. 安装 Update Manager 核心产品包。 sudo apt-get install update-manager-core 4.检查当前版本和内核信息 lsb_rele 阅读全文

摘要： sparkStream本地测试 1. nc -lk 9999 启动服务端， 然后启动 network_wordcount.py，终端输出每秒的streaming数据流 2. 在服务端输入数据， 客户端就能显示结果 完整代码如下 阅读全文

摘要： LSTM是Hochreiter & Schmidhuber (1997) 引入，解决了长期依赖的问题 在标准的RNN中，结构单元中只有tanh层 在LSTM中，有3个门（输入门、输出门、忘记门）和cell结构 GRU合并了输入门和忘记门为更新门，结构更加简单 参考链接： http://colah.g 阅读全文

摘要： XGBoost是端到端的迭代决策树算法框架，被广泛用于各类机器学习应用中，具有很好的可扩展性 每棵树都是回归树（CART树） Xgboost相比传统GBDT，做了如下优化： 1. 损失函数增加了正则项，正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和， 提高了树的泛化能 阅读全文

摘要： 二叉树遍历算法包含： 前序， 中序， 后序， 层次遍历 共四种算法。 先序遍历 DLR： 先访问根节点，然后访问左子树， 最后访问右子树 中序遍历LDR： 先访问左子树，然后根节点，最后访问右子树 后序遍历LRD： 先访问左子树，然后访问右子树，最后根节点 层次遍历： 从每层开始，至左向右逐层访问 阅读全文

摘要： rpc服务框架目前主要有 thrift, grpc, dubbo, HSF等 这里主要介绍thrift框架 git地址 ：https://github.com/apache/thrift/tree/0.9.1 1. 接口定义　tutorial.thrift 2. 根据接口定义文件生成相应的服务接口 阅读全文

摘要： sbt工具下载及说明： https://www.scala-sbt.org/0.13/docs/zh-cn/Installing-sbt-on-Windows.html sbt是交互式构建工具，使用scala定义任务并执行它们 目录下启动 sbt，然后执行 run 命令进入到 sbt 的交互式命令 阅读全文

摘要： pyinstaller能将python程序打包成一个可执行文件exe，支持 Python 2.7 and Python 3.4+， 目前最新版本是PyInstaller 3.4 官网： http://www.pyinstaller.org/ 阅读全文

摘要： 1.wordCount 2. Sql.py Sql介绍了DataFrame的使用方法 3. Sort sort实现了排序功能，主要通过sortByKey， 也可以使用SortWith， 注意如果数据量特别大，不要使用collect， 而是应该将rdd repatition为1个分区然后保存在hdfs 阅读全文

摘要： Spark官网： http://spark.apache.org/ Spark是适用于大规模数据分析处理的框架， 通过DAG流程图的调度计算，适合处理批量Batch和流式Streaming数据， 相比于Hadoop速度提升100倍左右。 Spark提供四大框架 Spark SQL , SparkSt 阅读全文

摘要： Thrift 是Apache下的可扩展，跨语言软件框架，可以无缝连接C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, OCaml Delphi等其他语言 目前 阅读全文

摘要： scikit-learn 现在最新稳定版本为0.20.0 提供了以下几个数据集 其中数据路径都在sklearn包下的datasets/data目录下 下面我分别介绍每个数据集 iris iris是个多类别数据集，每个类别下有50个样本，特征4维，且都是实数类型, 适用于分类模型 boston 预测b 阅读全文

摘要： from __future__ import print_function import sys import numpy as np from pyspark.sql import SparkSession def parseVector(line): return np.array([float(x) for x in line.split(' ')]) def clos... 阅读全文

摘要： 查找nginx安装的路径以及相关安装操作命令 Linux环境下，确定Nginx是以那个config文件启动的 [root@localhost ~]# ps -ef | grep nginx 检查是否已经安装有nginx及对应目录：[root@localhost ~]# find /|grep ngi 阅读全文

摘要： 在安装docker之前，建议加上国内apt 镜像资源， 比如清华、中科院的国内镜像资源 1. 更新apt安装包索引 2. 安装 阅读全文

摘要： html图片占位符插件holder.js可以为图片生成一个占位符图片也可以为某个区域生成一个占位符图片，准确的说应该是为某个区域生成一个占位符图片，因为img也可以看做是一个区域。 阅读全文

摘要： vim折叠功能非常实用，对于linux环境下开发很有必要。 :h(elp) fdm 可以查看所有vim中关于折叠功能的介绍 目前有6中折叠方法： 1. manual 手工折叠 2.indent 缩进折叠 3.expr 表达式折叠 4. syntax 语法折叠 5. diff 差异修改折叠 6.mar 阅读全文

摘要： 安装tensorflow 1.5版本之后，运行简单的iris分类。 参考官网： https://www.tensorflow.org/get_started/premade_estimators iris分类，根据sepals and petals.的量化值进行分类， 总共有3类，Iris seto 阅读全文

摘要： 总体结构是 ： 状态组成音素， 音素组成单词， 单词构成句子。 其中前面把帧识别成状态（难点），可以当做gmm做的，也可用用其他算法模型。第二步，把状态组合成音素。第三步，把音素组合成单词。后面都是hmm做的 通过句子，然后分词，然后分成每个音素，在隐马尔科夫（HMM）模型中一般用3-5个上述的单元 阅读全文

摘要： 1 clc; 2 nFrames=10; 3 mov(1:nFrames) = struct('cdata', [],'colormap', []); 4 for i=1:nFrames 5 Img= random('Normal',0,1,500,500)*255 6 Img_new(:,:,1)=Img; ... 阅读全文