上一页 1 2 3 4 5 6 ··· 69 下一页

2022年5月19日

|NO.Z.00002|——————————|BigDataEnd|——|Arithmetic&statistics.v02|——|statistical:多指标统计|

摘要: 二、多指标统计 [二.一]:相关分析 [二.二]:回归分析 [二.三]:因子分析/主成分分析 [二.四]:Logistic回归 [二.五]:时间序列分析 Walter Savage Landor:strove with none,for none was worth my strife.Nature 阅读全文

posted @ 2022-05-19 21:49 yanqi_vip 阅读(10) 评论(0) 推荐(0)

|NO.Z.00001|——————————|BigDataEnd|——|Arithmetic&statistics.v01|——|statistical:comprehensive|

摘要: 一、统计学大纲 [一.一]:描述统计 [一.二]:假设检验/统计推断 [一.三]:抽样方法 [一.四]:卡方检验 [一.五]:t检验、方差检验 Walter Savage Landor:strove with none,for none was worth my strife.Nature I lo 阅读全文

posted @ 2022-05-19 21:48 yanqi_vip 阅读(6) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-05-19 21:46 yanqi_vip 阅读(11) 评论(0) 推荐(0)

2022年4月18日

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-18 13:48 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00008|——————————|Deployment|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-18 13:48 yanqi_vip 阅读(17) 评论(0) 推荐(0)

|NO.Z.00006|——————————|Deployment|——|Hadoop&Arithmetic环境部署.v06|——|Arithmetic.v06|Pandas数据分析库:Pandas模块安装|

摘要: 一、Pandas模块安装 ### 在windows.dos下安装pandas C:\Users\Administrator>pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~ # 输出参数 Installing col 阅读全文

posted @ 2022-04-18 13:47 yanqi_vip 阅读(42) 评论(0) 推荐(0)

|NO.Z.00007|——————————|Deployment|——|Hadoop&Arithmetic环境部署.v07|——|Arithmetic.v07|Matplotlib数据可视化:Matplotlib模块安装|

摘要: 一、Matplotlib模块安装 ### 在windows.dos下安装Matplotlib C:\Users\Administrator>pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~ # 输出参数 Instal 阅读全文

posted @ 2022-04-18 13:47 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00004|——————————|Deployment|——|Hadoop&Arithmetic环境部署.v04|——|Arithmetic.v04|Jupyter交互程序:Jupyter插件配置|

摘要: 一、指定默认启动目录 ### 查看jupyter_noteboot_config.py配置文件所在地址 ~~~ # 查看jupyter_noteboot_config.py配置文件所在地址 C:\Users\Administrator>jupyter notebook --generate-conf 阅读全文

posted @ 2022-04-18 13:46 yanqi_vip 阅读(49) 评论(0) 推荐(0)

|NO.Z.00005|——————————|Deployment|——|Hadoop&Arithmetic环境部署.v05|——|Arithmetic.v05|NumPy科学计算库:NumPy模块安装|

摘要: 一、NumPy科学计算库 ### 安装numpy模块 C:\Users\Administrator>pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~ # 输出参数: Successfully installed num 阅读全文

posted @ 2022-04-18 13:46 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00002|——————————|Deployment|——|Hadoop&Arithmetic环境部署.v02|——|Arithmetic.v02|PyCharm.20200205安装.V2|

摘要: 一、PyCharm.20200205安装 ### 下载地址: ~~~ https://www.jetbrains.com/pycharm/download/download-thanks.html?platform=windows&code=PCC 2、安装PyCharm.20200205 3、更改 阅读全文

posted @ 2022-04-18 13:45 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00003|——————————|Deployment|——|Hadoop&Arithmetic环境部署.v03|——|Arithmetic.v03|Jupyter交互程序:Jupyter库安装|

摘要: 一、安装jupyter库 ### 查看pip版本 C:\Users\Administrator>pip --version pip 21.2.4 from D:\JAVA\Python310\lib\site-packages\pip (python 3.10) ### 在windows.dos下安 阅读全文

posted @ 2022-04-18 13:45 yanqi_vip 阅读(66) 评论(0) 推荐(0)

|NO.Z.00001|——————————|Deployment|——|Hadoop&Arithmetic环境部署.v01|——|Arithmetic.v01|Python310安装.V1|

摘要: 一、Python310安装配置 1、下载地址:https://www.python.org/ftp/python/3.10.1/python-3.10.1-amd64.exe 2、自定义安装 3、自定义插件安装 4、更改安装目录 5、安装成功 二、配置环境变量: 1、配置系统环境变量:配置Pytho 阅读全文

posted @ 2022-04-18 13:44 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-18 13:43 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.Z.00016|——————————|Deployment|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-18 13:42 yanqi_vip 阅读(15) 评论(0) 推荐(0)

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-18 13:42 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.Z.00015|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v15|——|Elasticsearch.v15|日志分析实战.V3&Logstash读取Kafka|

摘要: 一、Logstash读取Kafka ### Logstash配置文件 ~~~ 官网地址:https://www.elastic.co/guide/en/logstash/7.3/plugins-inputs-kafka.html ### 上传IP地址库 ~~~ # 上传IP地址库到Datas目录下 阅读全文

posted @ 2022-04-18 13:41 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00013|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v13|——|Elasticsearch.v13|日志分析实战.V1&Nginx部署|

摘要: 一、日志分析平台实战 一、Nginx部署 ### 安装git工具,安装wget下载工具 ~~~ # 安装相关工具包:Hadoop02 [root@hadoop02 ~]# yum install wget git -y [root@hadoop02 ~]# yum install gcc-c++ - 阅读全文

posted @ 2022-04-18 13:40 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00014|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v14|——|Elasticsearch.v14|日志分析实战.V2&Filebeat部署|

摘要: 一、Filebeat ### Filebeat ~~~ Filebeat主要是为了解决Logstash工具比较消耗资源比较重的问题, ~~~ 因为Logstash是Java语言编写, ~~~ 所以官方推出了一些轻量级的采集工具,推出了Beats系列,其中使用比较广泛的是Filebeat。 ~~~ 官 阅读全文

posted @ 2022-04-18 13:40 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00011|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v11|——|Elasticsearch.v11|Logstash&Logstash部署.V3|

摘要: 一、filter插件 ### Filter插件 ~~~ Logstash之所以强悍的主要原因是filter插件; ~~~ 通过过滤器的各种组合可以得到我们想要的结构化数据。 ~~~ 官网地址:https://www.elastic.co/guide/en/Logstash/current/plugi 阅读全文

posted @ 2022-04-18 13:39 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00012|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v12|——|Elasticsearch.v12|Logstash&Logstash部署.V4|

摘要: 一、Output插件:标准输出到控制台 ### 标准输出到控制台 ~~~ # 将收集的数据直接打印到控制台 [root@hadoop02 ~]# /opt/yanqi/servers/es/Logstash/bin/logstash \ -e 'input{stdin{}}output{stdout 阅读全文

posted @ 2022-04-18 13:39 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00009|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v09|——|Elasticsearch.v09|Logstash&Logstash部署.V1|

摘要: 一、Logstash ### Logstash介绍及安装 ~~~ 官网:https://www.elastic.co/guide/index.html ~~~ Logstash:https://www.elastic.co/guide/en/logstash/current/index.html # 阅读全文

posted @ 2022-04-18 13:38 yanqi_vip 阅读(51) 评论(0) 推荐(0)

|NO.Z.00010|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v10|——|Elasticsearch.v10|Logstash&Logstash部署.V2|

摘要: 一、Input插件部署 ### Input插件部署 ~~~ stdin标准输入和stdout标准输出 ### 使用标准的输入与输出组件 ~~~ # 使用标准的输入与输出组件,实现将我们的数据从控制台输入,从控制台输出 [root@hadoop02 ~]# /opt/yanqi/servers/es/ 阅读全文

posted @ 2022-04-18 13:38 yanqi_vip 阅读(23) 评论(0) 推荐(0)

|NO.Z.00008|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v08|——|Elasticsearch.v08|索引管理&IK分词器部署.V2|

摘要: 一、词典使用 ### 词典使用 ~~~ # 扩展词: ~~~ 就是不想让哪些词被分开,让他们分成一个词。比如上面的江大桥 ~~~ # 停用词: ~~~ 有些词在文本中出现的频率非常高。但对本文的语义产生不了多大的影响。 ~~~ 例如英文的a、an、the、of等。或中文的”的、了、呢等”。这样的词称 阅读全文

posted @ 2022-04-18 13:37 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00007|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v07|——|Elasticsearch.v07|索引管理&IK分词器部署.V1|

摘要: 一、安装IK分词器 ### 安装IK分词器 ~~~ # hadoop01~03:使用root用户部署IK分词器,然后重启ES服务 ~~~ # 在elasticsearch安装目录的plugins目录下新建 analysis-ik 目录 [root@hadoop02 ~]# mkdir /opt/ya 阅读全文

posted @ 2022-04-18 13:37 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00006|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v06|——|Elasticsearch.v06|ElasticSearch-head插件部署.V3|

摘要: 一、部署kibana服务 ### 下载kibana版本包 ~~~ # 下载kibana服务版本包:使用root用户部署 [root@hadoop02 software]# wget -c https://artifacts.elastic.co/downloads/kibana/kibana-7.3 阅读全文

posted @ 2022-04-18 13:36 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00004|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v04|——|Elasticsearch.v04|ElasticSearch-head插件部署.V1|

摘要: 一、安装elasticsearch-head插件 ### Elasticsearch Head插件介绍及安装和验证主从环境 ~~~ Elasticsearch Head插件介绍及安装 ### elasticsearch-head 简介 ~~~ elasticsearch-head是一个界面化的集群操 阅读全文

posted @ 2022-04-18 13:35 yanqi_vip 阅读(45) 评论(0) 推荐(0)

|NO.Z.00005|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v05|——|Elasticsearch.v05|ElasticSearch-head插件部署.V2|

摘要: 一、ElasticSearch-head:谷歌浏览其插件方式安装:测试环境推荐使用 ### ElasticSearch-head:谷歌浏览其插件方式安装:# 测试环境推荐使用 ~~~ Elasticsearch 5之后则需要将elasticsearch-head服务单独运行, ~~~ 并且支持Chr 阅读全文

posted @ 2022-04-18 13:35 yanqi_vip 阅读(13) 评论(0) 推荐(0)

|NO.Z.00002|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v02|——|Elasticsearch.v02|Single-Node Mode使用|

摘要: 一、简单使用es ### 创建blog01索引 ~~~ # 创建blog01索引:若是返回是true,说明创建索引是成功的 [root@hadoop01 ~]# curl -XPUT http://hadoop01:9200/blog01/?pretty ~~~输出参数 { "acknowledge 阅读全文

posted @ 2022-04-18 13:34 yanqi_vip 阅读(18) 评论(0) 推荐(0)

|NO.Z.00003|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v03|——|Elasticsearch.v03|ElasticSearch集群部署.V1|

摘要: 一、Elasticsearch 集群环境准备 ### hadoop01~03修改系统配置:修改/etc/sysctl.conf ~~~ # 修改/etc/sysctl.conf [root@hadoop01 ~]# vim /etc/sysctl.conf ~~~在文件末尾添加如下参数 vm.max 阅读全文

posted @ 2022-04-18 13:34 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-18 13:33 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00001|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v01|——|Elasticsearch.v01|Single-Node Mode部署|

摘要: 一、Elasticsearch Single-Node Mode部署 ### Elasticsearch Single-Node Mode部署 ~~~ Elasticsearch是一个分布式全文搜索引擎, ~~~ 支持单节点模式(Single-Node Mode)和集群模式(Cluster Mode 阅读全文

posted @ 2022-04-18 13:33 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00022|——————————|Deployment|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-18 13:32 yanqi_vip 阅读(6) 评论(0) 推荐(0)

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-18 13:32 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00020|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v20|——|Kylin.v11|Apache Druid部署|单服务器部署|

摘要: 一、Druid 部署 ### 下载Druid版本包并解压版本包 ~~~ # 下载 Druid 安装包、并解压缩: ~~~ # Druid官网:https://druid.apache.org/ [root@hadoop01 ~]# cd /opt/yanqi/software/ ~~~ # 官网源下 阅读全文

posted @ 2022-04-18 13:31 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00021|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v21|——|Kylin.v12|Apache Druid部署|集群部署|

摘要: 一、集群部署 ### 环境资源说明 ~~~ 虚拟机每个节点2core、3G ~~~ DeepStorage:Hadoop 2.9.2 ### 部署规划:集群部署采用的分配如下 ~~~ 主节点部署 Coordinator 和 Overlord进程 ~~~ 数据节点运行 Historical 和 Mid 阅读全文

posted @ 2022-04-18 13:31 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00018|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v18|——|Kylin.v09|Kylin构建Cube|Segment管理|使用JDBC连接操作Kylin|

摘要: 一、使用JDBC连接操作Kylin ### 使用JDBC连接操作Kylin ~~~ 要将数据以可视化方式展示出来,需要使用Kylin的JDBC方式连接执行SQL,获取Kylin的执行结果 ~~~ 使用Kylin的JDBC与JDBC操作MySQL一致 ~~~ jdbc url:jdbc:kylin:/ 阅读全文

posted @ 2022-04-18 13:30 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00019|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v19|——|Kylin.v10|Kylin构建Cube|实时OLAP.V2|

摘要: 一、OLAP环境准备 ### OLAP环境准备 ~~~ # 进入服务部署目录 [root@hadoop02 ~]# cd /opt/yanqi/servers/ ~~~ # coordinator [root@hadoop02 servers]# cp -r kylin-3.1.1/ kylin-3 阅读全文

posted @ 2022-04-18 13:30 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00016|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v16|——|Kylin.v07|sparkcore高可用配置|

摘要: 一、高可用配置:spark standalone集群配置 ### 修改 spark-env.sh 文件,并分发到集群中 [root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-env.sh # export SPARK_MASTER_HOST=hadoop01 # 阅读全文

posted @ 2022-04-18 13:29 yanqi_vip 阅读(19) 评论(0) 推荐(0)

|NO.Z.00017|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v17|——|Kylin.v08|Kylin部署配置|

摘要: 一、Kylin安装环境准备:依赖环境 软件 版本 Hive 2.3.7 Hadoop 2.9.2 HBase 1.3.1 Zookeeper 3.4.14 Kafka 1.0.2 Spark 2.4.5 二、集群规划 server Hadoop01 hadoop02 hadoop03 HDFS Na 阅读全文

posted @ 2022-04-18 13:29 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00014|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v14|——|Kylin.v05|Spark-standalone集群模式|core/mamory|

摘要: 一、集群模式--Standalone模式 ### 检查集群状态 ~~~ # 启动服务 [root@hadoop01 ~]# start-dfs.sh [root@hadoop01 ~]# start-yarn.sh [root@hadoop01 ~]# start-all-spark.sh ~~~ 阅读全文

posted @ 2022-04-18 13:28 yanqi_vip 阅读(23) 评论(0) 推荐(0)

上一页 1 2 3 4 5 6 ··· 69 下一页

导航