靠谱杨

摘要： 人工智能导论 1）人工智能：让机器像人一样具有一些能力，扩展人的智慧。 2）机器学习： 不显式编程地赋予计算机能力的研究领域。 3）AIOps： Artificial Intelligence for IT Operations，智能化运维，将人工智能应用于运维领域，基于已有的运维数据（日志、监控信 阅读全文

摘要： 使用爬虫等获取实时数据+Flume+Kafka+Spark Streaming+mysql+Echarts实现数据动态实时采集、分析、展示 【获取完整源码关注公众号：靠谱杨阅读人生 回复kafka获取下载链接】 主要工作流程如下所示： 模拟随机数据，把数据实时传输到Linux虚拟机文件中。 使用Fl 阅读全文

摘要： 十二、Kafka （1）Topic 1）查看当前服务器中的所有topic bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list 2）创建first topic bin/kafka-topics.sh --bootstrap-serv 阅读全文

摘要： 注意代码缩进 添加执行权限 chmod +x kf.sh 1 #! /bin/bash 2 case $1 in 3 "start"){ 4 for i in hadoop102 hadoop103 hadoop104 5 do 6 echo " 启动 $i Kafka " 7 ssh $i "/o 阅读全文

摘要： 1 #!/bin/bash 2 3 #1. 判断参数个数 4 if [ $# -lt 1 ] 5 then 6 echo Not Enough Arguement! 7 exit; 8 fi 9 10 #2. 遍历集群所有机器 11 for host in hadoop102 hadoop103 h 阅读全文

摘要： jpsall代码 #!/bin/bash for host in hadoop102 hadoop103 hadoop104 do echo $host ssh $host jps done 查看某个命令所在的路径 which 【命令名称】 whereis 用来查看一个命令或者文件所在的路径 whi 阅读全文

摘要： 十一、Flume 1）开启Flume的监控端口 bin/flume-ng agent -c conf/ -n a1 -f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console 2）使用netcat工具向44444端口发送信号 nc 阅读全文

摘要： 1 def get_words(txt): 2 seg_list = jieba.cut(txt) 3 c = Counter() 4 for x in seg_list: 5 if len(x) > 1 and x != '\r\n': 6 c[x] += 1 7 print('常用词频度统计结果 阅读全文

摘要： 1 """ 2 https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100006852812&score=0&sortType=5&page=0&pageSize= 阅读全文

摘要： 参考：http://dblab.xmu.edu.cn/blog/1312-2/ 总的来说，每一 个Spark Application 都是由一个 driver program 组成，这个 driver program 会运行用户的 main 方法 ，且能在集群上执行并行操作。Spark 提供了一个主 阅读全文

摘要： 十、使用sbt对Scala程序进行打包并运行（Spark单机运行） 在./sparkapp 中新建文件 simple.sbt（vim ./sparkapp/simple.sbt），添加内容如下，声明该独立应用程序的信息以及与 Spark 的依赖关系： name := "Simple Project" 阅读全文

摘要： 大数据Hadoop-Spark集群部署知识总结 一、启动/关闭 hadoop myhadoop.sh start/stop 分步启动： 第一步：在hadoop102主机上 sbin/start-dfs.sh 第二步：在hadoop103主机上 sbin/start-yarn.sh 分步关闭： 第一步 阅读全文

摘要： ls 命令，展示文件夹内内容 -R ：连同子目录内容一起列出来； -S ：以档案容量大小排序！ -t ：依时间排序 cd 命令 cd /root/Docements # 切换到目录/root/Docements cd ./path # 切换到当前目录下的path目录中，“.”表示当前目录 cd .. 阅读全文

摘要： 增加scala插件 阅读全文

摘要： 问题五、什么是软件 软件的历史，其实是机器模拟人的历史。 程序从早期由一个人完成，也逐渐变成了由很多不同角色的人共同合作来完成。 软件的主要目的，还是把人类的生活模拟化，提供更低成本，高效率的新的生活。 有了软件之后，实际上，我们是把我们日常生活中所做的事情，包括我们自己本人都一起虚拟化到了计算机中 阅读全文

摘要： 架构漫谈 王概凯 阅读笔记 问题一、为什么会出现“架构”以及什么是“架构” 为什么会出现“架构”？ 架构一词最早来自建筑领域，建筑的本质就是从自然环境中，划出一块独占的空间，但是仍然能够通过门窗等和自然环境保持沟通。这个时候架构就已经开始了。对地球上的空间进行切分，并通过门窗，地基等，保持和地球以及 阅读全文

摘要： Application Application是在使用spark-submit 提交的打包程序，也就是需要写的代码。完整的Application一般包含以下步骤：（1）获取数据（2）计算逻辑（3）输出结果（可以是存入HDFS，或者是其他存储介质） Executor Executor是一个Applic 阅读全文

摘要： Spark的技术生态 Spark的技术生态包含了各种丰富的组件，而不同的组件提供了不同功能，以适应不同场景。 Spark core spark core包含Spark的基本功能，定义了RDD的API以及以此为基础的其他动作。Spark的其他库都构建在RDD和Spark Core之上。 Spark S 阅读全文

摘要： hadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System ，HDFS）。HDFS 阅读全文

摘要： 阅读全文