摘要： Spark提供的主要抽象是resilient distributed dataset（RDD） 弹性分布式数据集，它是跨集群节点划分的元素的集合，可以并行操作。通过从Hadoop文件系统（或任何其他Hadoop支持的文件系统）中的文件或驱动程序中现有的Scala集合开始并进行转换来创建RDD。用户还 阅读全文

摘要： 主机名 ip 配置 系统 heboan-hadoop-000 10.1.1.15 8C/8G CentOS7.7 工具包 配置本机ssh免密 时间校准 文件描述符优化 安装jdk tar xf jdk-8u231-linux-x64.tar.gz -C /srv/ vim ~/.bash_profi 阅读全文

摘要： Flask是流行的python web框架...(*￣︶￣) 零基础到企业级论坛实战，人生苦短，我用python，开启FLask之旅吧... Flask之旅 Flask实战第1天：第一个Flask程序 Flask实战第2天：URL传参 Flask实战第3天：url_for使用 Flask实战第4天： 阅读全文

摘要： 下载数据文档 accounts.sjon 使用_bulk将数据索引到es集群blank索引中 curl -H "Content-Type: application/json" -XPOST "localhost:9200/bank/_bulk?pretty&refresh" --data-binar 阅读全文

摘要： 有时候，取值得到一个字典，然后想根据字典的value进行排序 >data = {'a':1, 'c':3, 'b':2} >result=sorted(data.items(),key=lambda x:x[1],reverse=False) >print result >[('a', 1), (' 阅读全文

摘要： 文件读写 读文件 with open('/path/filename', 'r') as f: print(f.read()) 调用read()会一次性读取文件的全部内容，如果文件有10G，内存就爆了，所以，为保险起见，可以反复调用read(size)方法，每次最多读取size个字节的内容 另外，调 阅读全文

摘要： 描述：RHEL 6.x主机执行kinit -kt命令报如下错误 原因 解决方案 阅读全文

摘要： Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具，Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群 阅读全文

摘要： 本文转载来自： https://www.cnblogs.com/qingyunzong/p/9004703.html Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统, 图展示了Kafka的相关术语以及之间的关系 上图一个topic配置了3个partition。 阅读全文

摘要： 在linux系统管理中，我们有时候需要kill某个用户的所有进程，这里有以下几种方法，以heboan用为例 pkill方式 killall方式 pgrep方式 阅读全文