上一页 1 2 3 4 5 6 ··· 24 下一页
摘要: Spark提供的主要抽象是resilient distributed dataset(RDD) 弹性分布式数据集,它是跨集群节点划分的元素的集合,可以并行操作。通过从Hadoop文件系统(或任何其他Hadoop支持的文件系统)中的文件或驱动程序中现有的Scala集合开始并进行转换来创建RDD。用户还 阅读全文
posted @ 2020-05-31 15:23 sellsa 阅读(1510) 评论(0) 推荐(0) 编辑
摘要: 主机名 ip 配置 系统 heboan-hadoop-000 10.1.1.15 8C/8G CentOS7.7 工具包 配置本机ssh免密 时间校准 文件描述符优化 安装jdk tar xf jdk-8u231-linux-x64.tar.gz -C /srv/ vim ~/.bash_profi 阅读全文
posted @ 2020-05-30 17:58 sellsa 阅读(708) 评论(0) 推荐(0) 编辑
摘要: Flask是流行的python web框架...(* ̄︶ ̄) 零基础到企业级论坛实战,人生苦短,我用python,开启FLask之旅吧... Flask之旅 Flask实战第1天:第一个Flask程序 Flask实战第2天:URL传参 Flask实战第3天:url_for使用 Flask实战第4天: 阅读全文
posted @ 2020-05-30 11:19 sellsa 阅读(2483) 评论(0) 推荐(1) 编辑
摘要: 下载数据文档 accounts.sjon 使用_bulk将数据索引到es集群blank索引中 curl -H "Content-Type: application/json" -XPOST "localhost:9200/bank/_bulk?pretty&refresh" --data-binar 阅读全文
posted @ 2020-04-28 17:53 sellsa 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 有时候,取值得到一个字典,然后想根据字典的value进行排序 >data = {'a':1, 'c':3, 'b':2} >result=sorted(data.items(),key=lambda x:x[1],reverse=False) >print result >[('a', 1), (' 阅读全文
posted @ 2020-04-15 16:11 sellsa 阅读(381) 评论(0) 推荐(0) 编辑
摘要: 文件读写 读文件 with open('/path/filename', 'r') as f: print(f.read()) 调用read()会一次性读取文件的全部内容,如果文件有10G,内存就爆了,所以,为保险起见,可以反复调用read(size)方法,每次最多读取size个字节的内容 另外,调 阅读全文
posted @ 2020-04-02 18:36 sellsa 阅读(1431) 评论(0) 推荐(0) 编辑
摘要: 描述:RHEL 6.x主机执行kinit -kt命令报如下错误 原因 解决方案 阅读全文
posted @ 2019-09-18 14:06 sellsa 阅读(1663) 评论(0) 推荐(0) 编辑
摘要: Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具,Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群 阅读全文
posted @ 2019-09-08 12:57 sellsa 阅读(1583) 评论(0) 推荐(0) 编辑
摘要: 本文转载来自: https://www.cnblogs.com/qingyunzong/p/9004703.html Kafka是Apache下的一个子项目,是一个高性能跨语言分布式发布/订阅消息队列系统, 图展示了Kafka的相关术语以及之间的关系 上图一个topic配置了3个partition。 阅读全文
posted @ 2019-08-27 14:16 sellsa 阅读(331) 评论(0) 推荐(0) 编辑
摘要: 在linux系统管理中,我们有时候需要kill某个用户的所有进程,这里有以下几种方法,以heboan用为例 pkill方式 killall方式 pgrep方式 阅读全文
posted @ 2019-08-21 10:59 sellsa 阅读(2528) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 24 下一页