L的存在

4 pyspark学习---RDD

摘要：开始新的东西，其实很多操作在第二篇的时候就有所介绍啦。在这里继续学习一遍加深一下印象。 1关于RDD (1) RDD Resilient Distributed Dataset，弹性分布式数据集。这些元素在多个节点上运行和操作，以便在集群上进行并行处理。 (2)RDD是弹性得。比如map操作，可以阅读全文

posted @ 2018-04-03 10:10 L的存在阅读(1710) 评论(0) 推荐(0)

3 pyspark学习---sparkContext概述

摘要： 1 Tutorial Spark本身是由scala语言编写，为了支持py对spark的支持呢就出现了pyspark。它依然可以通过导入Py4j进行RDDS等操作。 2 sparkContext (1)sparkContext是spark运用的入口点，当我们运行spark的时候，驱动启动同时上下文也开阅读全文

posted @ 2018-04-03 09:48 L的存在阅读(2223) 评论(0) 推荐(0)

2 pyspark学习----基本操作

摘要： 1 spark的python环境部署可以参照上面一篇哟。http://www.cnblogs.com/lanjianhappy/p/8705974.html 2 pyspark的基本操作。加油！阅读全文

posted @ 2018-04-03 09:12 L的存在阅读(1051) 评论(0) 推荐(0)

1 python----pycharm本地部署spark

摘要：下图相关工具连接链接：https://pan.baidu.com/s/115XWf_Fc1yMiJytKJQXnFQ 密码：3jvr 好了，加油哟！阅读全文

posted @ 2018-04-03 09:08 L的存在阅读(516) 评论(0) 推荐(0)

python--flask学习1

摘要： 1 windows/unix得安装 http://www.pythondoc.com/flask-mega-tutorial/helloworld.html http://www.pythondoc.com/flask/ 2 第一个永远得helloword 然后浏览器 http://127.0.0. 阅读全文

posted @ 2018-03-30 22:01 L的存在阅读(243) 评论(0) 推荐(0)

c语言中的# ## 可变参数宏 ...和_ _VA_ARGS_ _

摘要： 1.#的用法假如希望在字符串中包含宏参数，ANSI C允许这样作，在类函数宏的替换部分，#符号用作一个预处理运算符，它可以把语言符号转化程字符串。例如，如果x是一个宏参量，那么#x可以把参数名转化成相应的字符串。该过程称为字符串化（stringizing）. 第一次调用宏时使用“y”代替#x；第二阅读全文

posted @ 2018-03-29 16:03 L的存在阅读(5059) 评论(0) 推荐(1)

linux内存管理

摘要： 1 物理内存与虚拟内存 (1)大家知道直接从物理内存读取数据比从硬盘上面读写数据会快很多，但是内存是有限的，这样就引出了虚拟内存。 (2)linux的内存管理采用的是分页的模式。为了保证物理内存的充分利用，内核会在适当的时候将物理内存不经常使用的数据块交换到虚拟内存中。(最近最经常算法，好通俗的名阅读全文

posted @ 2018-03-29 15:53 L的存在阅读(463) 评论(0) 推荐(0)

linux磁盘存储管理基本命令和工具

摘要： 1 磁盘在linux表示方法 (1) IDE硬盘:hd[a~z]x,主设备号+次设备号+磁盘分区编号/hd(0-n,y) (2)SCSI硬盘:sd[a~z]x/hd(0-n,y) 注:主设备号可以唯一的确定设备的驱动程序和界面。 2 设备的挂载与使用 (1)在linux中没有盘符的概念，取而代之的就阅读全文

posted @ 2018-03-28 21:33 L的存在阅读(2311) 评论(0) 推荐(0)

清理win10系统c盘

摘要：本人C盘是128G SSD硬盘，Win10系统盘和一些常用的程序都装在这个盘（特大程序除外），目的是为了使用这些程序时提高响应速度。但是本人电脑使用1年，突然发现C盘以占用近70G的空间，实在是吓蒙撒。按理讲，win10 系统本省也就占用20G左右的空间，所安装在C盘的程序总共不到20G，那么其他3 阅读全文

posted @ 2018-01-03 11:19 L的存在阅读(6622) 评论(0) 推荐(2)

c/c++面试45-50之字符串

摘要： 45 使用库函数将数字转换为字符串，下面是常用库函数 (1) itoa():将整型转换为字符串 (2)ltoa():将长整形转换为字符串 (3)gcvt():将浮点转换为字符串 46 不使用库函数将整数转换为字符串 >通过把整数的各位上的数字加上'\0'转换为char类型并存到字符数组 (1)代码阅读全文

posted @ 2017-12-13 14:43 L的存在阅读(435) 评论(0) 推荐(0)