摘要：1.应用场景 作为购物网站，搜索功能支持底纹搜索，后台配置的搜索框默认的搜索信息；输入搜索，用户通过输入商品关键字进行模糊搜索；最近搜索，用户输入搜索过的商品记录保存；热门搜索，后台配置的商品搜索信息。那么，对于用户来说，搜索到想要的商品是需要尽可能输入完整的商品名称，而潜在的主流族裔用户很多时候是 阅读全文
pyspark基于python虚拟环境运行
2020-08-27 17:13 by 倪平凡, 2459 阅读, 0 推荐, 收藏, 编辑
摘要：1.背景 目前大数据使用的是Amazon EMR集群，该集群可根据计算需求变化灵活扩展或收缩集群，就会存在一个问题：当spark任务提交之后，EMR集群会根据计算的需求进行扩展，新扩展的机器上python环境各不相同，并且每次扩展的机器ip不相同（不是同一台机器），对某些第三方包，例如：pandas 阅读全文
idea配置本地spark本地开发环境
2020-08-22 13:47 by 倪平凡, 1758 阅读, 0 推荐, 收藏, 编辑
摘要：1.配置JDK 省略 2.配置scala 省略 3.配置hadoop 1.下载所需要的hadoop版本，并解压 https://archive.apache.org/dist/hadoop/common/ 下载之后解压到一个目录下，例如： F:\bigdata\software\hadoop-2.8 阅读全文
carbondata使用总结
2019-11-01 14:11 by 倪平凡, 4575 阅读, 0 推荐, 收藏, 编辑
摘要：CarbonData简介 CarbonData是一种新型的Apache Hadoop本地文件格式，使用先进的列式存储、索引、压缩和编码技术，以提高计算效率，有助于加速超过PB数量级的数据查询，可用于更快的交互查询。同时，CarbonData也是一种将数据源与Spark集成的高性能分析引擎。 图1 C 阅读全文
MFC中怎样完全删除一个类
2015-05-20 22:27 by 倪平凡, 1743 阅读, 0 推荐, 收藏, 编辑
摘要：测试环境:Windows7 32bit、VC++6.0VC++6.0中添加类很方便，不过删除一个类就没有那么直观了。如果想删除了一个类，其实只需要这样做：在FileView中的Source Files和Header Files中分别移除类对应的.cpp和.h文件（点击该文件，然后按Delete即可移... 阅读全文
C++中多文件结构------------inline的使用
2015-05-07 20:39 by 倪平凡, 713 阅读, 0 推荐, 收藏, 编辑
摘要：inline是加在实现上，就算加在声明上，编译器也会忽略掉。内联展开是在编译时进行的，只有链接的时候源文件之间才有关系。所以内联要想跨源文件必须把实现写在头文件里，写在.CPP里就会出现以下错误：如果一个inline函数会在多个源文件中被用到，那么必须把它定义在头文件中。 阅读全文
C/C++ 笔试、面试题目大汇总
2015-05-07 09:37 by 倪平凡, 1092 阅读, 3 推荐, 收藏, 编辑
摘要：1.求下面函数的返回值（ 微软）intfunc(x){intcountx=0;while(x){countx++;x=x&(x-1);}returncountx;}假定x = 9999。 答案：8思路：将x转化为2进制，看含有的1的个数。2.什么是“引用”？申明和使用“引用”要注意哪些问题？答：引用... 阅读全文