静悟生慧

2018年9月5日

摘要： from pyspark.sql import SparkSession spark = SparkSession \ .builder \ .appName("Python Spark SQL basic example") \ .master("local") \ .enableHiveSupport() \ .getOrCreate() #try: ... 阅读全文

posted @ 2018-09-05 11:44 静悟生慧阅读(1274) 评论(0) 推荐(0)

Hive 指定分隔符，将表导出到本地

摘要： hive表的数据源有四种： hbase hdfs 本地其他hive表而hive表本身有两种: 内部表和外部表。而hbase的数据在hive中，可以建立对应的外部表（参看hive和hbase整合）区别：删除时，内部表删除hadoop上的数据；而外部表不删，其数据在外部存储，hive表只是查看数阅读全文

posted @ 2018-09-05 10:04 静悟生慧阅读(9867) 评论(0) 推荐(0)

Hive 显示列名/表头

摘要： set hive.cli.print.header=true; 阅读全文

posted @ 2018-09-05 09:22 静悟生慧阅读(3526) 评论(0) 推荐(0)

2018年9月3日

sklearn 随机森林方法

摘要： Methods Predict class for X. The predicted class of an input sample is a vote by the trees in the forest, weighted by their probability estimates. Tha 阅读全文

posted @ 2018-09-03 12:26 静悟生慧阅读(1290) 评论(0) 推荐(0)

2018年8月31日

数据导入时出现的问题：

摘要： ## 在数据平台导入数据：1、新建表，注意分隔符的选取，按照txt中的格式确定是',' 还是 ‘\t’ ； 2、在将csv转为txt之后，去掉表头, 将csv转为txt时可以选择直接将后缀进行替换，不会出错；（尽量不要使用将csv另存为txt的方法，这样会出错） 3、选择导入的txt文件，支持utf 阅读全文

posted @ 2018-08-31 20:17 静悟生慧阅读(385) 评论(0) 推荐(0)

sklearn word2vec 实践

摘要：源代码： https://blog.csdn.net/github_38705794/article/details/75452729 一、复现时报错： Traceback (most recent call last): File "D:\Program\python3\lib\site-pack 阅读全文

posted @ 2018-08-31 20:07 静悟生慧阅读(630) 评论(0) 推荐(0)

word2vector 理解入门

摘要： 1.什么是word2vector? 我们先来看一个问题，假如有一个句子 " the dog bark at the mailman"。假如用向量来表示每个单词，我们最先想到的是用one hot 编码的方式来表达每个单词，具体来说。 the 可以表示为 [1,0,0,0,0] dog 可以表示为 [ 阅读全文

posted @ 2018-08-31 17:22 静悟生慧阅读(4312) 评论(0) 推荐(0)

零样本学习 - （Zero shot learning，ZSL）

摘要： https://zhuanlan.zhihu.com/p/41846072 https://zhuanlan.zhihu.com/p/38418698 https://zhuanlan.zhihu.com/p/41854739 阅读全文

posted @ 2018-08-31 16:37 静悟生慧阅读(1181) 评论(0) 推荐(0)

2018年8月30日

pandas drop_duplicates

摘要：函数： DataFrame.drop_duplicates(subset=None, keep='first', inplace=False) 参数：这个drop_duplicate方法是对DataFrame格式的数据，去除特定列下面的重复行。返回DataFrame格式的数据。补充： Panda 阅读全文

posted @ 2018-08-30 11:10 静悟生慧阅读(4272) 评论(0) 推荐(0)

2018年8月29日

所谓 A/B test

摘要： A/B测试就是上两个方案，部署后看效果。根据效果和一些结果参数决定采用哪个方案。灰度发布是切一部分业务使用新方案，看效果如何，是否有bug，会遇到什么问题。如果一切OK，就把全部业务切到新的方案上执行。 A/B 测试，顾名思义就是方案A和方案B的比较。为同一个目标设计两个方案，一部分用户使用A方案，阅读全文

posted @ 2018-08-29 22:01 静悟生慧阅读(596) 评论(0) 推荐(0)

公告