摘要： # -*- coding: utf-8 -*-import matplotlib.pyplot as pltfrom sklearn.metrics import roc_curvefrom sklearn.metrics import roc_auc_scoreimport pandas as p 阅读全文

摘要： #-*- coding: utf-8 -*-import jieba.analyseimport numpy as npimport hashlibcts = 128#hash字符串位数def word_hash(t, w): if int(t)==1: return w else: return 阅读全文

摘要： main_tkz.py import pandas as pdfrom tree_tkz import tree_tkzfrom logistic_regression_tkz import logistic_regression_tkzfrom logistic_regression_test i 阅读全文

摘要： #-*- coding: utf-8 -*- from sklearn.ensemble import GradientBoostingClassifier import numpy as np from sklearn.preprocessing import OneHotEncoder from 阅读全文

摘要： from pyspark import SparkContext from pyspark import SparkConf from pyspark.sql import HiveContext from pyspark.mllib.regression import LabeledPoint s 阅读全文

摘要： from pyspark import SparkContext from pyspark import SparkConf from pyspark.mllib.regression import LabeledPoint from pyspark.mllib.tree import Gradie 阅读全文

摘要： 特征选择的主要作用是：降维，减少特征数量，防止过拟合，增强模型的泛化能力。 1、变异系数（标准差/均值） 2、皮尔逊相关系数（线性相关） 3、互信息 4、线性拟合系数 5、L1（Lasso）或者L2（Ridge）正则化 6、树模型 7、交叉验证 8、卡方检验 阅读全文

摘要： import pandas as pd from pyspark.sql import SQLContext from pyspark import SparkContext from pyspark.sql import SparkSession sc = SparkContext()#连接spa 阅读全文

摘要： 上传文件到hdfs： hadoop fs -put /root/people.json / /root/people.json：本地路径 /：hdfs路径 阅读全文

摘要： from pyspark import SparkContext from pyspark import SparkConf string_test = 'pyspark_test' conf = SparkConf().setAppName(string_test).setMaster('yarn 阅读全文