猫七的blog

摘要： hive 卡在stage99%往往是因为数据发生了倾斜 阅读全文

摘要： NULL值容易产生的问题： NULL值违反人类逻辑，一个命题的要么是真的，要么是假的，在sql世界中，命题真值还有可能是未知的。这就出现在某一行对应的一个字段为NULL时。为了计算机能够在遇到未知命题能够解决，sql引入了unknown值 下面是unknown值的真值表 正因为sql支持的是“三值逻 阅读全文

摘要： sql聚合的规定： 对表进行聚合查询时,只能在SELECT子句中写下面3种内容： 1.通过GROUP BY子句指定的聚合键 2.聚合函数 3.常量 谓词 日常写SQL语句中，我们会用到"< > ="比较谓词，BETWEEN、LIKE、IN、IS NULL，那么这些谓词背后的原理是什么？ 谓词其实是一 阅读全文

摘要： 文件路径在不同操作系统的区别： 在Windows中，比如一个路径“C:\Users”， 根文件夹名为C： 在linux中，根文件夹为：/ WINDOWS上的倒斜杠和LINUX上的正斜杠: 正因为两者的文件路径表示不一样，要想程序在这两个系统都可以运行，就可以使用os.path.join处理这件事 比 阅读全文

摘要： Flask 入门教程 推荐的教程 https://github.com/greyli/flask-tutorial/blob/master/chapters/c2-hello.md 阅读全文

摘要： Spark应用程序由两部分组成： 1.DRIVER 2.Executor 基本概念： Application：Spark应用程序，包含一个Driver program和若干个Executor SparkContext：Spark应用程序的入口，负责调度各个运算资源，协调各个Worker Node 的 阅读全文

摘要： 任务： 从剪贴板获取文本(这一步可以换成从csv中获取文本 找出文本中所有的电话号码和E-mail地址 粘贴到剪辑板 #Finds phone numbers import re phoneRegex=re.compile(r'''( (\d{3}|\(\d{3}\))? #3位要么是不带括号要么是 阅读全文

摘要： 查看表内容 Python中的Values函数用来查看数据表的数值。以数组numpy_array的形式返回，不包含表头信息。 更改列名称 df.rename(columns={'category':'category-size'}) 数据表匹配合并 df_inner=pd.merge(df,df1,h 阅读全文

摘要： 线性模型之局限性： 前面我们介绍了一种简单的神经网络结构。 这种模型的输出y和输入xi满足以下关系： 假设i=1，模型只有一个输入，x与y形成二维坐标系的一条直线。 i=n，x与y形成n+1维空间中的平面 而上次的前向传播算法可以写成： 这个公式也是线性模型。 线性模型只能很好的解决线性可分的问题， 阅读全文

摘要： 一个神经元有多个输入和一个输出。 一个最简单的神经元结构。（全连接层）图上已标明计算过程。 把权重W组织成一个矩阵： 第一层。 通过矩阵乘法得到隐藏层三个节点的输出 最后的输出层： 代码： w1 = tf.Variable(tf.random.truncated_normal([784, 256], 阅读全文