吱吱了了 - 博客园

NLP传统基础（2）---LDA主题模型---学习文档主题的概率分布（文本分类/聚类）

摘要：一、简介 https://cloud.tencent.com/developer/article/1058777 1、LDA是一种主题模型作用：可以将每篇文档的主题以概率分布的形式给出【给定一篇文档，推测其主题分布】。我们的目标是找到每一篇文档的主题分布和每一个主题中词的分布。从而通过分析一些文阅读全文

posted @ 2019-07-08 11:47 吱吱了了阅读(3330) 评论(0) 推荐(0)

NLP传统基础（1）---BM25算法---计算文档和query相关性

摘要：一、简介：TF-IDF 的改进算法 https://blog.csdn.net/weixin_41090915/article/details/79053584 bm25 是一种用来评价搜索词和文档之间相关性的算法。通俗地说：主要就是计算一个query里面所有词q和文档的相关度，然后再把分数做累加操阅读全文

posted @ 2019-07-08 11:00 吱吱了了阅读(3370) 评论(0) 推荐(0)

tensorflow实战笔记（19）----使用freeze_graph.py将ckpt转为pb文件

摘要：一、作用： https://blog.csdn.net/yjl9122/article/details/78341689 这节是关于tensorflow的Freezing，字面意思是冷冻，可理解为整合合并；整合什么呢，就是将模型文件和权重文件整合合并为一个文件，主要用途是便于发布。官方解释可参考：h 阅读全文

posted @ 2019-07-05 11:58 吱吱了了阅读(8773) 评论(2) 推荐(1)

tensorflow实战笔记（18）----textCNN

摘要：一、import 包 import os import pandas as pd import csv import time import datetime import numpy as np import tensorflow as tf import re import sys from _ 阅读全文

posted @ 2019-07-04 17:15 吱吱了了阅读(1354) 评论(0) 推荐(0)

train loss相关问题

摘要：一、train loss 收敛慢，把learning_rate调高二、train loss不下降： 1、观察数据中是否有异常样本或异常label导致数据读取异常2、调小初始化权重，以便使softmax输入的feature尽可能变小3、降低学习率，这样就能减小权重参数的波动范围，从而减小权重变大的可阅读全文

posted @ 2019-07-02 13:42 吱吱了了阅读(18149) 评论(0) 推荐(0)

Spark学习（4）----ScalaTest

摘要：一、例子: 1、一个简单例子：https://www.jianshu.com/p/ceabf3437dd7 2、Funsuite例子：https://www.programcreek.com/scala/org.scalatest.FunSuite 3、SparkFunsuite例子：https:/ 阅读全文

posted @ 2019-06-27 14:50 吱吱了了阅读(717) 评论(0) 推荐(0)

scala学习（4）---Array定长数组操作

摘要： ScalaArrayNote： https://www.jianshu.com/p/d906f00c05bf 阅读全文

posted @ 2019-06-27 14:27 吱吱了了阅读(483) 评论(0) 推荐(0)

spark学习（3）---集合

摘要：一、list https://blog.csdn.net/xianpanjia4616/article/details/84930779 华为文档：https://support.huawei.com/enterprise/zh/doc/DOC1000104105?section=j009 阅读全文

posted @ 2019-06-25 16:08 吱吱了了阅读(218) 评论(0) 推荐(0)

spark学习（2）---RDD

摘要：一、打印RDD内容 https://blog.csdn.net/wengyupeng/article/details/52808503 1、方法 2种方式： 2、例子二、Spark RDD Key-Value基本转换和动作运算实例 https://blog.csdn.net/qq_25948717 阅读全文

posted @ 2019-06-25 14:22 吱吱了了阅读(390) 评论(0) 推荐(0)

spark学习（1）---dataframe操作大全

摘要：一、dataframe操作大全 https://blog.csdn.net/dabokele/article/details/52802150 https://www.jianshu.com/p/009126dec52f 增/删/改/查/合并/统计与数据处理: https://blog.csdn.n 阅读全文

posted @ 2019-06-20 17:44 吱吱了了阅读(3242) 评论(0) 推荐(0)