石头木

摘要： 记录一下使用py2neo进行查询，查询某演员出演的电影，返回三元组，可转为json用于前端显示，如下(以下在jupyter notebook中进行操作)： 一.查询数据 from py2neo import Graph,Node,Relationship,NodeMatcher,Relationsh 阅读全文

摘要： 一.简介电影知识图谱问答，利用spark，neo4j以及hanlp完成一个简易的电影问答。二.要求 利用java-driver方式，使用cypher和apoc构建节点和关系，使用spark ml完成问句分类。 1.neo4j3.5.3 2.apoc3.5.0.13 3.jdk1.8 4.hanlp1 阅读全文

摘要： 一.背景 之前在github上看到https://github.com/liuhuanyong/TextGrapher利用pyltp对文章进行分析并图示。所以这两天打算利用java，hanlp进行文章分析并图示，项目在https://github.com/jiangnanboy/text_graph 阅读全文

摘要： 一.从京东抓取一些婴儿奶粉的相关商品，格式如1.1： 1.1 1.2主要字段有： 商品名称，1商品sku，2商品链接，3封面图链接，4价格，5评价人数，6评论链接，7商家店名，8店铺链接，9标签，10是否广告，11页码，12当前时间，13页面网址，14 二.数据处理 2.1需要的字段有： 品牌名、奶 阅读全文

摘要： 在推荐中，多样性并不是目的，而是一种提高用户粘度或是惊喜度的手段。记得在17年的时候在公司做的一个新闻文本摘要项目(那时候没有用到深度学习中的生成式方法是因为：一是没有gpu机器；二是样本不够。而且深度学习的这种生成式方法有时候真的不是太准，即生成的摘要有时候是不通顺的或是不知道説啥，这个还需要后续 阅读全文

摘要： 融合了偏置LFM以及用户的历史评分行为，结合了邻域和LFM。理论及python实现见https://www.cnblogs.com/little-horse/p/12499671.html。 以下java简单实现，完整程序https://github.com/jiangnanboy/RecomSys 阅读全文

摘要： BiasLFM(bias latent factor model)带偏置项的隐语义推荐模型，加入三个偏置项（所有评分的平均，用户偏置项表示用户的评分习惯和物品没关系， * 物品偏置项表示物品接受的评分中和用户没关系的因素）矩阵分解,训练得到U,I矩阵,以及用户偏置项和物品偏置项 * 对user-it 阅读全文

摘要： 关于LFM分解理论和python实现见https://www.cnblogs.com/little-horse/p/12489619.html。 以下是java简单实现，完整程序见https://github.com/jiangnanboy/RecomSys/blob/master/src/main 阅读全文

摘要： 在机器学习中，我们在使用模型训练数据时，时常会遇到一个问题，那就是数据不平衡，而且可能是极其不平衡。比如电商中的购买与否，金融欺诈等这种二分类中，往往数 据不仅稀疏且还极不平衡，可能其中某一类数据过多。很多模型对于处理这种不平衡数据来説是非常敏感的，往往造成效果不好。 那么在进行模型训练前，我们会做 阅读全文

摘要： 一．安装步骤 1.假设已经安装了linux、nvidia驱动、cuda、cudnn 2.节点之间互相ping通 3.所有节点之间拥有相同的用户名 4.节点之间无密码ssh登录 5.安装mpi，nccl2 6.共享文件系统nfs 7.每个节点拥有一样的环境，数据和脚本要放在主nfs中，其它节点挂靠 二 阅读全文