xingoo

摘要： 无论是ICF基于物品的协同过滤、UCF基于用户的协同过滤、基于内容的推荐，最基本的环节都是计算相似度。如果样本特征维度很高或者的维度很大，都会导致无法直接计算。设想一下100w 100w的二维矩阵，计算相似度怎么算？ 更多内容参考—— "我的大数据学习之路——xingoo" 在spark中RowMa 阅读全文

摘要： 第一章讲述了基本的机器学习的概念以及分类，这里从单变量的线性回归入手，吴恩达讲解了机器学习中的几个重要因素，如模型、损失函数、优化方法等 更多内容参考 "机器学习&深度学习" 首先以房价预测入手： | 房子的面积 | 每平米的房价 | | : : | : : | |2104 | 460| | 141 阅读全文

摘要： 在阅读spark mllib源码的时候，发现一个出镜率很高的函数——aggregate和treeAggregate，比如matrix.columnSimilarities()中。为了好好理解这两个方法的使用，于是整理了本篇内容。 由于treeAggregate是在aggregate基础上的优化版本， 阅读全文

摘要： 机器学习目前已经应用在很多领域，比如网页搜索、垃圾邮件过滤、点击率预测、生物信息、无人驾驶、无人机、手写体识别、自然语言处理、计算机视觉。 更多内容参考 "机器学习&深度学习" 什么是机器学习 1 机器学习一些比较难以变成的能力——Arthur Samuel 2 通过给定任务T以及性能度量P以及经验 阅读全文

摘要： Spark MLlib里面提供了几种基本的数据类型，虽然大部分在调包的时候用不到，但是在自己写算法的时候，还是很需要了解的。MLlib支持单机版本的local vectors向量和martix矩阵,也支持集群版本的matrix矩阵。他们背后使用的都是ScalaNLP中的Breeze。 更多内容参考 阅读全文

摘要： 最近在用Spark MLlib进行特征处理时，对于StringIndexer和IndexToString遇到了点问题，查阅官方文档也没有解决疑惑。无奈之下翻看源码才明白其中一二...这就给大家娓娓道来。 更多内容参考 "我的大数据学习之路" 文档说明 StringIndexer 字符串转索引 Str 阅读全文

摘要： 这两年AI很火热，各种无人驾驶、机器人、无人机层出不穷，新零售也是AI的一个很热的方向。AI与新零售的结合现在也有不少案例了，比如京东X无人超市、超嗨的智能购物车等等。在大型百货商场或者超市，有一个很典型的场景就是室内导航，比如查询一个你不知道具体位置的品牌店铺、寻找一个不知道摆放在哪的商品。本篇就 阅读全文

摘要：  阅读全文

摘要： 最近测试环境基于shc[https://github.com/hortonworks spark/shc]的hbase connector总是异常连接不到zookeeper，看下报错日志： 可以观察到hbase connector莫名其妙连接的是localhost:2181，检查所有的配置文件都没有 阅读全文

摘要： git移除已经追踪的文件 有时候新增一个文件，会自动追加到git的版本控制当中，但是又不想提交到仓库。可以按照下面的步骤： 查看管理状态: 其中data.tg就是我不想提交的文件，但是现在已经进入到版本控制当中了。 那么可以通过rm删除当前的控制状态： 再次查看就发现已经到了未加入版本控制状态列表里 阅读全文