Solution - 随笔分类 - Byron_NG

neo4j 初级使用笔记

摘要：linux下载: 配置端口： baidu hd服务器端口配8000以上的开启/关闭： web server: "http://jp01 ime uts3 hdp57.jp01.baidu.com:8484/browser/" Username: neo4j Password: 1234 neo4j 阅读全文

posted @ 2019-09-06 17:44 Byron_NG 阅读(617) 评论(0) 推荐(0)

sqoop的安装与配置

摘要：最近需要将MySQL的数据导出到HDFS，所以搜到了sqoop2。跟sqoop1相比，sqoop2的好处是直接使用程序连接到集群上的sqoop，远程操作。流程是需要先创建link也可以理解成要操作的对象，比如一个link是hdfs，一个link是mysql，有了link后需要创建job，创建job需阅读全文

posted @ 2019-01-11 13:34 Byron_NG 阅读(5267) 评论(0) 推荐(1)

使用pandas导入csv文件到MySQL

摘要：之前尝试过用命令行来解决csv文件导入到MySQL这个问题，没想到一直没有成功。之后会继续更新的吧，现在先用pandas来解决这个问题，虽然会复杂一点，但至少能用。例子是导入movielens的rating数据，如下： 1. 创建表格 2. pandas 操作下列操作如遇到no module，请阅读全文

posted @ 2019-01-10 16:26 Byron_NG 阅读(4517) 评论(0) 推荐(0)

在ubuntu server上搭建Hadoop

摘要：1. Java安装： Because everything work with java. 安装之后，可以查看java的版本信息： 2. 创建Group 我们将会创建一个group，并配置这个group的权限，之后将user加到这个group之中。在下列程序中是group name，是该grou 阅读全文

posted @ 2018-10-27 22:01 Byron_NG 阅读(1440) 评论(0) 推荐(0)

Mac OS利用ssh访问ubuntu虚拟机及云端操作

摘要：1、桥接模式将该虚拟机的网口设置成桥接模式(Bridged Adapter)，以确保主机可以ping通虚拟机： 2、安装ssh 在ubuntu虚拟机上安装ssh server：安装结束后，确认本机ssh服务是否打开，输入如果看到sshd说明ssh服务已经打开了，如果没有sshd，可以输入以下命阅读全文

posted @ 2018-10-25 22:58 Byron_NG 阅读(4893) 评论(1) 推荐(1)

[Leetcode]找到出现不同次数的数字（通用解法）

摘要：今天在leetcode上遇到了 "137. Single Number II" 这道题：给定一个非空整数数组，除了某个元素只出现一次以外，其余每个元素均出现了三次。找出那个只出现了一次的元素。(Given a non empty array of integers, every element a 阅读全文

posted @ 2018-07-17 15:57 Byron_NG 阅读(3658) 评论(2) 推荐(0)

LightGBM 调参方法（具体操作）

摘要：鄙人调参新手，最近用lightGBM有点猛，无奈在各大博客之间找不到具体的调参方法，于是将自己的调参notebook打印成markdown出来，希望可以跟大家互相学习。其实，对于基于决策树的模型，调参的方法都是大同小异。一般都需要如下步骤： 1. 首先选择较高的学习率，大概0.1附近，这样是为了加阅读全文

posted @ 2018-07-13 20:56 Byron_NG 阅读(64554) 评论(4) 推荐(7)

用Anaconda安装本地python包

摘要：Anaconda确实带来了很多方便，但是之前也过多的依赖了conda自带的一键下载python包的功能。这不，这几天突然要用FastFM这个包，无奈conda里没有，于是只能从github下载下来，实现本地安装。以下是手动下载和安装步骤：一、从GitHub上下载：选择，里面会看到一系列版本的阅读全文

posted @ 2018-06-25 17:50 Byron_NG 阅读(31608) 评论(0) 推荐(1)

Byron NG

随笔分类 - Solution

公告