Programing for joy

摘要： 使用vpn连接校网：1.绑定静态ip地址http://service.chinasinew.com/2.安装vpn，下源码包http://www.cc98.org/dispbbs.asp?boardID=212&ID=2323871&page=13.配置帐号密码，或用以下脚本http://pan.b... 阅读全文

摘要： 参考博文http://bluegemyf.blog.163.com/blog/static/11816340201310472751513/ 1、安装必要的开发包 sudo apt-get install yum gawk g++ automake1.11 autoconf2.64 2、下载phddns-2.0.2.16556.tar.gz到某一个目录 wget http:/... 阅读全文

摘要： 1.Prepare Hadoop Streaming Hadoop streaming allows you to create and run Map/Reduce jobs with any executable or script as the mapper and/or the reducer. 1.1.Download Hadoop Streaming fit for your ha... 阅读全文

摘要： 1.Environment Ubuntu 12.04 x86_64 Vivado 2013.4 SDK 2013.4 2.Pre-requisites 2.1 CodeSourcery arm-gcc toolchain lite 32-bit compatible git clone https://github.com/xupsh/CodeSourcery.git echo... 阅读全文

摘要： 1.zybo cluster 架构简述： 1.1 zybo cluster 包含5块zybo 开发板组成一个集群，zybo的boot文件为digilent zybo reference design提供的启动文件，文件系统采用arm ubuntu。ip地址自上而下为192.168.1.1~5，hostname自上而下为spark1~5，另外由于sdka写入速度为2.3Mps，因而每个zybo卡另... 阅读全文

摘要： 编译内核配置脚本： #!/bin/bash export CCOMPILER=arm-xilinx-linux-gnueabi-gccexport ARCH=armexport CROSS_COMPILE=arm-xilinx-linux-gnueabi-export PATH=$PATH:/root/CodeSourcery/bin/内核配置备份：1. v4l2+ttyusb kernel ... 阅读全文

摘要： apt-get install qemu-user-static qemu-system mkdir qemu-ubuntu qemu-debootstrap --arch=armhf trusty qemu-ubuntu cp `which qemu-arm-static` qemu-ubuntu/usr/bin/ chroot qemu-ubuntu/ vi /etc/i... 阅读全文

摘要： 把Tachyon层加入spark和hadoop之间，以加速集群 官网：http://tachyon-project.org/ github：https://github.com/amplab/tachyon/releases （1）准备工作： wget http://tachyon-project.org/downloads/tachyon-0.4.1-bin.tar.gz tar... 阅读全文

摘要： 1.配置环境说明 spark:5台zybo板，192.168.1.1master，其它4台为slave hadoop：192.168.1.1（外接SanDisk ) 2.单节点hadoop测试： 如果出现内存不足情况如下： 查看当前虚拟内存容量： free -m cd /mnt mkdir swap cd swap/ 创建一个swap文件 dd... 阅读全文

摘要： 还没有修改hosts，请先按前文修改。 还没安装java的，请按照前文配置。 （1）增加用户并设立公钥： sudo addgroup hadoop sudo adduser --ingroup hadoop hduser su - hduser cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys ssh local... 阅读全文