2017年9月26日

build jar(sbt)

摘要： project 中遇到 example: .sbt .sh 阅读全文

posted @ 2017-09-26 23:14 satyrs 阅读(147) 评论(0) 推荐(0)

basic spark or spark essentials-01(notes)

摘要： parallelized,lazily transform,cache(),actions 算子 算子是RDD中定义的函数，可以对RDD中的数据进行转换和操作。数据转化为Spark中的数据块，RDD就是一组分区，物理上是元数据结构存储映射关系，物理对应一个block。通过BlockManager进行 阅读全文

posted @ 2017-09-26 23:00 satyrs 阅读(150) 评论(0) 推荐(0)

trouble shooting(ubuntu\mac,os,shell,command line always to be continue)

摘要： login screen: sudo gpasswd -d $USER nopasswdlogin (just don't need pass for login screen)root pass: https://www.youtube.com/watch?v=5GeVMDQsDpcblack s 阅读全文

posted @ 2017-09-26 21:53 satyrs 阅读(188) 评论(0) 推荐(0)

Spark+Kafka(project)

摘要： 地址 ：https://github.com/yuqingwang15/kafka-spark 案例实时统计每秒中男女生购物人数，因此针对每条购物日志，我们只需要获取gender即可，然后发送给Kafka，接下来Spark Streaming再接收gender进行处理。 1 应用程序将购物日志发送给 阅读全文

posted @ 2017-09-26 14:33 satyrs 阅读(593) 评论(0) 推荐(0)

build jar(intellij)

摘要： File->Project Structure Artifacts->绿色加号->Jar->From moduleswith dependencies... Main Class->Search by Name->Apply->OK 其他选项都删除，只保留了Name.jar以及Name compil 阅读全文

posted @ 2017-09-26 10:21 satyrs 阅读(248) 评论(0) 推荐(0)

导航