spark 小技巧

1、在任务中配置log的级别 ```python conf = SparkConf()..s

阅读全文>> 2018年8月17日      编辑     阅读量:160

spark streaming 判断是否为空rdd

在spark streaming中,传进了的DStream有可能是空RDD,如果继续用foreachRDD的

阅读全文>> 2018年8月17日      编辑     阅读量:430

pykafla的文档

``` 可以检索的文档:http://pykafka.readthedocs.io/en/la

阅读全文>> 2018年8月17日      编辑     阅读量:168

cygin安装使用

在windows系统中,如果要使用一些linux下的命令,cygwin是极好的。 安装步骤:

阅读全文>> 2018年8月16日      编辑     阅读量:186

Spark Shuffle FetchFailedException解决方案

``` 在大规模数据处理中,这是个比较常见的错误。 报错提示 SparkSQL shuff

阅读全文>> 2018年8月16日      编辑     阅读量:165

virtualenv使用

virtualenv就是用来为一个应用创建一套“隔离”的Python运行环境。 首先,我们用pip安装

阅读全文>> 2018年8月16日      编辑     阅读量:123

spark streaming 与kafka整合

在directStream模式时,Streaming将会创建和Kafka分区一样的RDD分区个数,而且会从K

阅读全文>> 2018年8月16日      编辑     阅读量:215

redis资料

一些可能用得着的redis资料

阅读全文>> 2018年8月16日      编辑     阅读量:145

expect使用说明

expect语法 教程 自动登陆 脚本

阅读全文>> 2018年8月16日      编辑     阅读量:173
Github
知乎
菜鸟教程
leetcode
博客园
CSDN博客
易百教程
51TO
简书
stackoverflow
CSDN
开源中国
Dev Store
慧都大数据
伯乐在线
Copyright © 2006-2016 caitinggui(caitinggui@qq.com).All Rights Reserved
粤ICP备16122044号
联系我