spark streaming 判断是否为空rdd

在spark streaming中,传进了的DStream有可能是空RDD,如果继续用foreachRDD的

阅读全文>> 2018年10月19日      编辑     阅读量:519

spark 小技巧

1、在任务中配置log的级别 ```python conf = SparkConf()..s

阅读全文>> 2018年10月19日      编辑     阅读量:165

运行spark的几种方式及示例

首先,spark集群要配置完成。 一、以yarn client的模式运行1、shell运行

阅读全文>> 2018年10月19日      编辑     阅读量:330

Spark常见问题汇总

1 、AttributeError: 'builtin_function_or_method' obje

阅读全文>> 2018年10月19日      编辑     阅读量:419

kafka详解

现代的互联网分布式系统,只要稍微大一些,就一定逃不开3类中间件:远程调用(RPC)框架、消息队列、数据库访问

阅读全文>> 2018年10月19日      编辑     阅读量:424

将vim打造为好用python IDE

本篇说明如果将vim改造成适用于python的IDE,包括vim的常规配置以及一些插件,要求vim版本大于7

阅读全文>> 2018年10月19日      编辑     阅读量:1502

spark sql的缓存方式

spark, sparkSQL, cache, 缓存

阅读全文>> 2018年10月19日      编辑     阅读量:369

NERDTree快捷常用快捷键

```切换工作台和目录ctrl + w + h 光标 focus 左侧树形目录ct

阅读全文>> 2018年10月19日      编辑     阅读量:105

hbase用法以及资料

使用python连接hbase可以使用happybase这个库,基本用法是```# 1、开启hb

阅读全文>> 2018年10月19日      编辑     阅读量:750
Github
知乎
菜鸟教程
leetcode
博客园
CSDN博客
易百教程
51TO
简书
stackoverflow
CSDN
开源中国
Dev Store
慧都大数据
伯乐在线
Copyright © 2006-2016 caitinggui(caitinggui@qq.com).All Rights Reserved
粤ICP备16122044号
联系我