博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
记录一下SparkStreaming中因为使用redis做数据验证而导致数据结果不对的问题
阅读量:5943 次
发布时间:2019-06-19

本文共 278 字,大约阅读时间需要 1 分钟。

业务背景:

需要通过redis判断当前用户是否是新用户。当出现新用户后,会将该用户放入到redis中,以标明该用户已不是新用户啦。

 

出现问题:

发现入库时,并没有新用户入库,但我看了数据了,确实应该是有新数据

 

问题原因:

因为在判断新用户这一步是在flatmap这一步做的。

flatmap后的RDD,后边会被两个action使用。

问题是,因为是执行两次action时,flatmap也会执行两次。

而最终入库的代码是在第二个RDD中。结果就是永远不会存在最新用户啦

 

解决方案:

flatmap后,做一下cache,这样就不会多次执行flatmap

转载地址:http://akwxx.baihongyu.com/

你可能感兴趣的文章
3.1
查看>>
校验表单如何摆脱 if else ?
查看>>
JS敏感信息泄露:不容忽视的WEB漏洞
查看>>
分布式memcached服务器代理magent安装配置(CentOS6.6)
查看>>
Create Volume 操作(Part III) - 每天5分钟玩转 OpenStack(52)
查看>>
tomcat 8.0虚拟机配置文档
查看>>
pxc群集搭建
查看>>
JS中加载cssText延时
查看>>
常用的脚本编程知识点
查看>>
计算机网络术语总结4
查看>>
新手小白 python之路 Day3 (string 常用方法)
查看>>
soapUI的简单使用(webservice接口功能测试)
查看>>
框架 Hibernate
查看>>
python-while循环
查看>>
手机端上传图片及java后台接收和ajaxForm提交
查看>>
【MSDN 目录】C#编程指南、C#教程、ASP.NET参考、ASP.NET 4、.NET Framework类库
查看>>
jquery 怎么触发select的change事件
查看>>
angularjs指令(二)
查看>>
<气场>读书笔记
查看>>
领域驱动设计,构建简单的新闻系统,20分钟够吗?
查看>>