使用flume的时出现的问题怎么解决

使用flume的时出现的问题怎么解决

这篇文章主要讲解了“使用flume的时出现的问题怎么解决”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“使用flume的时出现的问题怎么解决”吧!

问题:java.lang.NullPointerException: Expected timestamp

使用flume的时出现的问题怎么解决

sink是hdfs,然后使用目录自动生成功能。出现如题的错误,看官网文档说的是需要在每个文件记录行的开头需要有时间戳,但是时间戳的格式可能比较难调节,所以亦可设置hdfs.useLocalTimeStamp这个参数,比如以每个小时作为一个文件夹,那么配置应该是这样:

a1.sinks.k1.hdfs.path=hdfs://ubuntu:9000/flume/events/%y-%m-%d/%Ha1.sinks.k1.hdfs.filePrefix=events-a1.sinks.k1.hdfs.round=truea1.sinks.k1.hdfs.roundValue=1a1.sinks.k1.hdfs.roundUnit=houra1.sinks.k1.hdfs.useLocalTimeStamp=true

或者修改hdfs.timeZone这个参数使之可以和我们上传的log文件的日期格式一样应该就可以了,没有测试过。

感谢各位的阅读,以上就是“使用flume的时出现的问题怎么解决”的内容了,经过本文的学习后,相信大家对使用flume的时出现的问题怎么解决这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是恰卡编程网,小编将为大家推送更多相关知识点的文章,欢迎关注!

发布于 2021-12-23 21:20:30
收藏
分享
海报
0 条评论
53
上一篇:linux如何解决tomcat无法关闭问题 下一篇:MapReduce的输出格式是怎样的
目录

    0 条评论

    本站已关闭游客评论,请登录或者注册后再评论吧~

    忘记密码?

    图形验证码