博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop概念学习系列之为什么hadoop/spark执行作业时,输出路径必须要不存在?(三十九)...
阅读量:6978 次
发布时间:2019-06-27

本文共 237 字,大约阅读时间需要 1 分钟。

  很多人只会,但没深入体会和想为什么要这样?

  拿Hadoop来说,当然,spark也一样的道理。

  输出路径由Hadoop自己创建,实际的结果文件遵守part-nnnn的约定。

  如何指定一个已有目录作为Hadoop作业的输出路径,作业将无法进行,并会抛出异常抗议一个已经存在的目录。如果想让Hadoop将输出存储到一个目录,它必须是不存的目录。其实,我们可以把这个特点当做Hadoop的一种安全机制,它可以防止Hadoop重写有用的文件以及用户总是忘记弄清的事。

 

转载地址:http://thupl.baihongyu.com/

你可能感兴趣的文章
《深入java虚拟机》读书笔记类加载
查看>>
深入浅出JVM的锁优化案例
查看>>
LSTM神经网络
查看>>
Litmus代码质量平台实践总结
查看>>
[译] Don’t call me, I’ll call you:使用 Redux-Saga 管理 React 应用中的异步 action (上)...
查看>>
React Native开源项目如何运行(附一波开源项目)
查看>>
js 创建一条通用链表
查看>>
Webpack 核心开发者 Sean Larkin 盛赞 Vue
查看>>
七牛云内容审核服务被选为「上海首批人工智能创新产品」
查看>>
总结PHP 7新增加的特性
查看>>
【刷算法】LeetCode- 两数之和
查看>>
与HTTP关系密切的协议:IP、TCP、DNS
查看>>
pwa+webpack,初探与踩坑
查看>>
x-http-wrapper: 如何解决每次发版时,修改http相关代码造成的错误!(Android、iOS、h5)...
查看>>
java/android 设计模式学习笔记(1)--- 单例模式
查看>>
Python 代码规范
查看>>
Python 之 pip拒绝访问
查看>>
cglib代理的使用
查看>>
Format specifies type 'id' but the argument has type 'NSError *__autoreleasing *
查看>>
[译] JWT 与 Spring Cloud 微服务
查看>>