资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

spark如何实现parquetfile的写操作

小编给大家分享一下spark如何实现parquetfile的写操作,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!

创新互联是一家专业提供西华企业网站建设,专注与成都网站建设、成都网站制作、H5网站设计、小程序制作等业务。10年已为西华众多企业、政府机构等服务。创新互联专业网络公司优惠进行中。

parquetfile的写

case class ParquetFormat(usr_id:BigInt , install_ids:String )
val appRdd=sc.textFile("hdfs://").map(_.split("\t")).map(r=>ParquetFormat(r(0).toLong,r(1)))
sqlContext.createDataFrame(appRdd).repartition(1).write.parquet("hdfs://")

看完了这篇文章,相信你对“spark如何实现parquetfile的写操作”有了一定的了解,如果想了解更多相关知识,欢迎关注创新互联行业资讯频道,感谢各位的阅读!


网页标题:spark如何实现parquetfile的写操作
URL标题:http://www.cdkjz.cn/article/piodgo.html
十二年 建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

业务热线:400-028-6601 / 大客户专线   成都:13518219792   座机:028-86922220