Tag: spark csv

使用spark-csv编写单个CSV文件

我正在使用https://github.com/databricks/spark-csv ，我想写一个单一的CSV，但不能够，它正在做一个文件夹。 需要一个带path和文件名参数的scala函数，并写入该CSV文件。

如何在Spark Dataframe中显示完整的列内容？

我正在使用spark-csv将数据加载到DataFrame中。 我想做一个简单的查询并显示内容： val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv") df.registerTempTable("tasks") results = sqlContext.sql("select col from tasks"); results.show() col似乎被截断了： scala> results.show(); +——————–+ | col| +——————–+ |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-06 07:15:…| |2015-11-16 […]