Tag: 数据框

如何在Spark Dataframe中显示完整的列内容？: 我正在使用spark-csv将数据加载到DataFrame中。我想做一个简单的查询并显示内容： val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv") df.registerTempTable("tasks") results = sqlContext.sql("select col from tasks"); results.show() col似乎被截断了： scala> results.show(); +——————–+ | col| +——————–+ |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-06 07:15:…| |2015-11-16 […]

R：将行添加到空数据框时丢失列名称: 我只是从R开始，遇到了一个奇怪的行为：当在一个空的数据框中插入第一行时，原来的列名会丢失。例： a<-data.frame(one = numeric(0), two = numeric(0)) a #[1] one two #<0 rows> (or 0-length row.names) names(a) #[1] "one" "two" a<-rbind(a, c(5,6)) a # X5 X6 #1 5 6 names(a) #[1] "X5" "X6" 正如你所看到的，列名称1和2被X5和X6取代。有人可以告诉我为什么发生这种情况，有没有一个正确的方法来做到这一点，而不会丢失列名？猎枪解决scheme将保存在一个辅助向量中的名称，然后在dataframe上完成工作后将其添加回来。谢谢语境：我创build了一个收集一些数据的函数，并将它们作为一个新行添加到作为参数接收的dataframe中。我创build数据框，遍历数据源，将data.frame传递给每个函数调用以填充其结果。

将一行dataframe转换为向量: 我想从一行数据框中创build一个向量。但我不想排名和列名。我尝试了几件事情，但没有运气。这是我的数据框架： > df <- data.frame(a=c(1,2,4,2),b=c(2,6,2,1),c=c(2.6,8.2,7.5,3)) > df abc 1 1 2 2.6 2 2 6 8.2 3 4 2 7.5 4 2 1 3.0 我试过了： > newV <- as.vector(df[1,]) > newV abc 1 1 2 2.6 但我真的很想看到这样的东西： > newV <- c( 1,2,2.6) > newV [1] 1.0 2.0 2.6 任何帮助，非常感谢。

Pythonpandas：逐行填充dataframe: 将一行添加到pandas.DataFrame对象的简单任务似乎很难完成。有3个与此相关的stackoverflow问题，没有一个给出了一个工作的答案。这是我想要做的。我有一个DataFrame我已经知道的形状以及行和列的名称。 >>> df = pandas.DataFrame(columns=['a','b','c','d'], index=['x','y','z']) >>> df abcd x NaN NaN NaN NaN y NaN NaN NaN NaN z NaN NaN NaN NaN 现在，我有一个函数来迭代计算行的值。我怎样才能用字典或pandas.Series来填充其中pandas.Series呢？以下是各种失败的尝试： >>> y = {'a':1, 'b':5, 'c':2, 'd':3} >>> df['y'] = y AssertionError: Length of values does not match length of index 显然它试图添加一列而不是一行。 >>> y = […]

Python pandas dataframe：检索列数: 如何以编程方式检索pandas数据框中的列数？我希望有这样的东西： df.num_columns

从pythonpandas的列名检索列索引: 在R中，当您需要根据列的名称检索列索引时，您可以执行此操作 idx <- which(names(my_data)==my_colum_name) 有没有办法与pandas数据框一样？

Pandas Dataframe / Numpy Array“轴”定义中的歧义: 我很困惑如何定义python轴，以及它们是否引用DataFrame的行或列。考虑下面的代码： >>> df = pd.DataFrame([[1, 1, 1, 1], [2, 2, 2, 2], [3, 3, 3, 3]], columns=["col1", "col2", "col3", "col4"]) >>> df col1 col2 col3 col4 0 1 1 1 1 1 2 2 2 2 2 3 3 3 3 所以如果我们调用df.mean(axis=1) ，我们将在行之间得到一个平均值： >>> df.mean(axis=1) 0 1 1 2 2 3 但是，如果我们调用df.drop(name, axis=1) ，我们实际上删除了一列而不是一行： […]

如何获得pandasDataFrame的第一列作为一个系列？: 我试过了： x=pandas.DataFrame(…) s = x.take([0], axis=1) 和s得到一个DataFrame，而不是一个系列。

如何定义DataFrame的分区？: 我已经开始在Spark 1.4.0中使用Spark SQL和DataFrame。我想要在Scala中的DataFrames上定义一个自定义分区，但没有看到如何做到这一点。我正在处理的其中一个数据表包含一个交易清单，按照以下示例，帐户silimar。 Account Date Type Amount 1001 2014-04-01 Purchase 100.00 1001 2014-04-01 Purchase 50.00 1001 2014-04-05 Purchase 70.00 1001 2014-04-01 Payment -150.00 1002 2014-04-01 Purchase 80.00 1002 2014-04-02 Purchase 22.00 1002 2014-04-04 Payment -120.00 1002 2014-04-04 Purchase 60.00 1003 2014-04-02 Purchase 210.00 1003 2014-04-03 Purchase 15.00 至less在最初，大部分计算将发生在账户内的交易之间。所以我想分区的数据，以便一个帐户的所有交易在同一个Spark分区。但我没有看到一个方法来定义这个。 DataFrame类有一个名为“repartition（Int）”的方法，您可以在其中指定要创build的分区数。但是我没有看到任何可用于为DataFrame定义定制分区的方法，例如可以为RDD指定的方法。源数据存储在Parquet中。 […]

从variables中的值构造pandas DataFrame: 这可能是一个简单的问题，但我不知道如何做到这一点。可以说，我有两个variables如下。 a = 2 b = 3 我想从这个构造一个DataFrame： df2 = pd.DataFrame({'A':a,'B':b}) 这会产生一个错误： ValueError：如果使用所有标量值，则必须传递一个索引我也试过这个： df2 = (pd.DataFrame({'a':a,'b':b})).reset_index() 这给出了相同的错误信息。