Tag: python

如何更改pyspark中的数据框列名？

我来自pandas的背景，习惯于从CSV文件中读取数据到数据框中，然后使用简单的命令简单地将列名更改为有用的东西： df.columns = new_column_name_list 但是，在使用sqlContext创build的pyspark数据框中不起作用。 我可以想出的唯一解决scheme就是： df = sqlContext.read.format("com.databricks.spark.csv").options(header='false', inferschema='true', delimiter='\t').load("data.txt") oldSchema = df.schema for i,k in enumerate(oldSchema.fields): k.name = new_column_name_list[i] df = sqlContext.read.format("com.databricks.spark.csv").options(header='false', delimiter='\t').load("data.txt", schema=oldSchema) 这基本上定义了两次variables，首先推断模式，然后重命名列名，然后再次使用更新的模式加载数据框。 有没有比pandas更好更高效的方法来做到这一点？ 我的火花版本是1.5.0

Python中的+ =运算符是线程安全的吗？

我想为实验创build一个非线程安全的代码块，这些是2个线程将要调用的函数。 c = 0 def increment(): c += 1 def decrement(): c -= 1 这个代码线程安全吗？ 如果没有，我可以理解为什么它不是线程安全的，哪种语句通常会导致非线程安全的操作。 如果它是线程安全的，我怎样才能使它显式非线程安全？

格式/抑制来自Pythonpandas聚集结果的科学记数法

如何修改大pandasgroupby操作输出的格式，为大数生成科学记数法。 我知道如何在pythong中进行string格式化，但在这里应用它时，我感到茫然。 df1.groupby('dept')['data1'].sum() dept value1 1.192433e+08 value2 1.293066e+08 value3 1.077142e+08 这抑制了科学记数法，如果我转换为string，但现在我只是想知道如何string格式和添加小数。 sum_sales_dept.astype(str)

怪异的Try-Except-Else-最后的行为与Return语句

这是一些行为特殊的代码。 这是我写的行为的简化版本。 这仍然会显示出怪异的行为，并且为什么会出现这个问题我有一些具体的问题。 我在Windows 7上使用Python 2.6.6。 def demo1(): try: raise RuntimeError,"To Force Issue" except: return 1 else: return 2 finally: return 3 def demo2(): try: try: raise RuntimeError,"To Force Issue" except: return 1 else: return 2 finally: return 3 except: print 4 else: print 5 finally: print 6 if __name__ == "__main__": print "*** DEMO […]

一个lambda函数可以在Python中recursion调用吗？

一个普通的函数可以在其定义中包含对自身的调用，没有问题。 我不知道如何使用lambda函数来做到这一点，虽然简单的理由是，lambda函数没有名称可以返回。 有没有办法做到这一点？ 怎么样？

UnicodeDecodeError：'utf-8'编解码器无法解码字节

这是我的代码， for line in open('u.item'): #read each line 每当我运行这个代码，它会给出以下错误： UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 2892: invalid continuation byte 我试图解决这个问题，并在open（）中添加一个额外的参数，代码看起来像; for line in open('u.item', encoding='utf-8'): #read each line 但是它也会给出同样的错误。 那么我该怎么做！ 请帮忙。

DataFrame中的string，但是dtype是对象

为什么大pandas告诉我，我有对象，尽pipe选定列中的每个项目都是一个string – 即使在显式转换之后。 这是我的DataFrame： <class 'pandas.core.frame.DataFrame'> Int64Index: 56992 entries, 0 to 56991 Data columns (total 7 columns): id 56992 non-null values attr1 56992 non-null values attr2 56992 non-null values attr3 56992 non-null values attr4 56992 non-null values attr5 56992 non-null values attr6 56992 non-null values dtypes: int64(2), object(5) 其中五个是dtype object 。 我明确地将这些对象转换为string： for c in […]

多分配语义

在Python中，可以这样做： a, b = 1, 2 (a, b) = 1, 2 [a, b] = 1, 2 我用dis检查了生成的字节码，它们是相同的。 那么为什么要允许这个呢？ 我会需要其中的一个而不是其他的吗？

范围（）为浮动

是否有一个range()相当于在Python中的花车？ >>> range(0.5,5,1.5) [0, 1, 2, 3, 4] >>> range(0.5,5,0.5) Traceback (most recent call last): File "<pyshell#10>", line 1, in <module> range(0.5,5,0.5) ValueError: range() step argument must not be zero

什么是Python的最大浮点数？

我认为Python中的最大整数可以通过调用sys.maxint 。 Python中的最大float或long是多less？