大pandasread_csv和用usecols过滤列

当我用pandas.read_csv过滤列并使用多个索引时,我有一个csv文件,它不能正确使用pandas.read_csv

 import pandas as pd csv = r"""dummy,date,loc,x bar,20090101,a,1 bar,20090102,a,3 bar,20090103,a,5 bar,20090101,b,1 bar,20090102,b,3 bar,20090103,b,5""" f = open('foo.csv', 'w') f.write(csv) f.close() df1 = pd.read_csv('foo.csv', index_col=["date", "loc"], usecols=["dummy", "date", "loc", "x"], parse_dates=["date"], header=0, names=["dummy", "date", "loc", "x"]) print df1 # Ignore the dummy columns df2 = pd.read_csv('foo.csv', index_col=["date", "loc"], usecols=["date", "loc", "x"], # <----------- Changed parse_dates=["date"], header=0, names=["dummy", "date", "loc", "x"]) print df2 

我期望df1和df2应该是相同的,除了缺less的虚拟列,但列错误标记。 此外date被parsing为一个date。

 In [118]: %run test.py dummy x date loc 2009-01-01 a bar 1 2009-01-02 a bar 3 2009-01-03 a bar 5 2009-01-01 b bar 1 2009-01-02 b bar 3 2009-01-03 b bar 5 date date loc a 1 20090101 3 20090102 5 20090103 b 1 20090101 3 20090102 5 20090103 

使用列号而不是名称给我同样的问题。 我可以通过在read_csv步骤之后删除虚拟列来解决问题,但是我试图了解发生了什么问题。 我正在使用pandas0.10.1。

编辑:修复坏头使用情况。

@chip的答案完全错过了两个关键字参数的观点。

  • 只有在没有标题的情况下才需要名称,并且您希望使用列名称而不是整数索引来指定其他参数。
  • usecols应该在将整个DataFrame读入内存之前提供一个filter; 如果使用得当,在阅读之后永远不需要删除列。

这个解决scheme纠正了这些怪事:

 import pandas as pd from StringIO import StringIO csv = r"""dummy,date,loc,x bar,20090101,a,1 bar,20090102,a,3 bar,20090103,a,5 bar,20090101,b,1 bar,20090102,b,3 bar,20090103,b,5""" df = pd.read_csv(StringIO(csv), header=0, index_col=["date", "loc"], usecols=["date", "loc", "x"], parse_dates=["date"]) 

这给了我们:

  x date loc 2009-01-01 a 1 2009-01-02 a 3 2009-01-03 a 5 2009-01-01 b 1 2009-01-02 b 3 2009-01-03 b 5 

这个代码实现了你想要的—也是奇怪的,当然是越野车:

我观察到,它的工作原理是:

a)你指定index_col rel。 到你真正使用的列数 – 所以在这个例子中,它的三列,而不是四列(你放下dummy并从此开始计数)

b)相同的parse_dates

c)对于usecols不是这样的;)由于明显的原因

d)在这里我调整了names来反映这种行为

 import pandas as pd from StringIO import StringIO csv = """dummy,date,loc,x bar,20090101,a,1 bar,20090102,a,3 bar,20090103,a,5 bar,20090101,b,1 bar,20090102,b,3 bar,20090103,b,5 """ df = pd.read_csv(StringIO(csv), index_col=[0,1], usecols=[1,2,3], parse_dates=[0], header=0, names=["date", "loc", "", "x"]) print df 

打印

  x date loc 2009-01-01 a 1 2009-01-02 a 3 2009-01-03 a 5 2009-01-01 b 1 2009-01-02 b 3 2009-01-03 b 5 

如果您的csv文件包含额外的数据,则可以在导入之后从DataFrame中删除列。

 import pandas as pd from StringIO import StringIO csv = r"""dummy,date,loc,x bar,20090101,a,1 bar,20090102,a,3 bar,20090103,a,5 bar,20090101,b,1 bar,20090102,b,3 bar,20090103,b,5""" df = pd.read_csv(StringIO(csv), index_col=["date", "loc"], usecols=["dummy", "date", "loc", "x"], parse_dates=["date"], header=0, names=["dummy", "date", "loc", "x"]) del df['dummy'] 

这给了我们:

  x date loc 2009-01-01 a 1 2009-01-02 a 3 2009-01-03 a 5 2009-01-01 b 1 2009-01-02 b 3 2009-01-03 b 5 

首先导入csv并使用csv.DictReader,它很容易处理…