Python - Pandas

Pandas 支持大部分 numpy 语言风格的数组计算。尽管代码风格相似，但最大的不同在于前者是用来处理表格或不同类型数据的，而后者更适合处理相同类型数据的。

数据结构

Series

Series 是一维数组的对象，包含 index 序列和 values 序列，分别可以通过对象的 index 和 values 属性获得。
通常需要创建一个index序列来标识每个数据点。如果不显式指定，那么默认 index 为从0到N-1，其中N为Series对象的长度。
index 可以用来索引数据，在这种意义上， Series 就像一个有序的字典。另外，可以通过字典直接生成 Series 对象。
pandas 用 NaN (not a number) 来标记缺失或NA值，用 isnull 和 notnull 函数来检查 Series 对象。同时， isnull 和 notnull 也是 Series 类的成员函数。

DataFrame

DataFrame 是二维数据表，既有行索引，又有列索引。可以通过属性 T 进行转置。每一列可以是不同的类型（数值、字符串、布尔值等）。
和 Series 类似， DataFrame 的 values 属性会将数据以二维ndarray形式返回。
虽然 DataFrame 是二维的，但是可以通过分层索引扩展到更高维度的数据。
在将列表或数组赋值给某一列时，列表或数组的长度必须和 DataFrame 对象的长度相等。将 Series 对象赋值给某一列时，其索引会按照 DataFrame 对象的索引重新排序，并用缺失值填充空缺位置。

索引对象

Pandas 中的索引对象是用于存储轴标签和其他元数据的。构建 Series 或 DataFrame 对象时所使用的数组或标签序列都可以在内部转换为索引对象。
索引对象是不可变的，不能修改。
索引对象的 is_unique 属性可以返回其标签是否唯一。

基本功能

成员函数 reindex : 重建索引。支持如下参数：
- index : 作为新索引的序列。
- level : 匹配 MultiIndex 级别的简单索引。
成员函数 drop : 删除行或列，参数为行或列索引列表。在删除列时，需要增加参数axis=1或axis='columns'。
成员函数 head() 返回前五行。
成员函数 set_index (参数可以为单个列名或多个列名的列表) 将选中的列转换为索引。
成员函数 filter(regex=KEYWORD) 可以通过正则表达式对列名进行过滤筛选，返回一个符合筛选条件的新 DataFrame 。
成员函数 apply 可以将函数应用到一列或一行的一维数组上。特别地，如果应用到行，除了函数作为参数外，还需要增加参数axis='columns'。另外，传递给apply的函数并不一定要返回一个标量值，也可以返回带有多个值的Series。
成员函数 applymap 可以将函数应用到每一个元素上。

成员函数 plot 可以直接调用 matplotlib 绘图。默认地，以索引作为x轴，各个数据列为y轴，列名作为图例名称。但是其行为可以定制。例如，

  df.plot(ax=AX, x=COL1_NAME, y=COL2_NAME, title=TITLE, xlabel=XLABEL, ylabel=YLABEL, grid=True/False, legend=True/False, linestyle=LINESTYLE, xlim=[XMIN, XMAX], ylim=[YMIN, YMAX])

成员函数 sort_index 可以按照行索引或列索引进行字典型排序，该方法返回一个新的排序好的 DataFrame 对象。
- 默认为按行排序。可以通过参数 axis=1 来按列排序。
- 默认为升序排序，可以通过参数 ascending=False 来降序排列。
成员函数 sort_values 可以根据值来对 Series 对象或者 DataFrame 对象排序。
- 对于 DataFrame 对象，可以通过将列名或列名列表作为参数传给可选参数 by 来根据一列或者多列的值排序。
DataFrame 对象可以通过行索引返回 Series 对象，如 DataFrame.loc['index_name'] 或 DataFrame.iloc['index'] 。
DataFrame 对象可以通过列索引返回 Series 对象，如 DataFrame.loc[:, 'index_name'] 或 DataFrame.iloc[:, 'index'] 或 DataFrame['column_name'] ，如果列名无效，那么会新建列。此外， DataFrame.column_name 也能达到相同目的，但仅当列名存在时才有效时。值得注意的是，索引的列是数据的视图，而不是拷贝。因此，对返回 Series 对象的修改会映射到 DataFrame 对象。如果需要复制，需要调用 Series 类的 copy 成员函数。
DataFrame 对象可以通过行列索引来返回单个标量值，如 DataFrame.at['row_index_name', 'column_index_name'] 或 DataFrame.iat['row_index, 'column_index'] 。

concat : 合并多个Series或DataFrame。例如，

  import pandas as pd

  df = pd.concat([df1, df2], axis=1)

计算统计

可选参数

参数	描述
`axis`	归约轴，0为行，1为列。
`skipna`	是否跳过NaN ，默认值为 `True` 。
`level`	如果是多层索引（MultiIndex），该参数可以降低索引层数。

汇总

方法	描述
`count`	非NaN值的个数
`describe`	Series对象或DataFrame对象各列的统计汇总。
`min/max`	最小/大值
`argmin/argmax`	最小/大值的索引
`idxmin/idxmax`
`quantile`	计算0到1之间的分位数。
`sum`	和
`mean`	均值
`prod`	积
`median`	中位数（0.5分位数）
`mad`
`var`	方差
`std`	标准差
`skew`
`kurt`
`cumsum`	累加值
`cummin/cummax`
`cumprod`	累积值
`diff`
`pct_change`	百分比

输入输出

read_csv

  import pandas as pd

  df = pd.read_csv(FILENAME, [skiprows=N], [names=[COL1, COL2, COL3, ...]], [index_col=[0, 1]])

to_csv