本文共 1932 字，大约阅读时间需要 6 分钟。

Pandas数据分析实用指南

前言

Pandas 是进行数据分析的利器，尤其在数据查询和统计方面表现尤为突出。了解如何高效操作 Pandas 可以极大地提升数据处理效率。本文将从数据筛选、统计分析、排序、聚合等方面，带你掌握 Pandas 的核心操作。

数据筛选查询

数据筛选是数据分析的基础操作之一。Pandas 提供了多种方法来实现数据筛选。

通过列名索引筛选数据

• 使用 df['column'] 可以直接筛选特定列的数据。
• 例如，df['name'] 会筛选出 'name' 列的内容。
• 要筛选多列，可以使用列表形式：df[['age', 'gender']]。

通过位置索引筛选数据

• Pandas 支持位置索引，df.iloc 可以通过行号和列号进行精确定位。
• df.iloc[0] 获取第一行数据，df.iloc[0:2] 获取前两行。

通过布尔索引筛选数据

• 布尔索引可以根据条件筛选行数据。
• 例如，df[df['age'] >= 20] 会筛选出年龄大于等于 20 的记录。
• df[df['gender'] == 'F'] 则筛选出性别为女性的数据。

数据统计分析

Pandas 提供丰富的统计功能，方便进行数据分析。

描述性统计分析

• df.describe() 提供数值型数据的基本统计信息。
• df.count() 统计每列的非空值数量。
• df.mean() 计算各列的平均值。
• df.var() 和 df.std() 分别计算方差和标准差。

分组统计分析

• 按性别分组统计年龄均值：df.groupby('gender')['age'].mean()。
• 同时按照性别和年龄分组，统计人数：df.groupby(['gender', 'age'])['name'].count()。

交叉表分析

• 使用 pd.crosstab() 构造交叉表，统计不同性别和年龄的人数。

数据排序

Pandas 提供了便捷的排序功能。

按某列数据升序排列

• df.sort_values(by='age') 根据 'age' 列进行升序排列。

按某列数据降序排列

• df.sort_values(by='age', ascending=False) 根据 'age' 列进行降序排列。

数据聚合

Pandas 提供了多种聚合函数，适合对数据进行汇总操作。

对整个 DataFrame 进行聚合

• 例如，df.aggregate([sum, 'mean', 'median', max, min]) 可以同时计算多个聚合函数。

对某列数据进行聚合

• df['age'].mean() 计算年龄平均值。
• df['age'].sum() 计算年龄总和。
• df['age'].max() 获取年龄最大值。

处理缺失数据

在实际数据中，缺失值不可避免。Pandas 提供了丰富的处理方法。

判断数据是否为缺失值

• df.isnull() 返回一个布尔型 DataFrame，标记出缺失值的位置。

删除缺失值所在的行或列

• 删除含有缺失值的行：df.dropna()。
• 删除含有缺失值的列：df.dropna(axis=1)。

用指定值填充缺失值

• df.fillna(0) 将缺失值替换为 0。

数据去重

去重操作可以帮助你清理数据中的重复记录。

对 DataFrame 去重

• df.drop_duplicates() 默认按所有列去重。
• df.drop_duplicates(subset=['name', 'age']) 可以指定只按特定列去重。

对 Series 去重

• df['name'].drop_duplicates() 去重 'name' 列。

数据合并

数据合并是处理多个数据集的重要操作。

横向（按列）合并 DataFrame

• 使用 pd.concat([df, other_df], axis=1) 按列合并两个 DataFrame。

纵向（按行）合并 DataFrame

• 使用 pd.concat([df, other_df], axis=0) 按行合并两个 DataFrame。

数据透视表

构造数据透视表可以直观地展示数据分布情况。

创建数据透视表

• pd.pivot_table(df, values='name', index='gender', columns='age', aggfunc='count') 会以 'gender' 为行、'age' 为列，统计 'name' 的数量。

完结

通过本文的内容，你应该已经掌握了 Pandas 在数据筛选、统计分析、排序、聚合、缺失处理、去重和合并等方面的核心操作。只要熟练练习这些命令，你将能在数据分析中事半功倍！

转载地址：http://vdofk.baihongyu.com/