首页 › AI 与数据分析 › Pandas 教程

数据清洗

Pandas 教程 · 第 4 章 · 8 次浏览

真实数据又脏又乱：缺值、重复、类型错、异常值。清洗是数据分析最耗时的一步，Pandas 提供了成套工具。

常见清洗

  • 缺失：df.isnull() 找、fillna() 补、dropna() 删
  • 重复：df.duplicated() 查、drop_duplicates() 删
  • 类型：astype() 转类型
  • 重命名：rename(columns={"旧": "新"})
  • 异常：按业务规则过滤

代码示例

import pandas as pd
import numpy as np

df = pd.DataFrame({
    "name": ["张三", "李四", "张三", None, "王五"],
    "age": [25, 30, 25, 40, None],
    "salary": [8000, None, 8000, 12000, 6000],
})

# 缺失值
print("缺失统计:\n", df.isnull().sum())
df["age"] = df["age"].fillna(df["age"].median())   # 用中位数补
df = df.dropna(subset=["name"])                    # 名字为空的行删掉

# 重复值
print("重复行:", df.duplicated().sum())
df = df.drop_duplicates()                          # 删重复

# 类型转换
df["salary"] = df["salary"].astype("Int64")        # 可空整数

print(df)
📚 Python 语法速查
常用条目速查，完整版见对应教程章节。可复制代码到在线运行中测试。
写法 / 语法作用
print("hello")输出到控制台
name = "张三"变量赋值（无需声明类型）
if x > 0: ...条件判断（注意冒号和缩进）
for i in range(10): ...循环（缩进是语法的一部分）
while x < 10: ...条件循环
def fn(a, b): return a + b定义函数
class Person: ...定义类
list = [1, 2, 3]列表（可改）
tuple = (1, 2)元组（不可改）
dict = {"key": "value"}字典（键值对）
set = {1, 2, 3}集合（去重）
len(obj)取长度
str(x) / int(x) / float(x)类型转换
s.split(",")字符串按分隔符拆分
" ".join(list)列表拼接成字符串
import os导入模块
from math import sqrt从模块导入指定函数
try: ... except Exception as e: ...异常捕获
with open("a.txt", "r") as f: ...文件读取（自动关闭）
f"你好 {name}"f-string 格式化
lambda x: x * 2匿名函数
list(map(fn, arr))函数式处理列表
range(start, stop, step)生成数字序列
if __name__ == "__main__":主入口判断
pip install 包名安装第三方包（命令行）
📖 延伸阅读