Claude Code数据分析全链路实战：从50万行CSV到六维报表

mkdir claude-data-analysis && cd claude-data-analysis

claude

/init

# Data Analysis Preferences

## Environment
- Python package manager: uv
- Preferred packages: pandas, numpy, matplotlib, seaborn, openpyxl, scipy, statsmodels
- Chart style: seaborn darkgrid theme, professional color palette
- Output directory: ./output/

## Data Analysis Rules
- Always write Python scripts, not one-liners
- Save all charts as PNG at 150 DPI to ./output/charts/
- Generate multi-sheet Excel workbooks using openpyxl
- Include a QA/reconciliation sheet in every workbook
- Never estimate numbers from pattern matching — always compute from actual data
- Use chunked processing for files over 100MB

用UV创建一个虚拟环境，安装pandas、matplotlib、seaborn、openpyxl、scipy、statsmodels、scikit-learn

uv venv
source .venv/bin/activate
uv pip install pandas matplotlib seaborn openpyxl scipy statsmodels scikit-learn

下载UCI Online Retail数据集（https://archive.ics.uci.edu/ml/machine-learning-databases/00352/Online%20Retail.xlsx）到当前目录，用pandas加载它，输出基本信息：行数、列名、数据类型、缺失值统计、前5行样本

import pandas as pd

df = pd.read_csv("Online Retail.csv", encoding="latin-1")

print(f"数据形状: {df.shape}")
print(f"\n列名: {list(df.columns)}")
print(f"\n数据类型:\n{df.dtypes}")
print(f"\n缺失值统计:\n{df.isnull().sum()}")
print(f"\n前5行:\n{df.head()}")

数据形状: (541909, 8)

缺失值统计:
InvoiceNo           0
StockCode           0
Description      1454
Quantity            0
InvoiceDate         0
UnitPrice           0
CustomerID     135080
Country             0

对这个零售数据集执行完整的探索性数据分析。告诉我：
1. 哪些列有数据质量问题（缺失值、异常值、类型错误）？
2. 哪些特征可能影响销售额？
3. 应该优先创建哪些可视化图表？
4. 这份数据能回答哪些业务问题？
在回答之前，先写Python代码加载文件，执行计算，再从输出结果中总结。不要猜测数字。

清洗这个数据集，但不要丢弃退货和取消订单。要求：
1. 新增 IsCancellation 列：标记InvoiceNo以'C'开头或Quantity为负的行
2. 新增 LineTotal 列：Quantity × UnitPrice
3. 新增 GrossLineTotal 列：非取消订单的LineTotal，否则为0
4. 新增 ReturnLineTotal 列：取消订单的LineTotal绝对值，否则为0
5. 处理Description缺失值（填充为"UNKNOWN"）
6. 确保InvoiceDate为datetime类型
输出清洗前后的行数对比和每列的缺失值统计

def clean_retail_data(df: pd.DataFrame) -> pd.DataFrame:
    # 标记取消订单
    df['IsCancellation'] = (
        df['InvoiceNo'].str.startswith('C', na=False) |
        (df['Quantity'] < 0)
    )

    # 计算行总计
    df['LineTotal'] = df['Quantity'] * df['UnitPrice']
    df['GrossLineTotal'] = df['LineTotal'].where(~df['IsCancellation'], 0)
    df['ReturnLineTotal'] = df['LineTotal'].abs().where(df['IsCancellation'], 0)

    # 填充缺失描述
    df['Description'] = df['Description'].fillna('UNKNOWN')

    # 确保日期类型
    df['InvoiceDate'] = pd.to_datetime(df['InvoiceDate'])

    return df

# 自动分块处理
chunks = pd.read_csv('huge_file.csv', chunksize=50000)
results = []
for chunk in chunks:
    processed = process_chunk(chunk)
    results.append(processed)
df = pd.concat(results)

使用matplotlib和seaborn生成以下图表：
1. 月度销售额趋势折线图（区分毛收入和退货）
2. Top 10产品柱状图（按收入排名，标注退货率）
3. 客户生命周期价值分布直方图（含KDE曲线）
4. 国家/地区收入占比饼图（Top 8 + Others）
使用深色主题，添加适当的标签和标题，每张图保存为PNG到./output/charts/目录

用Plotly生成一个交互式散点图：X轴为订单数量，Y轴为平均订单金额，气泡大小为客户生命周期价值，悬停显示客户ID和国家。保存为HTML文件。

对plan_type和churn之间进行卡方独立性检验。结果包含：卡方统计量、p值、自由度。
然后为非技术利益相关者解释：
- 我们是否应该按套餐类型制定不同的留存策略？
- 除了统计显著性，实际业务意义是什么？
- 样本量或混杂因素可能如何影响结论？

from scipy import stats

contingency = pd.crosstab(df['plan_type'], df['churn'])
chi2, p_value, dof, expected = stats.chi2_contingency(contingency)

print(f"卡方统计量: {chi2:.4f}")
print(f"p值: {p_value:.6f}")
print(f"自由度: {dof}")

# retail_report.py
import argparse
import pandas as pd

def generate_report(input_path, output_path, top_n=10, freq='M', 
                    start_date=None, end_date=None):
    """参数化零售报表生成器"""
    df = pd.read_csv(input_path)
    df = clean_retail_data(df)

    # 日期过滤
    if start_date:
        df = df[df['InvoiceDate'] >= start_date]
    if end_date:
        df = df[df['InvoiceDate'] <= end_date]

    # 生成六个工作表
    with pd.ExcelWriter(output_path, engine='openpyxl') as writer:
        generate_kpi_sheet(df, writer)
        generate_top_products(df, writer, top_n=top_n)
        generate_top_customers(df, writer)
        generate_sales_over_time(df, writer, freq=freq)
        generate_country_breakdown(df, writer)
        generate_qa_reconciliation(df, writer)  # 关键：交叉验证

if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--input', required=True)
    parser.add_argument('--output', default='./output/retail_report.xlsx')
    parser.add_argument('--top_n', type=int, default=10)
    parser.add_argument('--freq', choices=['W', 'M', 'Q'], default='M')
    parser.add_argument('--start_date', type=str, default=None)
    parser.add_argument('--end_date', type=str, default=None)
    args = parser.parse_args()
    generate_report(args.input, args.output, args.top_n, 
                    args.freq, args.start_date, args.end_date)

python retail_report.py --input Online_Retail.csv --top_n 15 --freq W --start_date 2011-01-01

uv pip install marimo
marimo edit analysis_notebook.py

将刚才的数据分析脚本转换为Marimo notebook，每个分析步骤对应一个cell。确保cell之间的依赖关系正确。

创建以下文件结构：
- src/data_loader.py：数据加载和清洗函数
- src/analysis.py：统计分析和特征工程函数  
- src/visualization.py：图表生成函数
- notebooks/exploration.ipynb：只包含import和函数调用
这样notebook只负责交互探索，所有逻辑在.py文件中由Claude Code维护。

churn-prediction/
├── CLAUDE.md
├── .venv/
├── data/
│   └── customers.csv
├── src/
│   ├── __init__.py
│   ├── data_loader.py
│   ├── feature_engineer.py
│   ├── model_trainer.py
│   └── visualization.py
├── output/
│   ├── charts/
│   └── reports/
├── notebooks/
│   └── exploration.py   # Marimo notebook
└── reports/
    └── churn_report.py   # 参数化报表

加载data/customers.csv，执行完整EDA。数据集包含age、income、churn、plan_type、tenure_months、support_tickets列。
重点分析：哪些特征与流失（churn=1）相关？缺失值模式是什么？有无明显的数据泄露风险？

基于EDA结果，构建scikit-learn特征工程Pipeline：
- 数值列：StandardScaler标准化
- 分类列：OneHotEncoder独热编码
- 缺失值：按plan_type分组的年龄中位数填充
- 新增交互特征：support_tickets_per_month = support_tickets / tenure_months
确保无数据泄露——先用train_test_split再fit Pipeline

from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.impute import SimpleImputer
from sklearn.model_selection import train_test_split

numeric_features = ['age', 'income', 'tenure_months', 'support_tickets',
                    'support_tickets_per_month']
categorical_features = ['plan_type']

numeric_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='median')),
    ('scaler', StandardScaler())
])

categorical_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='most_frequent')),
    ('encoder', OneHotEncoder(drop='first', sparse_output=False))
])

preprocessor = ColumnTransformer(transformers=[
    ('num', numeric_transformer, numeric_features),
    ('cat', categorical_transformer, categorical_features)
])

训练三个模型——逻辑回归、随机森林、梯度提升。
使用分层抽样（stratified split），因为churn正例率只有12%。
输出每个模型的精确率、召回率、F1、AUC-ROC，用表格对比。
绘制ROC曲线和混淆矩阵，保存到output/charts/。

将所有分析结果汇总为一个多sheet Excel报表，包含：
Sheet 1: 执行摘要——关键发现和模型建议
Sheet 2: EDA统计——描述性统计和缺失值报告
Sheet 3: 特征重要性——按模型排序的Top 15特征
Sheet 4: 模型对比——三模型性能指标表
Sheet 5: 业务建议——按风险等级分组的客户分群
Sheet 6: QA验证——数据完整性检查

flowchart TB
    A[启动Claude Code] --> B[/init 生成 CLAUDE.md]
    B --> C[UV创建虚拟环境]
    C --> D[数据加载与EDA]

    D --> E{数据质量评估}
    E -->|高质量| F[特征工程]
    E -->|有问题| G[智能数据清洗]
    G --> F

    F --> H[统计分析与假设检验]
    H --> I[可视化生成]
    I --> J[模型训练与评估]
    J --> K[参数化报表脚本]

    K --> L{验证QA工作表}
    L -->|通过| M[输出交付物]
    L -->|不通过| N[修复计算逻辑]
    N --> K

    M --> O[Excel报表 / HTML图表 / Python脚本]

    style A fill:#4A90D9,color:#fff
    style M fill:#2ECC71,color:#fff
    style L fill:#E74C3C,color:#fff
    style E fill:#F39C12,color:#fff

flowchart LR
    subgraph "Claude Code vs ChatGPT Code Interpreter"
        direction TB
        A[Claude Code<br/>本地运行]
        B[ChatGPT CI<br/>云端沙箱]
    end

    A ---|文件大小| A1[无实际限制<br/>使用全部系统RAM]
    B ---|文件大小| B1[上传上限<br/>受沙箱资源约束]

    A ---|持久化| A2[生成可复用脚本<br/>CLAUDE.md记忆偏好]
    B ---|持久化| B2[会话级临时代码<br/>无持久记忆]

    A ---|适用场景| A3[生产分析、大型数据集<br/>重复性报表]
    B ---|适用场景| B3[快速探索、小中型文件<br/>一次性分析]