Data Anonymizer

对生产数据进行匿名化处理，以便在测试、开发和数据分析等场景中安全使用。自动识别个人身份信息（PII），应用恰当的匿名化策略（如掩码、哈希、合成替换、泛化），并生成符合真实数据关系与统计特性的仿真数据。

适用场景包括：“anonymize data”、“mask PII”、“create test data from production”、“GDPR compliance”、“data masking”、“remove personal data”、“sanitize database”、“fake data generation”，或任何需将生产数据用于非生产环境的场景。

Commands

1. detect — 在数据源中识别 PII

Step 1: 扫描 PII 模式

# 扫描文件中的常见 PII 模式
rg -n "(\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b)" --type-not binary 2>/dev/null | head -20
echo "--- Emails found above ---"

rg -n "\b\d{3}[-.]?\d{2}[-.]?\d{4}\b" --type-not binary 2>/dev/null | head -20
echo "--- SSN-like patterns above ---"

rg -n "\b\d{3}[-.]?\d{3}[-.]?\d{4}\b" --type-not binary 2>/dev/null | head -20
echo "--- Phone numbers above ---"

rg -n "\b\d{4}[- ]?\d{4}[- ]?\d{4}[- ]?\d{4}\b" --type-not binary 2>/dev/null | head -20
echo "--- Credit card-like patterns above ---"

Step 2: 扫描数据库 Schema

# 根据列名模式识别可能包含 PII 的字段
python3 -c "
pii_column_patterns = [
    'email', 'phone', 'address', 'street', 'city', 'zip', 'postal',
    'ssn', 'social_security', 'tax_id', 'national_id',
    'first_name', 'last_name', 'full_name', 'name',
    'birth', 'dob', 'date_of_birth', 'age',
    'credit_card', 'card_number', 'cvv', 'expiry',
    'ip_address', 'ip', 'user_agent',
    'password', 'secret', 'token', 'api_key',
    'latitude', 'longitude', 'lat', 'lng', 'geo',
    'photo', 'avatar', 'image_url',
    'salary', 'income', 'bank_account', 'iban', 'routing',
]

# 从 SQL 导出文件或迁移脚本中解析 schema
import sys
for pattern in pii_column_patterns:
    print(f'  - {pattern}*')
print('\nUse these patterns to grep your database schema:')
print('rg -i "(" + "|".join(pii_column_patterns[:5]) + ")" migrations/ schema.sql')
"

Step 3: 敏感度分级

2. anonymize — 执行匿名化

策略 1：合成替换（推荐用于测试数据）

# 生成格式与关系保持一致的仿真数据
import hashlib

def anonymize_email(email):
    """一致性仿真邮箱 — 相同输入始终生成相同输出"""
    h = hashlib.sha256(email.encode()).hexdigest()[:8]
    domain = email.split('@')[1] if '@' in email else 'example.com'
    return f"user_{h}@test-{domain}"

def anonymize_name(name):
    """替换为一致性仿真姓名"""
    from faker import Faker
    fake = Faker()
    fake.seed_instance(hash(name) % (2**32))
    return fake.name()

def anonymize_phone(phone):
    """保留格式，替换数字"""
    import re
    h = hashlib.sha256(phone.encode()).hexdigest()
    digits = [c for c in h if c.isdigit()]
    result = ''
    d = 0
    for c in phone:
        if c.isdigit():
            result += digits[d % len(digits)]
            d += 1
        else:
            result += c
    return result

def anonymize_address(address):
    """替换为同一区域内的仿真地址"""
    from faker import Faker
    fake = Faker()
    fake.seed_instance(hash(address) % (2**32))
    return fake.address()

策略 2：掩码（适用于日志/导出等快速处理场景）

def mask_email(email):
    parts = email.split('@')
    return f"{parts[0][:2]}***@{parts[1]}" if '@' in email else '***'

def mask_phone(phone):
    return phone[:3] + '***' + phone[-2:]

def mask_ssn(ssn):
    return '***-**-' + ssn[-4:]

def mask_card(card):
    return '****-****-****-' + card[-4:]

策略 3：SQL 层级匿名化

-- PostgreSQL 匿名化脚本
UPDATE users SET
    email = 'user_' || md5(email) || '@example.com',
    first_name = 'User',
    last_name = 'Test_' || substring(md5(last_name) from 1 for 6),
    phone = '+1' || lpad(abs(hashtext(phone))::text, 10, '0'),
    address_line1 = floor(random() * 9999)::text || ' Test Street',
    city = 'Testville',
    zip_code = lpad(abs(hashtext(zip_code))::text, 5, '0'),
    date_of_birth = date_of_birth - (random() * 365)::int * interval '1 day',
    ssn = NULL
WHERE true;

-- 验证无真实数据残留
SELECT email FROM users WHERE email NOT LIKE '%@example.com' LIMIT 5;

3. verify — 验证匿名化效果

完成匿名化后，需验证以下各项：

• 不存在真实邮箱地址（依据已知模式校验）
• 不存在真实电话号码（验证格式合规性，但不校验号码真实性）
• 统计特性得以保留（如年龄分布、地理分布等）
• 引用完整性未被破坏（外键关系保持完整）
• 唯一性约束得到满足（生成值无重复）

4. report — 生成合规性报告

# Data Anonymization Report

## Scope
- Database: production_backup_20260429
- Tables processed: 15
- Records processed: 2.3M

## PII Found and Anonymized
| Column | Table | Records | Strategy | Verified |
|--------|-------|---------|----------|----------|
| email | users | 150,000 | Synthetic | ✅ |
| phone | users | 148,322 | Synthetic | ✅ |
| ssn | employees | 1,200 | Deleted | ✅ |
| address | orders | 890,000 | Synthetic | ✅ |
| ip_address | logs | 5.2M | Generalized (/24) | ✅ |

## Verification
- ✅ No real emails in anonymized data
- ✅ Foreign key integrity preserved
- ✅ Unique constraints satisfied
- ✅ Statistical distributions preserved (±5%)