告别手动分析：用Python脚本将BurpSuite抓包记录(XML)一键转为可读报告(CSV/HTML)
告别手动分析：用Python脚本将BurpSuite抓包记录一键转为可读报告
在渗透测试和安全审计工作中，BurpSuite无疑是安全工程师最得力的助手之一。每天与它打交道的专业人士都深有体会：Proxy模块中堆积如山的HTTP请求记录，既是宝贵的数据金矿，也是令人头疼的分析负担。当我们需要从数百条记录中筛选特定域名的请求、统计状态码分布或分析参数规律时，原生界面提供的功能往往捉襟见肘。
这正是自动化脚本大显身手的时刻。通过Python将BurpSuite导出的XML历史记录转换为结构化的CSV或直观的HTML报告，不仅能解放我们的双手，更能带来三个维度的价值提升：效率跃迁——批量处理上千条记录只需秒级等待；深度洞察——通过自定义筛选和统计发现隐藏模式；流程整合——将标准化报告无缝嵌入企业安全运维体系。下面让我们一步步实现这个生产力升级方案。
1. 环境准备与数据导出
1.1 Python环境配置
转换脚本基于Python 3.6+运行，推荐使用虚拟环境避免依赖冲突：
# 创建并激活虚拟环境 python -m venv burp_parser source burp_parser/bin/activate # Linux/macOS burp_parser\Scripts\activate # Windows # 安装必要依赖 pip install pandas jinja2提示：若需处理含非ASCII字符的请求，建议额外安装
chardet库以自动检测编码：pip install chardet
1.2 从BurpSuite导出数据
在BurpSuite界面中完成关键操作：
- 进入Proxy → HTTP history选项卡
- 使用
Ctrl+A全选或Shift+点击多选目标记录 - 右键选择"Save items"，保存为XML格式（如
burp-history.xml）
导出的XML文件包含每条记录的完整元数据，典型结构如下：
<items> <item> <time>2023-07-15 14:23:45</time> <url>https://api.example.com/login</url> <host ip="192.0.2.1">api.example.com</host> <port>443</port> <protocol>https</protocol> <method>POST</method> <status>200</status> <responselength>1256</responselength> <request base64="true">R0VUIC9zZWFyY2g/cm...（Base64编码）</request> <response base64="true">SFRUUC8xLjEgMjAw...（Base64编码）</response> </item> </items>2. 核心转换脚本解析
我们基于开源项目进行增强开发，主要实现以下功能扩展：
- 支持按域名、状态码、方法等多条件筛选
- 自动解码Base64请求/响应体
- 生成带交互功能的HTML报告
2.1 基础转换功能
创建burp_converter.py，实现XML到CSV的转换核心逻辑：
import pandas as pd from base64 import b64decode import xml.etree.ElementTree as ET def parse_burp_xml(xml_path, output_csv): tree = ET.parse(xml_path) root = tree.getroot() records = [] for item in root.findall('item'): record = { 'time': item.find('time').text, 'url': item.find('url').text, 'method': item.find('method').text, 'status': int(item.find('status').text), 'request': b64decode(item.find('request').text).decode('utf-8', errors='replace'), 'response': b64decode(item.find('response').text).decode('utf-8', errors='replace') } records.append(record) df = pd.DataFrame(records) df.to_csv(output_csv, index=False)执行转换：
python burp_converter.py burp-history.xml output.csv2.2 高级筛选功能
通过添加过滤参数增强实用性：
def filter_records(df, filters): if filters.get('domain'): df = df[df['url'].str.contains(filters['domain'])] if filters.get('status'): df = df[df['status'].isin(filters['status'])] if filters.get('method'): df = df[df['method'].isin(filters['method'])] return df # 使用示例 filters = { 'domain': 'example.com', 'status': [200, 302], 'method': ['GET', 'POST'] } filtered_df = filter_records(df, filters)3. 生成交互式HTML报告
静态CSV文件难以直观展示分析结果，我们利用Jinja2模板引擎创建动态HTML报告：
3.1 报告模板设计
创建template.html：
<!DOCTYPE html> <html> <head> <title>BurpSuite分析报告</title> <script src="https://cdn.plot.ly/plotly-latest.min.js"></script> </head> <body> <h1>HTTP请求分析</h1> <div id="statusChart" style="width:600px;height:400px;"></div> <table border="1"> <tr> <th>时间</th> <th>URL</th> <th>状态码</th> </tr> {% for item in items %} <tr> <td>{{ item.time }}</td> <td>{{ item.url }}</td> <td style="color: {% if item.status == 200 %}green{% else %}red{% endif %}"> {{ item.status }} </td> </tr> {% endfor %} </table> </body> </html>3.2 模板渲染与可视化
扩展Python脚本生成交互式图表：
from jinja2 import Environment, FileSystemLoader def generate_html(df, output_file): env = Environment(loader=FileSystemLoader('.')) template = env.get_template('template.html') status_counts = df['status'].value_counts().to_dict() html_content = template.render( items=df.to_dict('records'), status_data=status_counts ) with open(output_file, 'w') as f: f.write(html_content)最终报告包含以下核心元素：
- 状态码分布饼图
- 可排序的请求明细表格
- 关键参数高亮显示
- 响应时间趋势图（需原始数据包含时间戳）
4. 企业级应用实践
4.1 与CI/CD管道集成
将转换脚本嵌入自动化安全测试流程：
# Jenkins Pipeline示例 stage('Security Analysis') { steps { sh 'python burp_converter.py ${WORKSPACE}/reports/burp.xml ${WORKSPACE}/reports/web-traffic.csv' sh 'python generate_report.py ${WORKSPACE}/reports/web-traffic.csv' archiveArtifacts artifacts: 'reports/*.html', fingerprint: true } }4.2 关键指标监控
通过定期分析生成趋势报告，监控以下安全指标：
| 指标名称 | 计算方式 | 预警阈值 |
|---|---|---|
| 异常状态码率 | (4xx+5xx)/总请求数 × 100% | > 15% |
| 敏感接口访问频次 | 登录/重置密码接口每分钟调用数 | > 5 |
| 响应时间P95 | 95%请求的响应时间(ms) | > 2000 |
4.3 典型应用场景
- 漏洞复现辅助：筛选特定漏洞类型的请求（如包含
../的路径遍历尝试） - 性能基准测试：统计关键API的响应时间分布
- 第三方接口审计：分析对外部服务的调用合规性
- 安全培训素材：提取真实攻击案例用于内部演练
# 示例：检测潜在的路径遍历攻击 def detect_path_traversal(df): suspicious = df[df['request'].str.contains(r'\.\./|%2e%2e/')] if not suspicious.empty: print(f"发现 {len(suspicious)} 条可疑请求") return suspicious[['time', 'url', 'request']] return None5. 进阶技巧与问题排查
5.1 处理大文件优化
当XML文件超过100MB时，可采用流式解析避免内存溢出：
from lxml import etree def stream_parse(xml_path): context = etree.iterparse(xml_path, events=('end',), tag='item') for event, elem in context: yield parse_item(elem) elem.clear() while elem.getprevious() is not None: del elem.getparent()[0]5.2 常见错误处理
| 错误现象 | 可能原因 | 解决方案 |
|---|---|---|
| 编码解码错误 | 非UTF-8字符存在 | 使用errors='replace'参数 |
| 时间格式不一致 | 时区差异或格式变化 | 统一转换为ISO 8601格式 |
| 缺失关键字段 | BurpSuite版本差异 | 添加字段存在性检查 |
| 性能急剧下降 | 大文件内存加载 | 改用流式解析 |
5.3 自定义报告字段
通过修改模板和解析逻辑，可以轻松添加以下实用字段：
# 在parse_item函数中添加 item_data['response_time'] = calculate_response_time(item) item_data['param_count'] = len(extract_params(item['request'])) item_data['is_ajax'] = 'XMLHttpRequest' in item['request']实际项目中，建议将配置参数外置到config.yaml文件中：
# config.yaml示例 output: csv_columns: [time, url, status, param_count] html_template: advanced_template.html filters: exclude_domains: [google-analytics.com, static.cloudflare.com]