base_rag/examples/README.md

2.5 KiB
Raw Blame History

Examples 示例文件

本目录包含两个主要的测试示例:

📁 simple_test.py - 基础功能测试

用途: 验证RAG系统的基础功能

  • 🔧 纯文本文档处理
  • 📄 文档加载和切分
  • 🔍 文本向量化和存储
  • 🔎 相似性搜索
  • 📝 查询结果整合

特点:

  • 禁用图片处理(专注基础功能)
  • 适合快速验证系统可用性
  • 轻量级测试

运行:

python examples/simple_test.py

🚀 ad_test.py - 高级功能测试

用途: 验证多格式文档和图片内容识别

  • 📄 多格式文档解析 (DOCX, PDF, XLSX, CSV)
  • 🖼️ 图片自动提取和处理
  • 🤖 图片内容描述生成
  • 📝 图片文本内容识别 (OCR)
  • 🔍 混合内容检索 (文本+图片)
  • 📊 内容分类显示

特点:

  • 启用完整图片处理功能
  • 使用BLIP模型进行图片理解
  • 支持图片中文本提取
  • 增强的查询结果显示

运行:

python examples/ad_test.py

🔧 图片文本识别功能

高级测试(ad_test.py)包含增强的图片文本识别功能:

图片内容处理

  • 自动提取: 从DOCX和PDF文档中自动提取嵌入的图片
  • 智能描述: 使用BLIP模型生成图片内容描述
  • 文本识别: 支持OCR提取图片中的文字内容
  • 分类标记: 自动识别图片类型(技术图、数据图表等)

📝 OCR文本提取

系统尝试从图片中提取文字内容,支持:

  • pytesseract: 高精度OCR引擎需要安装
  • easyocr: 备用OCR方案支持中英文
  • 基础模式: 如果OCR库不可用提供基础信息

🔍 增强检索体验

  • 内容分类: 查询结果区分图片内容和文本内容
  • 统计信息: 显示检索到的文本和图片数量
  • 格式化显示: 图片内容带特殊标记 🖼️ [图片内容]

📋 测试文档要求

基础测试文档

  • python_basics.txt - Python基础知识
  • data_science.txt - 数据科学内容

高级测试文档

  • complex_data_science.docx - 包含图片的Word文档
  • ai_research_report.pdf - 包含图片的PDF报告
  • company_report.xlsx - Excel工作簿
  • sales_data.csv - CSV数据文件

🎯 预期效果

基础测试

  • 文档正常加载和处理
  • 文本查询返回相关结果
  • 系统响应时间正常

高级测试

  • 多格式文档成功解析
  • 图片内容被自动识别和描述
  • 🖼️ 图片查询能返回图片相关内容
  • 📊 查询结果包含内容类型统计
  • 🔍 图片和文本内容可被统一检索