references/liteparse-comparison.md
2.0 KB查看排版效果| 1 | # LiteParse 实测数据与使用备忘 |
| 2 | |
| 3 | > 版本：`liteparse 2.0.4`（pip install），Rust 核心 + Python 绑定 |
| 4 | > 安装：`~/.venvs/liteparse/`，CLI wrapper `~/.local/bin/lit` |
| 5 | |
| 6 | ## 实测性能 |
| 7 | |
| 8 | | 场景 | 耗时 | 准确率 | 命令 | |
| 9 | |------|------|--------|------| |
| 10 | | 文本层PDF（中文） | **0.9ms** | 100% | `lit parse --no-ocr` | |
| 11 | | 文本层PDF（英文） | **0.8ms** | 100% | `lit parse --no-ocr` | |
| 12 | | 中文扫描件（Tesseract） | **172ms** | ~80% | `lit parse --ocr-language chi_sim` | |
| 13 | | 中文扫描件（PaddleOCR） | **25.8s** | ~97% | `pdf2md`（退到 pdf-ocr-md B 节） | |
| 14 | | Screenshot（PDF→PNG） | ~15ms/页 | — | `lit screenshot --dpi 200` | |
| 15 | |
| 16 | ## GFW 下的 tessdata 处理 |
| 17 | |
| 18 | LiteParse 的 Tesseract 默认在 `~/.tesseract-rs/tessdata/` 找语言包。 |
| 19 | 从 GitHub 下载 `chi_sim.traineddata` 在 GFW 下会超时。解决方案： |
| 20 | |
| 21 | ```bash |
| 22 | # 方案：链接系统已安装的 tessdata |
| 23 | ln -sf /usr/share/tesseract-ocr/5/tessdata/chi_sim.traineddata ~/.tesseract-rs/tessdata/chi_sim.traineddata |
| 24 | ln -sf /usr/share/tesseract-ocr/5/tessdata/eng.traineddata ~/.tesseract-rs/tessdata/eng.traineddata |
| 25 | ``` |
| 26 | |
| 27 | 如果系统未安装，通过 apt 装： |
| 28 | ```bash |
| 29 | apt install tesseract-ocr-chi-sim # 国内源畅通 |
| 30 | ``` |
| 31 | |
| 32 | ## 与 PaddleOCR 的选择策略 |
| 33 | |
| 34 | ``` |
| 35 | 收到文件 |
| 36 | → lit parse --no-ocr (0.9ms，有文本层直接出) |
| 37 | → 空结果 = 扫描件 |
| 38 | ├─ 中文 → pdf2md (25s，准确优先) |
| 39 | └─ 英文 → lit parse (170ms，够用) |
| 40 | ``` |
| 41 | |
| 42 | ## OpenDataLoader 弃用说明 |
| 43 | |
| 44 | LiteParse 作为文本层 PDF 提取方案已完全替代 OpenDataLoader： |
| 45 | - 速度快 300x（0.9ms vs 300ms 每 17 页） |
| 46 | - 无需 Java 11，无需单独 venv |
| 47 | - PDFium 引擎同等准确 |
| 48 | - 保留 OpenDataLoader 章节作为备用，不主动推荐 |
| 49 | |
| 50 | ## 已知限制 |
| 51 | |
| 52 | - `lit screenshot` 生成整页 PNG 适合喂给 LLM vision，但分辨率低于 `pdf2md` 的 `images/` 输出 |
| 53 | - 不支持指定页码范围截图？实测 `--target-pages` 参数可用 |
| 54 | - 本文实测环境：3.6GB RAM，`lit` 进程 ~50MB |
文件内容是平台检查时读出的文本，只供查看。平台不会运行包里的任何脚本或程序。
