如果你还在为整理发票而头疼每次报销前都要花半小时翻找各种聊天记录和邮件附件那么今天介绍的这个工具可能会改变你的工作方式。Sorted Receipts 解决了一个看似简单但实际很烦人的问题如何让客户或团队成员轻松地上传发票而无需安装任何应用或注册账号。传统方式下你需要通过微信、邮件或聊天工具逐个收集发票然后手动分类整理——这个过程既耗时又容易出错。更糟糕的是有些发票可能被遗漏导致报销不完整或财务记录缺失。与常见的又一个发票管理应用不同Sorted Receipts 的核心创新在于极简的上传体验和智能的后端处理。用户只需一个固定链接就能上传文件背后的 LLM大语言模型会自动识别发票内容并进行分类。这种设计真正抓住了痛点上传方无需任何学习成本处理方获得结构化数据。本文将深入解析 Sorted Receipts 的技术实现重点介绍如何利用 LLM 处理多格式文档并提供一个完整的实践示例。无论你是想直接使用这个工具还是学习其设计思路用于自己的项目都能获得实用价值。1. 传统发票收集的痛点与 LLM 的解决方案在实际工作中发票收集通常面临几个典型问题多来源混乱发票可能来自微信聊天、电子邮件、阿里钉钉、短信附件等多种渠道。没有统一入口收集过程分散且容易遗漏。格式不统一除了标准的 PDF 发票外还有图片格式JPG、PNG、扫描件甚至截图。人工处理时需要打开每个文件确认内容效率低下。分类困难餐饮发票、交通发票、办公用品发票需要计入不同科目手动分类不仅工作量大还容易出错。隐私与安全风险通过聊天工具传输发票可能涉及隐私泄露特别是包含敏感信息的增值税发票。Sorted Receipts 的解决方案很巧妙提供一个永久有效的上传链接用户通过任何浏览器都能上传文件。上传后系统使用 LLM 自动解析发票内容提取关键信息如金额、日期、商家名称等并根据预设规则自动分类。这种方案的优势在于前后端分离前端极简到只需一个链接后端智能化处理复杂任务。对于需要频繁收集票据的财务人员、自由职业者或项目团队来说这种设计大幅降低了协作门槛。2. LLM 文档处理的核心原理要理解 Sorted Receipts 的工作原理需要先了解现代 LLM 如何处理文档内容。与传统 OCR光学字符识别技术相比LLM 在文档理解方面有几个关键进步多模态理解能力现代 LLM 如 GPT-4V 能够同时处理文本和图像信息。对于扫描版或照片版发票模型可以直接从图像中提取文字内容无需先经过 OCR 转换。上下文理解LLM 能够理解发票内容的语义关系。例如识别金额字段时不仅能提取数字还能判断这是税前金额还是含税金额以及对应的货币单位。结构化输出LLM 可以按照预定格式输出结构化数据如 JSON 格式的发票信息便于后续程序处理。# LLM 处理发票的典型输出结构示例 { document_type: 增值税发票, merchant_name: XX科技有限公司, invoice_date: 2024-03-15, total_amount: 1580.00, tax_amount: 158.00, category: 办公用品, items: [ {name: 打印机, quantity: 1, price: 1200.00}, {name: 打印纸, quantity: 2, price: 190.00} ] }错误纠正能力当发票质量较差或部分信息模糊时LLM 能够基于上下文进行合理推断比传统 OCR 有更好的容错性。在实际实现中Sorted Receipts likely 使用了类似的技术栈前端是简单的文件上传界面后端结合 LLM API如 OpenAI GPT-4V 或开源替代方案进行内容解析。3. 环境准备与工具选择如果你想要实现类似的功能需要准备以下环境和技术栈3.1 基础运行环境Python 3.8主流的 LLM 库都支持 Python 环境Node.js 14如果包含 Web 前端数据库SQLite开发环境或 PostgreSQL生产环境3.2 LLM 服务选择根据项目需求和预算可以选择不同的 LLM 服务云端 API 服务OpenAI GPT-4V支持图像理解精度高但成本较高Anthropic Claude在文档处理方面表现优秀百度文心一言、阿里通义千问国内服务网络延迟低本地部署方案Llama 2/3Meta 开源模型需要较强的 GPU 支持Qwen-VL阿里开源的多模态模型支持中文文档理解其他开源视觉语言模型3.3 文件处理库# requirements.txt 示例 fastapi0.104.1 # Web 框架 uvicorn0.24.0 # ASGI 服务器 python-multipart0.0.6 # 文件上传支持 openai1.3.0 # OpenAI API pillow10.0.1 # 图像处理 pdf2image1.16.3 # PDF 转图像对于预算有限或数据敏感的项目建议先从开源模型开始待验证可行性后再考虑商用 API。4. 核心实现步骤拆解下面我们一步步构建一个简化版的 Sorted Receipts 系统4.1 第一步创建文件上传接口使用 FastAPI 创建简单的上传端点from fastapi import FastAPI, File, UploadFile, HTTPException from fastapi.responses import HTMLResponse import os import uuid app FastAPI() # 文件上传目录 UPLOAD_DIR uploads os.makedirs(UPLOAD_DIR, exist_okTrue) app.get(/) async def upload_page(): 提供上传页面 html_content html body h2发票上传/h2 form action/upload enctypemultipart/form-data methodpost input namefile typefile multiple input typesubmit /form /body /html return HTMLResponse(contenthtml_content) app.post(/upload) async def upload_file(file: UploadFile File(...)): 处理文件上传 if not file.content_type.startswith((image/, application/pdf)): raise HTTPException(400, 仅支持图片和PDF文件) # 生成唯一文件名 file_extension os.path.splitext(file.filename)[1] unique_filename f{uuid.uuid4()}{file_extension} file_path os.path.join(UPLOAD_DIR, unique_filename) # 保存文件 with open(file_path, wb) as buffer: content await file.read() buffer.write(content) return {filename: unique_filename, message: 上传成功}4.2 第二步文档预处理上传的文档需要统一处理为 LLM 可接受的格式import tempfile from pdf2image import convert_from_path from PIL import Image import base64 def preprocess_document(file_path: str) - list: 将文档转换为 base64 编码的图像列表 images [] if file_path.lower().endswith(.pdf): # PDF 转图像 pdf_images convert_from_path(file_path, dpi200) for img in pdf_images: buffered tempfile.SpooledTemporaryFile() img.save(buffered, formatJPEG, quality85) buffered.seek(0) img_base64 base64.b64encode(buffered.read()).decode() images.append(img_base64) else: # 图像文件直接处理 with Image.open(file_path) as img: if img.mode ! RGB: img img.convert(RGB) buffered tempfile.SpooledTemporaryFile() img.save(buffered, formatJPEG, quality85) buffered.seek(0) img_base64 base64.b64encode(buffered.read()).decode() images.append(img_base64) return images4.3 第三步LLM 发票解析使用多模态 LLM 解析发票内容from openai import OpenAI import json def analyze_receipt_with_llm(image_data: str, api_key: str) - dict: 使用 LLM 分析发票内容 client OpenAI(api_keyapi_key) prompt 请分析这张发票并提取以下信息 1. 发票类型增值税发票、收据、小票等 2. 商家名称 3. 开票日期 4. 总金额 5. 商品或服务项目列表 6. 适合的分类办公、餐饮、交通、住宿等 请以 JSON 格式返回包含以下字段 - document_type - merchant_name - invoice_date - total_amount - category - items (数组包含name, quantity, price) try: response client.chat.completions.create( modelgpt-4-vision-preview, messages[ { role: user, content: [ {type: text, text: prompt}, { type: image_url, image_url: { url: fdata:image/jpeg;base64,{image_data} }, }, ], } ], max_tokens1000, ) # 解析 LLM 返回的 JSON result_text response.choices[0].message.content # 提取 JSON 部分LLM 可能在回答中包含说明文字 json_start result_text.find({) json_end result_text.rfind(}) 1 json_str result_text[json_start:json_end] return json.loads(json_str) except Exception as e: return {error: f分析失败: {str(e)}}4.4 第四步分类与存储根据解析结果自动分类并存储import sqlite3 from datetime import datetime def categorize_receipt(receipt_data: dict) - str: 根据发票内容自动分类 category_keywords { 餐饮: [餐厅, 饭店, 美食, 餐饮, 外卖, 咖啡], 交通: [出租车, 滴滴, 地铁, 机票, 火车, 加油], 办公: [文具, 打印, 办公用品, 设备, 电脑], 住宿: [酒店, 宾馆, 住宿, 旅馆] } merchant_name receipt_data.get(merchant_name, ).lower() items_text .join([item.get(name, ) for item in receipt_data.get(items, [])]) full_text merchant_name items_text for category, keywords in category_keywords.items(): if any(keyword in full_text for keyword in keywords): return category return 其他 def store_receipt_data(receipt_data: dict, original_filename: str): 存储发票数据到数据库 conn sqlite3.connect(receipts.db) cursor conn.cursor() # 创建表如果不存在 cursor.execute( CREATE TABLE IF NOT EXISTS receipts ( id INTEGER PRIMARY KEY AUTOINCREMENT, original_filename TEXT, document_type TEXT, merchant_name TEXT, invoice_date TEXT, total_amount REAL, category TEXT, items_json TEXT, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) ) # 自动分类 category categorize_receipt(receipt_data) receipt_data[category] category # 插入数据 cursor.execute( INSERT INTO receipts (original_filename, document_type, merchant_name, invoice_date, total_amount, category, items_json) VALUES (?, ?, ?, ?, ?, ?, ?) , ( original_filename, receipt_data.get(document_type), receipt_data.get(merchant_name), receipt_data.get(invoice_date), receipt_data.get(total_amount), category, json.dumps(receipt_data.get(items, []), ensure_asciiFalse) )) conn.commit() conn.close()5. 完整系统集成将各个模块组合成完整系统app.post(/analyze-receipt) async def analyze_receipt(file: UploadFile File(...)): 完整发票分析流程 # 1. 保存上传文件 file_extension os.path.splitext(file.filename)[1] unique_filename f{uuid.uuid4()}{file_extension} file_path os.path.join(UPLOAD_DIR, unique_filename) with open(file_path, wb) as buffer: content await file.read() buffer.write(content) # 2. 文档预处理 try: images preprocess_document(file_path) if not images: return {error: 文档处理失败} # 3. LLM 分析使用第一张图像 api_key os.getenv(OPENAI_API_KEY) # 从环境变量获取 analysis_result analyze_receipt_with_llm(images[0], api_key) if error in analysis_result: return {error: analysis_result[error]} # 4. 存储结果 store_receipt_data(analysis_result, file.filename) return { status: success, analysis: analysis_result, uploaded_file: unique_filename } except Exception as e: return {error: f处理过程中出错: {str(e)}} finally: # 清理临时文件 if os.path.exists(file_path): os.remove(file_path)6. 部署与运行测试6.1 本地运行创建主程序文件main.pyif __name__ __main__: import uvicorn uvicorn.run(app, host0.0.0.0, port8000)运行服务# 安装依赖 pip install -r requirements.txt # 设置 API 密钥 export OPENAI_API_KEYyour-api-key-here # 启动服务 python main.py6.2 测试上传功能使用 curl 测试上传接口curl -X POST -F file/path/to/your/receipt.jpg http://localhost:8000/analyze-receipt预期返回结果{ status: success, analysis: { document_type: 增值税普通发票, merchant_name: 某某餐厅, invoice_date: 2024-03-15, total_amount: 256.00, category: 餐饮, items: [ {name: 餐费, quantity: 1, price: 256.00} ] }, uploaded_file: a1b2c3d4-5678-90ab-cdef-123456789012.jpg }6.3 前端界面优化为提升用户体验可以添加简单的前端界面!DOCTYPE html html head title发票上传系统/title style .upload-container { max-width: 500px; margin: 50px auto; padding: 20px; } .result { margin-top: 20px; padding: 15px; background: #f5f5f5; } /style /head body div classupload-container h2智能发票识别系统/h2 input typefile idfileInput multiple acceptimage/*,.pdf button onclickuploadFiles()上传并分析/button div idresult classresult/div /div script async function uploadFiles() { const fileInput document.getElementById(fileInput); const resultDiv document.getElementById(result); if (!fileInput.files.length) { resultDiv.innerHTML 请选择文件; return; } resultDiv.innerHTML 处理中...; for (let file of fileInput.files) { const formData new FormData(); formData.append(file, file); try { const response await fetch(/analyze-receipt, { method: POST, body: formData }); const result await response.json(); if (result.status success) { resultDiv.innerHTML div h4${file.name} 分析结果/h4 pre${JSON.stringify(result.analysis, null, 2)}/pre /div ; } else { resultDiv.innerHTML div${file.name} 处理失败: ${result.error}/div; } } catch (error) { resultDiv.innerHTML div${file.name} 上传失败: ${error}/div; } } } /script /body /html7. 常见问题与解决方案在实际使用中可能会遇到以下典型问题7.1 LLM 识别精度问题问题现象LLM 无法正确识别某些发票格式或提取错误信息。解决方案优化提示词提供更详细的识别指令和示例图像预处理调整图像质量、对比度和尺寸多模型备用准备多个 LLM 服务作为备选方案def enhanced_receipt_analysis(image_data: str, api_keys: dict) - dict: 增强版发票分析支持多个 LLM 服务 # 尝试主要服务 result analyze_receipt_with_llm(image_data, api_keys[openai]) if result.get(document_type) and not result.get(error): return result # 主服务失败时尝试备用服务 if claude in api_keys: # 使用 Claude API 的类似实现 pass return result7.2 文件格式兼容性问题问题现象某些 PDF 文件或图像格式无法正常处理。解决方案def robust_document_conversion(file_path: str) - list: 健壮的文档转换函数 supported_image_formats [.jpg, .jpeg, .png, .bmp, .tiff, .webp] file_ext os.path.splitext(file_path)[1].lower() try: if file_ext .pdf: return convert_pdf_to_images(file_path) elif file_ext in supported_image_formats: return convert_image_to_base64(file_path) else: # 尝试使用 PIL 自动识别格式 try: with Image.open(file_path) as img: return convert_image_to_base64(file_path) except: raise ValueError(f不支持的文件格式: {file_ext}) except Exception as e: # 记录错误日志 print(f文档转换失败: {str(e)}) return []7.3 性能优化建议对于大量发票处理场景需要考虑性能优化异步处理文件上传后立即返回后台异步处理分析任务批量处理支持多个文件同时上传和分析缓存机制对相似发票模板使用缓存结果限流控制避免 API 调用过于频繁被限制8. 生产环境最佳实践将系统投入实际使用时需要注意以下要点8.1 安全考虑API 密钥管理使用环境变量或专业密钥管理服务避免硬编码文件类型限制严格限制可上传文件类型防止恶意文件上传大小限制设置合理的文件大小限制避免资源耗尽数据加密敏感信息在传输和存储时进行加密8.2 错误处理与日志import logging from functools import wraps # 配置日志 logging.basicConfig( levellogging.INFO, format%(asctime)s - %(name)s - %(levelname)s - %(message)s, handlers[ logging.FileHandler(receipt_processor.log), logging.StreamHandler() ] ) def log_errors(func): 错误日志装饰器 wraps(func) async def wrapper(*args, **kwargs): try: return await func(*args, **kwargs) except Exception as e: logging.error(fError in {func.__name__}: {str(e)}, exc_infoTrue) raise return wrapper8.3 数据库优化对于大量数据存储场景-- 添加索引提升查询性能 CREATE INDEX idx_receipts_category ON receipts(category); CREATE INDEX idx_receipts_date ON receipts(invoice_date); CREATE INDEX idx_receipts_merchant ON receipts(merchant_name); -- 定期清理旧数据如需要 -- DELETE FROM receipts WHERE created_at DATE(now, -1 year);8.4 监控与告警实现基本的系统监控import psutil import time def system_health_check(): 系统健康检查 return { timestamp: time.time(), cpu_percent: psutil.cpu_percent(), memory_percent: psutil.virtual_memory().percent, disk_usage: psutil.disk_usage(/).percent, active_connections: 0 # 需要根据实际实现添加 }9. 扩展功能与进阶应用基础系统完成后可以考虑以下扩展方向9.1 多用户支持添加用户认证和权限管理支持多个团队或用户使用from fastapi import Depends from fastapi.security import HTTPBearer security HTTPBearer() app.post(/user/upload) async def user_upload( file: UploadFile File(...), token: str Depends(security) ): 用户专属上传接口 user_id authenticate_user(token) # 实现用户认证 # ... 其余逻辑与之前类似但关联用户信息9.2 高级分类规则基于机器学习或规则引擎实现更智能的分类from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.ensemble import RandomForestClassifier import joblib class ReceiptClassifier: def __init__(self): self.vectorizer TfidfVectorizer() self.classifier RandomForestClassifier() self.is_trained False def train(self, training_data): 基于历史数据训练分类器 # 实现训练逻辑 pass def predict(self, receipt_data): 预测发票分类 if not self.is_trained: return self.rule_based_predict(receipt_data) # 实现机器学习预测 pass9.3 与财务系统集成将识别结果直接导入常用财务软件def export_to_quickbooks(receipt_data): 导出到 QuickBooks # 实现与财务软件的 API 集成 pass def generate_accounting_report(receipts_data, start_date, end_date): 生成会计报告 # 实现报告生成逻辑 pass通过以上实现我们不仅复现了 Sorted Receipts 的核心功能还提供了完整的、可扩展的技术方案。这种基于 LLM 的文档处理思路可以应用于各种业务场景如合同审查、报告生成、数据提取等。在实际项目中建议先从最小可行产品开始逐步迭代功能。重点确保核心的识别准确率和系统稳定性再考虑添加高级功能。这种技术方案特别适合需要处理大量非结构化文档的企业场景能显著提升工作效率和数据质量。
如果你还在为整理发票而头疼每次报销前都要花半小时翻找各种聊天记录和邮件附件那么今天介绍的这个工具可能会改变你的工作方式。Sorted Receipts 解决了一个看似简单但实际很烦人的问题如何让客户或团队成员轻松地上传发票而无需安装任何应用或注册账号。传统方式下你需要通过微信、邮件或聊天工具逐个收集发票然后手动分类整理——这个过程既耗时又容易出错。更糟糕的是有些发票可能被遗漏导致报销不完整或财务记录缺失。与常见的又一个发票管理应用不同Sorted Receipts 的核心创新在于极简的上传体验和智能的后端处理。用户只需一个固定链接就能上传文件背后的 LLM大语言模型会自动识别发票内容并进行分类。这种设计真正抓住了痛点上传方无需任何学习成本处理方获得结构化数据。本文将深入解析 Sorted Receipts 的技术实现重点介绍如何利用 LLM 处理多格式文档并提供一个完整的实践示例。无论你是想直接使用这个工具还是学习其设计思路用于自己的项目都能获得实用价值。1. 传统发票收集的痛点与 LLM 的解决方案在实际工作中发票收集通常面临几个典型问题多来源混乱发票可能来自微信聊天、电子邮件、阿里钉钉、短信附件等多种渠道。没有统一入口收集过程分散且容易遗漏。格式不统一除了标准的 PDF 发票外还有图片格式JPG、PNG、扫描件甚至截图。人工处理时需要打开每个文件确认内容效率低下。分类困难餐饮发票、交通发票、办公用品发票需要计入不同科目手动分类不仅工作量大还容易出错。隐私与安全风险通过聊天工具传输发票可能涉及隐私泄露特别是包含敏感信息的增值税发票。Sorted Receipts 的解决方案很巧妙提供一个永久有效的上传链接用户通过任何浏览器都能上传文件。上传后系统使用 LLM 自动解析发票内容提取关键信息如金额、日期、商家名称等并根据预设规则自动分类。这种方案的优势在于前后端分离前端极简到只需一个链接后端智能化处理复杂任务。对于需要频繁收集票据的财务人员、自由职业者或项目团队来说这种设计大幅降低了协作门槛。2. LLM 文档处理的核心原理要理解 Sorted Receipts 的工作原理需要先了解现代 LLM 如何处理文档内容。与传统 OCR光学字符识别技术相比LLM 在文档理解方面有几个关键进步多模态理解能力现代 LLM 如 GPT-4V 能够同时处理文本和图像信息。对于扫描版或照片版发票模型可以直接从图像中提取文字内容无需先经过 OCR 转换。上下文理解LLM 能够理解发票内容的语义关系。例如识别金额字段时不仅能提取数字还能判断这是税前金额还是含税金额以及对应的货币单位。结构化输出LLM 可以按照预定格式输出结构化数据如 JSON 格式的发票信息便于后续程序处理。# LLM 处理发票的典型输出结构示例 { document_type: 增值税发票, merchant_name: XX科技有限公司, invoice_date: 2024-03-15, total_amount: 1580.00, tax_amount: 158.00, category: 办公用品, items: [ {name: 打印机, quantity: 1, price: 1200.00}, {name: 打印纸, quantity: 2, price: 190.00} ] }错误纠正能力当发票质量较差或部分信息模糊时LLM 能够基于上下文进行合理推断比传统 OCR 有更好的容错性。在实际实现中Sorted Receipts likely 使用了类似的技术栈前端是简单的文件上传界面后端结合 LLM API如 OpenAI GPT-4V 或开源替代方案进行内容解析。3. 环境准备与工具选择如果你想要实现类似的功能需要准备以下环境和技术栈3.1 基础运行环境Python 3.8主流的 LLM 库都支持 Python 环境Node.js 14如果包含 Web 前端数据库SQLite开发环境或 PostgreSQL生产环境3.2 LLM 服务选择根据项目需求和预算可以选择不同的 LLM 服务云端 API 服务OpenAI GPT-4V支持图像理解精度高但成本较高Anthropic Claude在文档处理方面表现优秀百度文心一言、阿里通义千问国内服务网络延迟低本地部署方案Llama 2/3Meta 开源模型需要较强的 GPU 支持Qwen-VL阿里开源的多模态模型支持中文文档理解其他开源视觉语言模型3.3 文件处理库# requirements.txt 示例 fastapi0.104.1 # Web 框架 uvicorn0.24.0 # ASGI 服务器 python-multipart0.0.6 # 文件上传支持 openai1.3.0 # OpenAI API pillow10.0.1 # 图像处理 pdf2image1.16.3 # PDF 转图像对于预算有限或数据敏感的项目建议先从开源模型开始待验证可行性后再考虑商用 API。4. 核心实现步骤拆解下面我们一步步构建一个简化版的 Sorted Receipts 系统4.1 第一步创建文件上传接口使用 FastAPI 创建简单的上传端点from fastapi import FastAPI, File, UploadFile, HTTPException from fastapi.responses import HTMLResponse import os import uuid app FastAPI() # 文件上传目录 UPLOAD_DIR uploads os.makedirs(UPLOAD_DIR, exist_okTrue) app.get(/) async def upload_page(): 提供上传页面 html_content html body h2发票上传/h2 form action/upload enctypemultipart/form-data methodpost input namefile typefile multiple input typesubmit /form /body /html return HTMLResponse(contenthtml_content) app.post(/upload) async def upload_file(file: UploadFile File(...)): 处理文件上传 if not file.content_type.startswith((image/, application/pdf)): raise HTTPException(400, 仅支持图片和PDF文件) # 生成唯一文件名 file_extension os.path.splitext(file.filename)[1] unique_filename f{uuid.uuid4()}{file_extension} file_path os.path.join(UPLOAD_DIR, unique_filename) # 保存文件 with open(file_path, wb) as buffer: content await file.read() buffer.write(content) return {filename: unique_filename, message: 上传成功}4.2 第二步文档预处理上传的文档需要统一处理为 LLM 可接受的格式import tempfile from pdf2image import convert_from_path from PIL import Image import base64 def preprocess_document(file_path: str) - list: 将文档转换为 base64 编码的图像列表 images [] if file_path.lower().endswith(.pdf): # PDF 转图像 pdf_images convert_from_path(file_path, dpi200) for img in pdf_images: buffered tempfile.SpooledTemporaryFile() img.save(buffered, formatJPEG, quality85) buffered.seek(0) img_base64 base64.b64encode(buffered.read()).decode() images.append(img_base64) else: # 图像文件直接处理 with Image.open(file_path) as img: if img.mode ! RGB: img img.convert(RGB) buffered tempfile.SpooledTemporaryFile() img.save(buffered, formatJPEG, quality85) buffered.seek(0) img_base64 base64.b64encode(buffered.read()).decode() images.append(img_base64) return images4.3 第三步LLM 发票解析使用多模态 LLM 解析发票内容from openai import OpenAI import json def analyze_receipt_with_llm(image_data: str, api_key: str) - dict: 使用 LLM 分析发票内容 client OpenAI(api_keyapi_key) prompt 请分析这张发票并提取以下信息 1. 发票类型增值税发票、收据、小票等 2. 商家名称 3. 开票日期 4. 总金额 5. 商品或服务项目列表 6. 适合的分类办公、餐饮、交通、住宿等 请以 JSON 格式返回包含以下字段 - document_type - merchant_name - invoice_date - total_amount - category - items (数组包含name, quantity, price) try: response client.chat.completions.create( modelgpt-4-vision-preview, messages[ { role: user, content: [ {type: text, text: prompt}, { type: image_url, image_url: { url: fdata:image/jpeg;base64,{image_data} }, }, ], } ], max_tokens1000, ) # 解析 LLM 返回的 JSON result_text response.choices[0].message.content # 提取 JSON 部分LLM 可能在回答中包含说明文字 json_start result_text.find({) json_end result_text.rfind(}) 1 json_str result_text[json_start:json_end] return json.loads(json_str) except Exception as e: return {error: f分析失败: {str(e)}}4.4 第四步分类与存储根据解析结果自动分类并存储import sqlite3 from datetime import datetime def categorize_receipt(receipt_data: dict) - str: 根据发票内容自动分类 category_keywords { 餐饮: [餐厅, 饭店, 美食, 餐饮, 外卖, 咖啡], 交通: [出租车, 滴滴, 地铁, 机票, 火车, 加油], 办公: [文具, 打印, 办公用品, 设备, 电脑], 住宿: [酒店, 宾馆, 住宿, 旅馆] } merchant_name receipt_data.get(merchant_name, ).lower() items_text .join([item.get(name, ) for item in receipt_data.get(items, [])]) full_text merchant_name items_text for category, keywords in category_keywords.items(): if any(keyword in full_text for keyword in keywords): return category return 其他 def store_receipt_data(receipt_data: dict, original_filename: str): 存储发票数据到数据库 conn sqlite3.connect(receipts.db) cursor conn.cursor() # 创建表如果不存在 cursor.execute( CREATE TABLE IF NOT EXISTS receipts ( id INTEGER PRIMARY KEY AUTOINCREMENT, original_filename TEXT, document_type TEXT, merchant_name TEXT, invoice_date TEXT, total_amount REAL, category TEXT, items_json TEXT, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) ) # 自动分类 category categorize_receipt(receipt_data) receipt_data[category] category # 插入数据 cursor.execute( INSERT INTO receipts (original_filename, document_type, merchant_name, invoice_date, total_amount, category, items_json) VALUES (?, ?, ?, ?, ?, ?, ?) , ( original_filename, receipt_data.get(document_type), receipt_data.get(merchant_name), receipt_data.get(invoice_date), receipt_data.get(total_amount), category, json.dumps(receipt_data.get(items, []), ensure_asciiFalse) )) conn.commit() conn.close()5. 完整系统集成将各个模块组合成完整系统app.post(/analyze-receipt) async def analyze_receipt(file: UploadFile File(...)): 完整发票分析流程 # 1. 保存上传文件 file_extension os.path.splitext(file.filename)[1] unique_filename f{uuid.uuid4()}{file_extension} file_path os.path.join(UPLOAD_DIR, unique_filename) with open(file_path, wb) as buffer: content await file.read() buffer.write(content) # 2. 文档预处理 try: images preprocess_document(file_path) if not images: return {error: 文档处理失败} # 3. LLM 分析使用第一张图像 api_key os.getenv(OPENAI_API_KEY) # 从环境变量获取 analysis_result analyze_receipt_with_llm(images[0], api_key) if error in analysis_result: return {error: analysis_result[error]} # 4. 存储结果 store_receipt_data(analysis_result, file.filename) return { status: success, analysis: analysis_result, uploaded_file: unique_filename } except Exception as e: return {error: f处理过程中出错: {str(e)}} finally: # 清理临时文件 if os.path.exists(file_path): os.remove(file_path)6. 部署与运行测试6.1 本地运行创建主程序文件main.pyif __name__ __main__: import uvicorn uvicorn.run(app, host0.0.0.0, port8000)运行服务# 安装依赖 pip install -r requirements.txt # 设置 API 密钥 export OPENAI_API_KEYyour-api-key-here # 启动服务 python main.py6.2 测试上传功能使用 curl 测试上传接口curl -X POST -F file/path/to/your/receipt.jpg http://localhost:8000/analyze-receipt预期返回结果{ status: success, analysis: { document_type: 增值税普通发票, merchant_name: 某某餐厅, invoice_date: 2024-03-15, total_amount: 256.00, category: 餐饮, items: [ {name: 餐费, quantity: 1, price: 256.00} ] }, uploaded_file: a1b2c3d4-5678-90ab-cdef-123456789012.jpg }6.3 前端界面优化为提升用户体验可以添加简单的前端界面!DOCTYPE html html head title发票上传系统/title style .upload-container { max-width: 500px; margin: 50px auto; padding: 20px; } .result { margin-top: 20px; padding: 15px; background: #f5f5f5; } /style /head body div classupload-container h2智能发票识别系统/h2 input typefile idfileInput multiple acceptimage/*,.pdf button onclickuploadFiles()上传并分析/button div idresult classresult/div /div script async function uploadFiles() { const fileInput document.getElementById(fileInput); const resultDiv document.getElementById(result); if (!fileInput.files.length) { resultDiv.innerHTML 请选择文件; return; } resultDiv.innerHTML 处理中...; for (let file of fileInput.files) { const formData new FormData(); formData.append(file, file); try { const response await fetch(/analyze-receipt, { method: POST, body: formData }); const result await response.json(); if (result.status success) { resultDiv.innerHTML div h4${file.name} 分析结果/h4 pre${JSON.stringify(result.analysis, null, 2)}/pre /div ; } else { resultDiv.innerHTML div${file.name} 处理失败: ${result.error}/div; } } catch (error) { resultDiv.innerHTML div${file.name} 上传失败: ${error}/div; } } } /script /body /html7. 常见问题与解决方案在实际使用中可能会遇到以下典型问题7.1 LLM 识别精度问题问题现象LLM 无法正确识别某些发票格式或提取错误信息。解决方案优化提示词提供更详细的识别指令和示例图像预处理调整图像质量、对比度和尺寸多模型备用准备多个 LLM 服务作为备选方案def enhanced_receipt_analysis(image_data: str, api_keys: dict) - dict: 增强版发票分析支持多个 LLM 服务 # 尝试主要服务 result analyze_receipt_with_llm(image_data, api_keys[openai]) if result.get(document_type) and not result.get(error): return result # 主服务失败时尝试备用服务 if claude in api_keys: # 使用 Claude API 的类似实现 pass return result7.2 文件格式兼容性问题问题现象某些 PDF 文件或图像格式无法正常处理。解决方案def robust_document_conversion(file_path: str) - list: 健壮的文档转换函数 supported_image_formats [.jpg, .jpeg, .png, .bmp, .tiff, .webp] file_ext os.path.splitext(file_path)[1].lower() try: if file_ext .pdf: return convert_pdf_to_images(file_path) elif file_ext in supported_image_formats: return convert_image_to_base64(file_path) else: # 尝试使用 PIL 自动识别格式 try: with Image.open(file_path) as img: return convert_image_to_base64(file_path) except: raise ValueError(f不支持的文件格式: {file_ext}) except Exception as e: # 记录错误日志 print(f文档转换失败: {str(e)}) return []7.3 性能优化建议对于大量发票处理场景需要考虑性能优化异步处理文件上传后立即返回后台异步处理分析任务批量处理支持多个文件同时上传和分析缓存机制对相似发票模板使用缓存结果限流控制避免 API 调用过于频繁被限制8. 生产环境最佳实践将系统投入实际使用时需要注意以下要点8.1 安全考虑API 密钥管理使用环境变量或专业密钥管理服务避免硬编码文件类型限制严格限制可上传文件类型防止恶意文件上传大小限制设置合理的文件大小限制避免资源耗尽数据加密敏感信息在传输和存储时进行加密8.2 错误处理与日志import logging from functools import wraps # 配置日志 logging.basicConfig( levellogging.INFO, format%(asctime)s - %(name)s - %(levelname)s - %(message)s, handlers[ logging.FileHandler(receipt_processor.log), logging.StreamHandler() ] ) def log_errors(func): 错误日志装饰器 wraps(func) async def wrapper(*args, **kwargs): try: return await func(*args, **kwargs) except Exception as e: logging.error(fError in {func.__name__}: {str(e)}, exc_infoTrue) raise return wrapper8.3 数据库优化对于大量数据存储场景-- 添加索引提升查询性能 CREATE INDEX idx_receipts_category ON receipts(category); CREATE INDEX idx_receipts_date ON receipts(invoice_date); CREATE INDEX idx_receipts_merchant ON receipts(merchant_name); -- 定期清理旧数据如需要 -- DELETE FROM receipts WHERE created_at DATE(now, -1 year);8.4 监控与告警实现基本的系统监控import psutil import time def system_health_check(): 系统健康检查 return { timestamp: time.time(), cpu_percent: psutil.cpu_percent(), memory_percent: psutil.virtual_memory().percent, disk_usage: psutil.disk_usage(/).percent, active_connections: 0 # 需要根据实际实现添加 }9. 扩展功能与进阶应用基础系统完成后可以考虑以下扩展方向9.1 多用户支持添加用户认证和权限管理支持多个团队或用户使用from fastapi import Depends from fastapi.security import HTTPBearer security HTTPBearer() app.post(/user/upload) async def user_upload( file: UploadFile File(...), token: str Depends(security) ): 用户专属上传接口 user_id authenticate_user(token) # 实现用户认证 # ... 其余逻辑与之前类似但关联用户信息9.2 高级分类规则基于机器学习或规则引擎实现更智能的分类from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.ensemble import RandomForestClassifier import joblib class ReceiptClassifier: def __init__(self): self.vectorizer TfidfVectorizer() self.classifier RandomForestClassifier() self.is_trained False def train(self, training_data): 基于历史数据训练分类器 # 实现训练逻辑 pass def predict(self, receipt_data): 预测发票分类 if not self.is_trained: return self.rule_based_predict(receipt_data) # 实现机器学习预测 pass9.3 与财务系统集成将识别结果直接导入常用财务软件def export_to_quickbooks(receipt_data): 导出到 QuickBooks # 实现与财务软件的 API 集成 pass def generate_accounting_report(receipts_data, start_date, end_date): 生成会计报告 # 实现报告生成逻辑 pass通过以上实现我们不仅复现了 Sorted Receipts 的核心功能还提供了完整的、可扩展的技术方案。这种基于 LLM 的文档处理思路可以应用于各种业务场景如合同审查、报告生成、数据提取等。在实际项目中建议先从最小可行产品开始逐步迭代功能。重点确保核心的识别准确率和系统稳定性再考虑添加高级功能。这种技术方案特别适合需要处理大量非结构化文档的企业场景能显著提升工作效率和数据质量。
双梁正问题 【 torch 实战】（Python代码实现）)
