使用 Python 中的 Transformer 对 PDF 进行转换：信息摘要
介绍
Transformer 正在彻底改变自然语言处理，通过捕捉词汇关系提供精确的文本表达。从 PDF 中提取关键信息在今天变得至关重要，而 Transformer 提供了一种有效的自动化 PDF 摘要解决方案。Transformer 模型的适应性使其在处理各种文档格式方面变得不可估量。应用领域涵盖法律、金融和学术界等各行各业。本文介绍了一个 Python 项目，展示了使用 Transformer 进行 PDF 摘要的过程。通过遵循本指南，读者可以发掘这些模型的变革潜力，并从大量的 PDF 中获得洞察力。拥抱 Transformer 的力量，进行自动化文档分析，并踏上效率之旅。
学习目标
在本项目中，读者将获得与概述的学习目标相符的关键技能。这些目标包括：
- 深入了解 Transformer 的复杂操作，这可以彻底改变自然语言处理任务，例如文本摘要。
- 学习如何使用高级 Python 库（如 PyPDF2）执行 PDF 解析和文本提取，从 PDF 文件中提取文本。解决处理各种格式和布局所带来的复杂性。
- 熟悉增强文本摘要质量的基本预处理技术。完成诸如标记化、停用词去除和处理唯一字符或格式复杂性等任务。
- 通过应用先进的文本摘要技术，利用 Transformer 的威力。获得使用预训练 Transformer 模型（如 T5）进行 PDF 文档的提取式摘要的实践经验。
本文是数据科学博客马拉松的一部分。
项目描述
在本项目中，我们的目标是利用 Python Transformer 实现自动化 PDF 文件摘要。我们旨在优化从 PDF 中提取重要细节的过程，从而减少手动分析的繁琐性质。通过使用 Transformer 进行文本摘要，我们努力加快文档分析的速度，从而提高效率和生产力。通过实施预训练 Transformer 模型，我们旨在生成简洁的摘要，概括 PDF 文档中的关键信息。使读者能够掌握在其项目中使用 Transformer 进行流畅 PDF 摘要的专业知识是我们项目意图的核心。
问题陈述
减少从 PDF 文档中提取重要信息所需的时间和人力是一个重要的难题。手动摘要冗长的 PDF 具有劳动密集型的特点，容易出现人为错误，并且在处理大量文本数据时具有局限性。这些障碍显著阻碍了文档分析的效率和生产力，特别是当面临大量 PDF 时。
使用 Transformer 自动化此过程的重要性不言而喻。通过利用 Transformer 的变革能力，我们可以自动地从 PDF 文档中提取关键细节，包括重要的见解、显著的发现和关键论点。Transformer 的部署优化了摘要工作流程，减少了人为的干预，并加快了关键信息的检索。这种自动化使跨越不同领域的专业人士能够做出迅速、明智的决策，了解前沿研究，有效地浏览 PDF 文档的大量信息。
方法
我们这个项目的创新方法是利用 Transformer 摘要 PDF 文档。我们将强调提取式文本摘要，这涉及从原始文本中提取显著信息，而不是生成全新的句子。这与我们项目的目标完美契合，即生成简洁、信息丰富的摘要，概括从 PDF 中获得的关键细节。
为了实现这个方法，我们将按照以下步骤进行：
- PDF 解析和文本提取：我们将使用 PyPDF2 库来导航 PDF 文件，从每个页面提取文本内容。提取的文本将被仔细编制以进行后续处理。
- 文本编码和摘要：利用 Transformer 库，我们将利用 T5ForConditionalGeneration 模型的能力。凭借其预训练的能力，该模型对于文本生成任务非常有用。初始化模型和标记器，我们将使用 T5 标记器对提取的文本进行编码，确保后续步骤的适当表示。
- 摘要生成：借助编码输入的帮助，我们将调用 T5ForConditionalGeneration 模型的威力来生成摘要。通过对摘要的长度、质量和其他相关属性进行精细控制，我们可以将摘要过程量身定制以满足特定要求。此步骤的结果将表现为生成的摘要的编码表示。
- 解码摘要：最后一步涉及将生成的摘要解码为人类可读格式。这个关键过程是使用标记器执行的，它能够将编码摘要精确地翻译为连贯、易懂的文本。解码后的摘要是从原始 PDF 文档中提取的简洁、信息丰富的摘要。
场景
在这个背景下，让我们考虑一个假设性的场景，它围绕着一家跨国公司 XYZ Enterprises 的人力资源功能展开。XYZ Enterprises 收到来自全球各地的候选人的大量 PDF 简历和工作申请，用于不同的职位。由于时间限制和潜在的不一致性，对每份申请进行手动审核和提取相关信息对 HR 团队来说是一个重大的挑战。
XYZ Enterprises 可以通过使用 PDF summarizations 的转换器来简化其候选人评估流程。通过转换器的转换能力，人力资源团队可以自动从简历和申请中提取重要信息。通过生成简洁的摘要，转换器可以突出关键信息，如资格、经验、技能和成就，实现快速高效的评估。
通过在此场景中利用 PDF summarization 的转换器，XYZ Enterprises 可以加快候选人筛选过程，确保只有最相关和合格的候选人进入后续的选择轮。利用转换器展示了它们在增强人力资源功能中提高效率和准确性的实际应用，促进了组织更流畅和有效的招聘流程。
环境设置
我们必须精心建立一个 Python 环境，注入必要的库和依赖项，以使用 transformers 开始 PDF summarization 项目。以下是详细的步骤：
- 安装 Python：确认 Python 已安装在您的系统上。访问官方 Python 网站 (https://www.python.org) 下载适合您操作系统的最新版本。参考提供的安装说明成功设置 Python。
- 安装库：启动终端，命令提示符会话或任何 IDE，并使用 pip，Python 包管理器，安装必不可少的库。执行以下命令：
pip install PyPDF2
pip install transformers这些命令将安装 PyPDF2 库用于 PDF 解析和 transformers 库用于利用 transformer 模型。
3. 额外要求：根据特定项目需求调整环境，考虑潜在的补充库或依赖项。例如，如果您的项目需要使用特定的预训练 transformer 模型，如 BERT，则安装相应的 Hugging Face transformers 模型是必要的：
pip install transformers==4.12.04. 文本摘要模型：用于文本摘要的某些 transformer 模型可能需要补充下载或安装。如有需要，请遵循模型文档中提供的说明下载和配置必要的文件。
数据准备
采集和组织 PDF 文档的精细方法对于奠定项目基础和确保无缝数据处理至关重要。此外，处理扫描 PDF 上的 PDF 格式变化和执行 OCR 需要仔细考虑。这里，我们列出了推荐的步骤：
数据收集
收集项目所需的 PDF 文档，并确保它们在 AI 环境中可访问。为了我们的目的，让我们假设 HR 正在招聘一名数据科学角色，并从四名候选人那里收到了简历。将简历以 PDF 格式上传到指定的目录，这里是 ‘/content/pdf_files’ 目录。验证 PDF 文件是否可以轻松地用于后续处理步骤。
import os
import PyPDF2
from PIL import Image
import pytesseract
# 用于存储 PDF 简历和工作申请的目录
pdf_directory = '/content/pdf_files'
# 用于存储从 PDF 中提取的文本的目录
text_directory = '/content/extracted_text'
# 扫描 PDF 的 OCR 输出目录
ocr_directory = '/content/ocr_output'
# 如果不存在则创建目录
os.makedirs(pdf_directory, exist_ok=True)
os.makedirs(text_directory, exist_ok=True)
os.makedirs(ocr_directory, exist_ok=True)组织 PDF
创建一个连贯的文件夹结构，以系统地组织 PDF 文件。使用适当的分类方法，如职位、申请日期或候选人姓名，以确保文件的逻辑排列。这种组织框架有利于易于检索，并增强整个项目的数据处理效率。
PDF 格式处理和文本提取
PDF 文件通常展现出多样的格式、布局和编码。通过采用适当的预处理技术来解决这些变化。在提供的代码片段中，使用 PyPDF2 库打开每个 PDF 文件，从每个页面提取文本，并将提取的文本保存为单独的文本文件。提取的文本存储在 ‘/content/extracted_text’ 目录中。此步骤标准化数据并确保文本内容易于访问，以便进行进一步的处理阶段。
for file_name in os.listdir(pdf_directory):
if file_name.endswith('.pdf'):
# 打开PDF文件
with open(os.path.join(pdf_directory, file_name), 'rb') as file:
# 创建PDF阅读器对象
reader = PyPDF2.PdfReader(file)
# 从每个页面提取文本
text = ''
for page in reader.pages:
text += page.extract_text()
# 将提取的文本保存为文本文件
text_file_name = file_name.replace('.pdf', '.txt')
text_file_path = os.path.join(text_directory, text_file_name)
with open(text_file_path, 'w') as text_file:
text_file.write(text)OCR for Scanned PDFs (Optional)
扫描PDF或包含图像的PDF需要使用光学字符识别（OCR）技术将嵌入的图像转换为可读文本。 以下代码片段展示了利用pytesseract库执行OCR扫描的过程。 OCR文本将作为单独的文件保存在“/content/ocr_output”目录中。 此可选步骤扩大了数据处理的范围，解锁了嵌入在扫描PDF中的文本内容。
# 可选步骤
for file_name in os.listdir(pdf_directory):
if file_name.endswith('.pdf'):
# 打开PDF文件
with Image.open(os.path.join(pdf_directory, file_name)) as img:
# 使用pytesseract执行OCR扫描
ocr_text = pytesseract.image_to_string(img, lang='eng')
# 将OCR输出保存为文本文件
ocr_file_name = file_name.replace('.pdf', '.txt')
ocr_file_path = os.path.join(ocr_directory, ocr_file_name)
with open(ocr_file_path, 'w') as ocr_file:
ocr_file.write(ocr_text)PDF解析和文本提取
为了访问PDF简历和工作申请中的有价值信息，解析PDF文件并提取文本内容至关重要。这个过程涉及到解决各种格式、布局和可能出现的挑战。让我们深入探讨一下解析和从PDF文件中提取文本所需的步骤：
- 设置保存PDF简历和工作申请的目录。在这种情况下，我们将‘/content/pdf_files’目录作为指定位置。
- 获取指定PDF目录中存在的文件列表。通过检查它们的扩展名并考虑以‘.pdf’结尾的文件来过滤出仅PDF文件。
- 使用循环迭代每个简历文件。对于每个文件，按照以下步骤执行：
A. 打开文件：使用open()函数和上下文管理器以‘rb’（读取二进制）模式打开简历文件。这确保了安全的文件处理和完成后的自动关闭。
B. 创建PDF Reader对象：使用PyPDF2库的PdfReader()函数建立PDF Reader对象。该对象使得可以访问PDF文件内的内容。
C. 从页面提取文本：从每个PDF文件页面提取文本内容。使用循环迭代PDF Reader对象的pages属性遍历每个页面。使用extract_text()方法从每个页面提取文本并将其与现有文本进行连接。
D. 从提取过程中获得的文本存储在文本变量中。该变量在整个提取过程中累积了组合文本内容，这些内容来自于PDF文件的所有页面。
# 存储PDF简历和工作申请的目录
pdf_directory = '/content/pdf_files'
resume_files = []
for file_name in os.listdir(pdf_directory):
if file_name.endswith('.pdf'):
resume_files.append(os.path.join(pdf_directory, file_name))
resume_summaries = [] # 存储生成的摘要
# 循环处理每个简历文件
for resume_file in resume_files:
with open(resume_file, 'rb') as file:
# 创建PDF Reader对象
reader = PyPDF2.PdfReader(file)
# 从每个页面提取文本
text = ''
for page in reader.pages:
text += page.extract_text()使用Transformers实现文本摘要
在文本摘要的追求中，Transformers已经成为最先进的深度学习架构。它们展示了在保留原始文本的本质的同时，压缩信息的卓越能力。让我们深入了解实现步骤，重点介绍利用预训练模型如T5进行文本摘要的方法。
- 模型和分词器初始化：首先初始化T5模型和分词器。这些组件是我们文本摘要流程的支柱。在这个实例中，我们使用“t5-base”架构实例化T5模型。
- 文本编码：使用分词器对输入文本进行编码，以便进行摘要。这一步将文本转换为模型可以理解的数字表示形式。为了引导模型进行摘要，我们在文本前面加上指令“summarize”。
- 摘要生成：利用模型的强大功能生成摘要。采用波束搜索算法，模型探索各种路径来生成最适合的摘要。通过微调摘要长度、质量和其他参数，如长度惩罚和波束数量，来实现期望的结果。
- 摘要解码：使用分词器将摘要的数字表示解码为人类可读的文本。这一解码步骤使我们能够获得全面的概述，其中包括原始文本的关键细节。
- 存储摘要：通过将它们保存在resume_summaries列表中来捕获生成的摘要，为将来的利用提供一个集中的存储库。
- 打印摘要：遍历resume_summaries列表，并为每个简历呈现生成的摘要，附带适当的标识符。
# 从上一步继续循环
from transformers
import T5ForConditionalGeneration,T5Tokenizer
# 初始化模型和分词器
model = T5ForConditionalGeneration.
from_pretrained("t5-base")
tokenizer = T5Tokenizer.
from_pretrained("t5-base")
# 编码文本
inputs = tokenizer.encode("summarize: " + text,
return_tensors="pt", max_length=1000,
truncation=True)
# 生成摘要
outputs = model.generate(inputs,
max_length=1000, min_length=100,
length_penalty=2.0, num_beams=4,
early_stopping=True)
# 解码摘要
summary = tokenizer.decode(outputs[0])
resume_summaries.append(summary)
# 打印每个简历的生成摘要
for i, summary in enumerate(resume_summaries):
print(f"简历{i+1}的摘要：")
print(summary)
print()输出
对于我们处理的四份简历，我们得到以下输出。
简历1的摘要：
<pad> IT领域超过8年的经验，其中5年在大数据领域，目前在AirisData担任领先的数据工程师，专业于Pyspark、Spark SQL、PySpark、Data Frame和RDD。瑞士信贷：2020年12月的Rave卓越奖 • Brillio Technologies：2020年12月的季度员工 • Centurylink Technologies：2016年11月的Spot奖 • Centirylink Technologies：2015年9月的杰出团队奖。</s>
简历2的摘要：
<pad> 设计和实施Hadoop集群以存储和处理大量数据。开发了用于数据处理、数据清洗和数据分析的Spark应用程序。使用Apache NiFi构建数据管道以自动化数据流和处理。使用HTML、CSS、JavaScript、Django、Python和Android Studio为多个客户端开发了前端和后端。获得了无缺陷交付的insta奖。使用Tableau开发数据可视化仪表板，以提供业务趋势和绩效见解。</s>
简历3的摘要：
<pad> 在汽车行业拥有5.7年的数据工程师和数据科学家的经验。毕业于浦那大学机械工程专业，总体平均分76%，获得优异成绩。熟练掌握Pyspark SQL数据框架和RDD函数的知识。熟悉数据管理、ETL和RDBMS查询语言。从Kaggle、Scikit-learn和GitHub等地方参与了30多个数据科学项目。</s>
简历4的摘要：
<pad> 在云架构的数据仓库和数据湖的关系数据库方面具有强大的技术知识。使用PySpark ETL管道处理结构化和半结构化数据，Apache Airflow在大数据生态系统下自动化。使用严谨的改进、继承规划来降低项目风险、客户参与研讨会、基线期望和SLA来管理多个项目。与高层管理密切合作，确保项目的范围和方向按计划进行。</s>
其他真实世界应用
使用transformers进行PDF摘要具有跨行业的许多实际应用。让我们探索一些实际场景，这些技术可以被利用，并讨论进一步发展的可能性:
- 机密文件摘要: 在处理敏感或个人信息的行业中，例如金融或法律部门，transformers可以从机密PDF文档中摘要关键细节。可以在保护数据隐私并确保符合安全法规的情况下生成摘要。未来的增强可能包括开发安全的摘要框架，既保护敏感信息，又提供宝贵的见解。
- 医疗保健报告: 医疗专业人员经常难以从广泛的医疗报告和研究论文中提取关键信息。通过利用transformers进行PDF摘要，医生、研究人员和医疗服务提供商可以快速获得强调关键发现、诊断或治疗建议的摘要。未来的发展可能包括在医学文献上微调领域特定模型，以确保准确和相关上下文的摘要。
- 危机管理和紧急响应: 在危机或紧急情况下，决策者必须快速处理大量信息。使用transformers进行PDF摘要可以帮助总结情况报告、事件更新或风险评估，从而实现更快的决策和有效的紧急响应协调。未来的增强可能涉及实时摘要技术，在关键情况下提供最新和简洁的摘要。
限制和挑战
在讨论使用transformers进行PDF摘要的限制和挑战时，需要考虑更广泛的上下文并承认与该技术相关的潜在复杂性。在此，我们强调一些可能影响PDF摘要的性能和有效性的因素:
- 复杂的文档结构: 首先，transformers可能面临包含复杂结构的PDF文档的挑战，例如表格、图表或非标准格式。从这样复杂的布局中提取信息并在摘要中有效地表示它们可能是具有挑战性的。transformer模型可能难以保持连贯性或准确捕捉预期的含义，导致亚优化的摘要。
- 有限的上下文理解: 此外，transformers擅长捕捉给定上下文中的局部依赖关系。然而，当摘要需要考虑PDF文档中多个部分或页面的信息时，它们可能会在更广泛的上下文理解方面遇到困难。在不同节或章节之间生成全面和连贯的摘要仍然是一个挑战。
- 语言和领域偏见: 此外，针对大规模数据集进行训练的transformer模型可能无意中反映出训练数据中存在的偏见。这些偏见可能在生成的摘要中表现出来，特别是在处理特定领域、技术术语或文化细微差别时，可能导致偏斜或不准确的结果。解决语言和领域偏见需要仔细的数据集策划、微调和持续监控。
结论
在本文中，我们涵盖了使用transformers进行PDF摘要的重要方面。我们深入探讨了transformers在自然语言处理任务中的能力和应用，特别是在从PDF文档中摘要信息方面。通过探索提供的代码示例和逐步说明，读者在此领域获得了有价值的知识和技能。
主要收获
- 了解transformers的基础知识及其在文本摘要中的作用。
- 实施PDF解析和文本提取，以从PDF文件中获取文本内容。
- 利用预训练的transformer模型，例如T5，生成简洁的摘要。
- 探索PDF摘要在各个行业中的实际应用。
通过掌握这些技能，人们可以增强信息处理能力，简化文档分析，并利用transformers的强大功能高效地提取关键见解。从PDF文档中生成准确和简洁的摘要可实现更好的决策、更快的信息检索和更好的知识管理。
常见问题
本文中显示的媒体不属于Analytics Vidhya所有，是作者自行决定使用的。
