HTML
超文本标记语言（HTML） (opens in a new tab) 是用于在Web浏览器中显示的文档的标准标记语言。
这部分涵盖了如何将HTML文档加载到我们可以在下游使用的文档格式中。
from langchain_community.document_loaders import UnstructuredHTMLLoaderloader = UnstructuredHTMLLoader("example_data/fake-content.html")data = loader.load()data [Document(page_content='My First Heading\n\nMy first paragraph.', lookup_str='', metadata={'source': 'example_data/fake-content.html'}, lookup_index=0)]使用BeautifulSoup4加载HTML
我们还可以使用BeautifulSoup4来使用BSHTMLLoader加载HTML文档。 这将把HTML中的文本提取到page_content中，将页面标题作为title提取到metadata中。
from langchain_community.document_loaders import BSHTMLLoaderloader = BSHTMLLoader("example_data/fake-content.html")
data = loader.load()
data [Document(page_content='\n\nTest Title\n\n\nMy First Heading\nMy first paragraph.\n\n\n', metadata={'source': 'example_data/fake-content.html', 'title': 'Test Title'})]使用SpiderLoader加载HTML
Spider (opens in a new tab) 是最快 (opens in a new tab)的爬虫。它可以将任何网站转换为纯 HTML、markdown、元数据或文本，同时让你使用 AI 自定义操作进行爬取。
Spider 允许你使用高性能代理来防止检测、缓存 AI 操作、用于爬取状态的 webhook、定时爬取等...
前提条件
你需要一个 Spider API 密钥才能使用此加载器。你可以在 spider.cloud (opens in a new tab) 上获取一个。
%pip install --upgrade --quiet langchain langchain-community spider-clientfrom langchain_community.document_loaders import SpiderLoader
loader = SpiderLoader(
api_key="YOUR_API_KEY", url="https://spider.cloud", mode="crawl"
)
data = loader.load()有关指南和文档，请访问 Spider (opens in a new tab)
使用FireCrawlLoader加载HTML
FireCrawl (opens in a new tab) 会爬取任何网站并将其转换为 markdown。它会爬取所有可访问的子页面，并为你提供干净的 markdown 和每个页面的元数据。
FireCrawl 能处理反向代理、缓存、速率限制以及被 JavaScript 阻止的内容等复杂任务。
前提条件
你需要一个 FireCrawl API 密钥才能使用此加载器。你可以通过注册 FireCrawl (opens in a new tab) 获取一个。
%pip install --upgrade --quiet langchain langchain-community firecrawl-py
from langchain_community.document_loaders import FireCrawlLoader
loader = FireCrawlLoader(
api_key="YOUR_API_KEY", url="https://firecrawl.dev", mode="crawl"
)
data = loader.load()有关如何使用 FireCrawl 的更多信息，请访问 FireCrawl (opens in a new tab)。
使用AzureAIDocumentIntelligenceLoader加载HTML
Azure AI文档智能 (opens in a new tab)（以前称为Azure Form Recognizer）是基于机器学习的服务，用于从数字或扫描的PDF、图像、Office和HTML文件中提取文本（包括手写）、表、文档结构（例如标题、节标题等）和键值对。 文档智能支持 PDF、JPEG/JPG、PNG、BMP、TIFF、HEIF、DOCX、XLSX、PPTX 和 HTML。
这个使用文档智能的当前实现 (opens in a new tab)可以逐页合并内容并将其转换为LangChain文档。 默认的输出格式是markdown，可以轻松地与MarkdownHeaderTextSplitter链接以进行语义文档分块。 您还可以使用mode="single"或mode="page"来返回纯文本，一个页面或根据页面拆分的文档。
先决条件
在3个预览区域之一拥有Azure AI文档智能资源：East US、West US2、West Europe - 如果没有，请参考此文档 (opens in a new tab) 创建一份。 您将作为参数传递 <endpoint> 和 <key> 给加载器。
%pip install --upgrade --quiet langchain langchain-community azure-ai-documentintelligence
from langchain_community.document_loaders import AzureAIDocumentIntelligenceLoader
file_path = "<filepath>"
endpoint = "<endpoint>"
key = "<key>"
loader = AzureAIDocumentIntelligenceLoader(
api_endpoint=endpoint, api_key=key, file_path=file_path, api_model="prebuilt-layout"
)
documents = loader.load()