文档加载器
注意:关于与第三方工具的内置文档加载器集成,请前往 集成 (opens in a new tab)。
使用文档加载器从来源加载数据为 Document。一个 Document 是一段文本
以及相关元数据。例如,有用于加载简单 .txt 文件的文档加载器,有用于加载任何网页文本
内容的加载器,甚至有用于加载 YouTube 视频文字记录的加载器。
文档加载器提供一个“load”方法,用于从配置好的来源加载数据为文档。它们还可以选择性地 实现“lazy load”,以惰性方式将数据加载到内存中。
入门
最简单的加载器把一个文件作为文本读入,并全部放入一个文档中。
from langchain_community.document_loaders import TextLoader
loader = TextLoader("./index.md")
loader.load()[
Document(page_content='---\nsidebar_position: 0\n---\n# 文档加载器\n\n使用文档加载器从来源加载数据为 `Document`。...', metadata={'source': '../docs/docs/modules/data_connection/document_loaders/index.md'})
]