聊天机器人
概述
聊天机器人是 LLM 最流行的用例之一。聊天机器人的核心特性是它们可以进行长时间运行的、有状态的对话，并能够利用相关信息回答用户问题。
架构
设计聊天机器人需要根据你期望它处理的问题类型，考虑各种具有不同收益和权衡的技术。
例如，聊天机器人通常会在私有数据上使用 检索增强生成（即 RAG），以更好地回答特定领域的问题。你也可以选择在多个数据源之间进行路由，以确保最终问答只使用最相关的上下文，或者选择使用比单纯来回传递消息更专用的聊天历史或记忆类型。
像这样的优化可以让你的聊天机器人更强大，但会增加延迟和复杂性。本指南旨在概述如何实现各种功能，并帮助你根据具体用例定制聊天机器人。