AI 大模型开发

目录 [[toc]] 介绍 **🧠 Langfuse 是什么？** **Langfuse** 是一个专门为 **LLM 应用（如 OpenAI / LangChain / 自定义 Agent）** 设计的 **观测与追踪平台（Observability Platform）**。 > 简单说，它就像是你为 AI 应用插上的 “黑匣子”，可以记录每一次调用过程、上下文、耗时、错误等信息，并提供 Web UI 让你可视化分析和优化。 | *…

目录 [[toc]] 工作流程 **第 1 步：调用模型，传入工具列表** 使用工具链 OpenAI： • 会分析你的 user 提问； • 判断是否需要调用某个工具； • 如果需要，就会返回一个 **tool_calls 字段**，说明它“决定调用哪个函数 + 参数”。 | **步骤** | **角色** | **内容** | | -------- | -------- | -----------------------------…

目录 [[toc]] 介绍 开源地址： https://github.com/tadata-org/fastapi_mcp FastAPI-MCP 是一个开源项目，旨在简化 FastAPI 应用与现代 AI 代理（如基于大语言模型的系统）之间的集成。它通过自动将 FastAPI 的所有 API 端点暴露为符合 Model Context Protocol（MCP）标准的工具，使得 AI 代理能够直接调用和理解这些接口，整个过程无需额外…

目录 [[toc]] 可以使用 one-api 进行 统一管理 API 服务。这样参数 base_url 和 api_key 就是无所谓的了，那么只有 model 就可以了。 基本对话函数使用 细节注意与相关说明 如果是 out_put 是 json 格式的，注意 一定要在系统词加这个说明： OpenAI 的 Chat 接口接收一个 **messages 列表**，每个元素是： system：设定全局行为/风格/约束（**应当放最前*…

目录 [[toc]] 方案设计 对上面每一个管理器都是非常值得深入研究的。 **MemoryStore（多段记忆存储）** • 持久化存储各段摘要（可以用 Redis／数据库／文件），并支持检索和插入 **Summarizer（摘要生成）** • 将超长对话块压缩成简短摘要，保持语义(专门的 LLM 或本地模型） **ContextManager（窗口裁剪 + 多段拼接）** 保证拼接到模型的上下文长度 ≤ token 限制 裁剪最新…

OpenAI 流式的代码： 首选一般请使用os.getenv 去读环境变量的内容 注意使用pip install python-dotenv 的安装方法 load_dotenv 是这个库提供的一个函数，用于读取 .env 文件并将其中定义的键值对设置为系统的环境变量。 默认情况下，load_dotenv() 会自动查找当前目录下的 .env 文件。如果文件不在默认路径，可以通过参数指定，例如 load_dotenv('/path/to…

（将第一段替换为新类别的简要说明。此指导将显示在类别选择区域中，因此请尽量将其保持在 200 个字符以内。） 使用以下段落提供详细描述或者建立类别准则或规则： 为什么应使用此类别？它用来做什么？ 此类别和我们已经有的类别究竟有什么不同？ 此类别中的话题一般包含什么？ 我们需要此类别吗？我们可以将其与其他类别或子类别合并吗？