下级分类
AI 大模型开发25 篇
AI 开发
模型应用、提示工程与 AI 开发实践。
专题分组
下级分类
8 分钟
稠密向量 与 稀疏向量
💡 **为什么要了解稀疏向量和稠密向量？** 在构建 RAG（Retrieval-Augmented Generation，检索增强生成）系统时，检索质量直接决定了最终生成答案的好坏。而检索的核心就在于如何把文本变成向量、用什么样的向量去匹配。理解稀疏向量和稠密向量的区别，能帮助你选择合适的检索策略，甚至将两者结合以获得最佳效果。 在信息检索和 RAG 里，我们把一段文本（句子、段落、文档）转换成一个**数字列表**，这个列表就叫**…
向量
AI 大模型开发8 分钟
使用 attu 创建向量数据库
创建 collection 建立索引： 使用稀疏向量 **表结构**、**度量标准**和**算法参数**三个维度。 字段属性 (Schema Fields) 在向量数据库中，每一行数据不再只是简单的文本，而是由以下核心字段组成： **FloatVector(1024)**: **概念**: 这是一个高维向量字段。 **1024 (维度)**: 这必须与你的 Embedding 模型（如 BGE-M3）输出的维度完全一致。它代表了将一段…
11 分钟
RAG 架构的认识
主要步骤 对于 rag 体系，主要分为以下的步骤： | **阶段** | **核心动作** | **进阶动作** | | --- | --- | --- | | **数据准备** | 数据etl、分块、元数据提取、Embedding、索引建立 | 语义切分、元数据提取 | | **用户输入** | 接收 Query | **查询改写、子问题拆解** | | **召回** | 向量数据库检索 | **混合检索 (Hybrid Searc…
rag
7 分钟
CPU 跑 Rerank 太慢？一个脚本开启 INT8 量化，性能大幅度提升！
前言 在构建企业级 RAG（检索增强生成）系统时，**Rerank（重排序）** 是提升准确率的关键一环。我们通常会选择强大的 CPU 服务器来部署这一服务，比如拥有恐怖核心数的 AMD EPYC 系列。 然而，许多人在部署 HuggingFace 的 text-embeddings-inference (TEI) CPU 版后会发现：**为什么我的 CPU 利用率不高，推理速度也不尽如人意？** 感觉就像开着法拉利在送外卖。 根本原…
7 分钟
tei-rerank 部署重排模型bge-reranker-v2-m3
下载模型 配置 onnx 转换 vim convert_to_onnx.py 下载模型，因为需要 onnx 转换，所以使用 python 进行转换 配置 docker-compose **Docker 的坑：** 默认情况下，Docker 只给容器分配 **64MB** 的共享内存。 **AI 的需求：** TEI、PyTorch、Ollama 这些 AI 程序，在处理大量并发或大模型时，需要在进程间传输巨大的矩阵数据。 **后果：*…
2 分钟
本地部署 ollma+ qwen 7B大模型
vim docker-compose.yml 下载并运行 Qwen2.5-7B 测试代码对吗：
7 分钟
搭建tei-embedding 与配置bge-m3 文本模型
下载模型 以这个 bge-m3 为例： save_dir 就是保存的绝对路径，根据需要修改 tei 部署 测试 部署测试 你会看到屏幕上瞬间刷出一屏密密麻麻的浮点数：[[0.0123, -0.0456, ...]]。 只要看到这一屏数字，说明 **TEI 活了**，模型加载成功，推理功能正常。 如果报错 Connection refused，说明容器没起来或者端口没对上。 相似度测试 运行结果：
AI 大模型开发11 分钟
部署milvus 向量数据库与可视化attu
docker-compose 部署 部署minio 首选会使用到 Minio 因为我之前配过，所以这里直接使用了即可。 注意需要自己的 MINIO_ROOT_USER 和 MINIO_ROOT_PASSWORD milvus 其他的服务 注意修改MINIO_ACCESS_KEY_ID 和MINIO_SECRET_ACCESS_KEY 的值。 先启动 Minio 然后启动这个 docker-compose 的文件。 一开始启动会报错，不…
AI 大模型开发14 分钟
langfuse追踪Trace
目录 [[toc]] 介绍 **🧠 Langfuse 是什么？** **Langfuse** 是一个专门为 **LLM 应用（如 OpenAI / LangChain / 自定义 Agent）** 设计的 **观测与追踪平台（Observability Platform）**。 > 简单说，它就像是你为 AI 应用插上的 “黑匣子”，可以记录每一次调用过程、上下文、耗时、错误等信息，并提供 Web UI 让你可视化分析和优化。 | *…
22 分钟
OpenAI工具调用
目录 [[toc]] 工作流程 **第 1 步：调用模型，传入工具列表** 使用工具链 OpenAI： • 会分析你的 user 提问； • 判断是否需要调用某个工具； • 如果需要，就会返回一个 **tool_calls 字段**，说明它“决定调用哪个函数 + 参数”。 | **步骤** | **角色** | **内容** | | -------- | -------- | -----------------------------…