Tech AI
全部
前言 在构建企业级 RAG（检索增强生成）系统时，**Rerank（重排序）** 是提升准确率的关键一环。我们通常会选择强大的 CPU 服务器来部署这一服务，比如拥有恐怖核心数的 AMD EPYC 系列。 然而，许多人在部署 HuggingFace 的 text-embeddings-inference (TEI) CPU 版后会发现：**为什么我的 CPU 利用率不高，推理速度也不尽如人意？** 感觉就像开着法拉利在送外卖。 根本原…
下载模型 配置 onnx 转换 vim convert_to_onnx.py 下载模型，因为需要 onnx 转换，所以使用 python 进行转换 配置 docker-compose **Docker 的坑：** 默认情况下，Docker 只给容器分配 **64MB** 的共享内存。 **AI 的需求：** TEI、PyTorch、Ollama 这些 AI 程序，在处理大量并发或大模型时，需要在进程间传输巨大的矩阵数据。 **后果：*…
下载模型 以这个 bge-m3 为例： save_dir 就是保存的绝对路径，根据需要修改 tei 部署 测试 部署测试 你会看到屏幕上瞬间刷出一屏密密麻麻的浮点数：[[0.0123, -0.0456, ...]]。 只要看到这一屏数字，说明 **TEI 活了**，模型加载成功，推理功能正常。 如果报错 Connection refused，说明容器没起来或者端口没对上。 相似度测试 运行结果：
默认进入 base 环境不好，建议设置成“默认不激活 base”： 这是 Anaconda 最近更新了服务条款（Terms of Service）导致的。现在即使是免费用户，也需要显式同意他们的条款才能下载包。 创建一个新环境 比如我们要跑 **Ollama** 的脚本或者 **Milvus** 的 Python 代码，建议建一个 Python 3.10 或 3.11 的环境。
docker-compose 部署 部署minio 首选会使用到 Minio 因为我之前配过，所以这里直接使用了即可。 注意需要自己的 MINIO_ROOT_USER 和 MINIO_ROOT_PASSWORD milvus 其他的服务 注意修改MINIO_ACCESS_KEY_ID 和MINIO_SECRET_ACCESS_KEY 的值。 先启动 Minio 然后启动这个 docker-compose 的文件。 一开始启动会报错，不…
官方 Runner 的配置是默认 2C7G 吗？会动态调整吗？ **默认配置：** 是的，对于最常用的 **Linux** 标准 Runner，官方默认配置确实接近你说的参数。 **Linux (Standard):** 2 vCPU, 7 GB RAM, 14 GB SSD 存储空间。 **Windows (Standard):** 2 vCPU, 7 GB RAM。 **macOS (Standard):** 3 vCPU, 14…
生成自签证书： vim default 这样可以通过IP 访问无法反查到你的真实域名。 可以去 **Censys 搜 IP** 去 search.censys.io 输入你的 IP
**《1亿人的小红书：时机、摇摆和决心（轻商业）》** 晚点LatePost 高洪浩 11个笔记 **点评** **2025/12/15 认为好看**轻商业，从不同的角度认识了 小红书的“发家史”。一直以为小红书是最近才开始火的，原来 2013 年就开始研发，从一开始的简陋的 pdf 到后面做海外电商,再到内容社区 UGC,她的定位确实很很多平台不一样。抖音讲究的是快、推荐算法；知乎是理性诙谐；b站则是学习之地，而小红书从一个单向的群…