termux-ml-constraints.md
1.56 KB
Termux ARM64 ML 方案排除详情
每个方案被排除的具体原因,避免将来重新评估时踩同样的坑。
ChromaDB
pip install chromadb安装后占用 300MB+- 依赖链:sqlite3 → hnswlib → onnxruntime → tokenizers → pydantic → ...
- hnswlib 需要 C++ 编译,ARM64 上可能失败
- 对于几百到几千篇文档的场景,过度设计
FAISS
faiss-cpu的 pip wheel 只支持 Linux x86_64 和 macOS- 从源码编译需要:BLAS/LAPACK、swig、C++17 编译器
- Termux 的 clang + cmake 理论上可编译,但交叉编译依赖项(openblas)极麻烦
- 官方不提供 aarch64 Android wheel
LanceDB
- 底层用 Rust 编写(lance 格式)
- pip 安装时触发 Rust 工具链编译
- Termux 上的 Rust 工具链不完整
- 即使编译成功,二进制体积也过大
Milvus / Qdrant / Weaviate
- 全是 Docker-first 部署
- Milvus 最低要求 4GB RAM + Docker
- 本地嵌入式模式理论上存在但文档不完善
- 数据量几千篇,这些方案过度设计
pgvector
- 需要完整的 PostgreSQL 安装
- Termux 有 postgresql 包但维护成本高
- 为了几百条向量装一个数据库,不值得
OpenAI / Cohere Embedding API
- 用户明确要求本地方案,不走云端
- 虽然最简单,但不符合需求约束
最终选择
numpy + SQLite BLOB:
- numpy 已安装(Python 标准数据科学生态)
- SQLite 是 Python 标准库
- 余弦相似度 top-K 对千级向量只需
- 零额外依赖,零编译
- 向量存为 BLOB(
numpy.tobytes()/numpy.frombuffer())