termux-ml-constraints.md 1.56 KB

Termux ARM64 ML 方案排除详情

每个方案被排除的具体原因,避免将来重新评估时踩同样的坑。

ChromaDB

  • pip install chromadb 安装后占用 300MB+
  • 依赖链:sqlite3 → hnswlib → onnxruntime → tokenizers → pydantic → ...
  • hnswlib 需要 C++ 编译,ARM64 上可能失败
  • 对于几百到几千篇文档的场景,过度设计

FAISS

  • faiss-cpu 的 pip wheel 只支持 Linux x86_64 和 macOS
  • 从源码编译需要:BLAS/LAPACK、swig、C++17 编译器
  • Termux 的 clang + cmake 理论上可编译,但交叉编译依赖项(openblas)极麻烦
  • 官方不提供 aarch64 Android wheel

LanceDB

  • 底层用 Rust 编写(lance 格式)
  • pip 安装时触发 Rust 工具链编译
  • Termux 上的 Rust 工具链不完整
  • 即使编译成功,二进制体积也过大

Milvus / Qdrant / Weaviate

  • 全是 Docker-first 部署
  • Milvus 最低要求 4GB RAM + Docker
  • 本地嵌入式模式理论上存在但文档不完善
  • 数据量几千篇,这些方案过度设计

pgvector

  • 需要完整的 PostgreSQL 安装
  • Termux 有 postgresql 包但维护成本高
  • 为了几百条向量装一个数据库,不值得

OpenAI / Cohere Embedding API

  • 用户明确要求本地方案,不走云端
  • 虽然最简单,但不符合需求约束

最终选择

numpy + SQLite BLOB:

  • numpy 已安装(Python 标准数据科学生态)
  • SQLite 是 Python 标准库
  • 余弦相似度 top-K 对千级向量只需
  • 零额外依赖,零编译
  • 向量存为 BLOB(numpy.tobytes() / numpy.frombuffer())