🖼️CLIP-CoreML

type
status
slug
summary
tags
category
icon
password
Date
CLIP-CoreML
OpenAI CLIP coreML 版本，适用于 iOS 文本图像嵌入、图像搜索、图像聚类、图像分类
剪辑文本
notion image
剪辑图片
notion image
 
CLIP-CoreML
sinnuswong • Updated May 20, 2024
 
 
 
OpenAI CLIP 版 Android 文本图像嵌入、图像搜索、图像聚类、图像分类
notion image
🔍 用自然语言搜索本地图片，完全离线运行。例如，“桌上的笔记本电脑”、“海边的日落”、“草地上的小猫”等等。
  • 完全免费，无应用内购买
  • 支持英文和中文
  • 图像的索引和搜索完全离线工作，无需担心隐私
  • 搜索 8,000 多张照片时不到 1 秒即可显示结果
  • 首次启动时等待索引，然后立即搜索
安装
notion image
  • Google Play - 搜索“PicQuery”
  • 如果您无法访问上述资源，请参阅此处
🍎 对于 iOS 用户，请参阅Queryable（代码），该应用程序背后的灵感，由@mazzzzystar开发。
执行
感谢@mazzzystar和@Young-Flash在开发过程中提供的帮助。讨论可在此处查看。
PicQuery由 OpenAI 的CLIP 模型提供支持。
首先，使用图像编码器将要搜索的图像编码为矢量并存储在数据库中。用户在搜索过程中提供的文本也被编码成向量。然后将编码的文本向量与索引的图像向量进行比较以计算相似度。选择相似度得分最高的前K张图像作为查询结果。
构建并运行
要构建此项目，您需要获得量化的 CLIP 模型。
逐步运行此jupyter Notebook中的脚本。当您进入“您已完成”./result 部分时，您应该在目录中获得以下模型文件：
  • clip-image-int8.ort
  • clip-text-int8.ort
如果您不想运行脚本，可以直接从Google Drive下载它们。
将它们放入app\src\main\assets即可开始使用。
致谢
执照
该项目是根据 MIT 许可证开源的。版权所有。
 
PicQuery
greyovo • Updated May 22, 2024
Converted Core ML Model ZooApple CoreML Tools