KEJEPRET-AI

Tentang KEJEPRET-AI

KEJEPRET-AI adalah layanan pengenalan wajah yang menghubungkan selfie pelari dengan wajah pada foto event olahraga. Backend marketplace KeJepret mengirim referensi pelari dan foto kandidat, lalu memakai hasil pencarian untuk menampilkan foto yang memiliki kecocokan.

Saya membangun layanan Python/FastAPI ini, mulai dari inisialisasi model pretrained InsightFace, pemrosesan gambar, penyimpanan embedding, hingga API pencarian. KeJepret menggunakan layanan ini sebagai integrasi AI pada produk marketplace.

Kontribusi saya

Inisialisasi model dan runtime inferensi

Saya menyiapkan model pretrained InsightFace buffalo_l dengan ONNX Runtime pada CPU. Saya menghubungkan kebutuhan model dengan pemrosesan OpenCV/NumPy serta menyesuaikan lokasi artefak model. Bagian ini menjadi dasar layanan untuk menerima gambar dan menghasilkan representasi vektor wajah yang dapat dibandingkan.

Kontrak endpoint dan pemeriksaan akses

Saya menyusun schema request/response FastAPI dan Pydantic untuk enrollment, embedding foto, pencarian, penghapusan embedding, serta health. Endpoint mutasi dan pencarian memeriksa API key. Kontrak ini menghubungkan identitas pelari, URL gambar, daftar foto, dan keluaran layanan dengan backend marketplace.

Enrollment dan referensi wajah pelari

Saya membangun proses pengambilan gambar dari URL, decode gambar, deteksi wajah, serta pemilihan wajah terbesar sebagai referensi enrollment. Embedding dikaitkan dengan identitas pelari melalui operasi upsert agar enrollment berikutnya memperbarui referensi yang sama. Input tanpa wajah dikembalikan sebagai kegagalan input.

Ekstraksi beberapa wajah dalam foto

Saya mengembangkan pemrosesan foto event yang dapat memuat lebih dari satu wajah. Setiap embedding diberi hubungan ke foto dan indeks wajahnya. Ketika foto diproses ulang, embedding lama diganti agar data pencarian mengikuti hasil pemrosesan foto terbaru yang disimpan layanan.

Penyimpanan embedding dan hubungan data

Saya menyimpan vektor wajah berdimensi 512 pada PostgreSQL dengan ekstensi pgvector, beserta relasi pelari atau foto. Data referensi dan kandidat dipakai kembali ketika client meminta pencarian. Pemisahan hubungan pelari, foto, dan indeks wajah membantu memetakan hasil perbandingan kembali ke objek yang dikenali aplikasi.

Cosine similarity dan pengurutan hasil

Saya mengerjakan pengambilan embedding dari daftar foto kandidat, normalisasi vektor, serta perhitungan cosine similarity menggunakan NumPy. Saya mengambil skor terbaik per foto, memetakan skor ke skala aplikasi, menerapkan threshold, lalu mengurutkan hasil sebelum dikembalikan kepada client. Perbandingan kandidat dijalankan pada lapisan aplikasi Python.

Penghapusan data dan integrasi marketplace

Saya menyediakan endpoint untuk menghapus embedding pelari atau foto dan menyesuaikan kontrak identitas serta input daftar foto. Pekerjaan ini menghubungkan pemeliharaan data AI dengan perubahan data pada marketplace, sekaligus memastikan respons ID foto dan skor dapat dipakai oleh alur pencarian KeJepret.

Container dan kebutuhan hosting model

Saya menyesuaikan container, permission, lokasi model, serta kebutuhan startup layanan untuk lingkungan hosting. Saya juga memperbaiki kontrak API yang digunakan backend. Fokusnya adalah menyiapkan layanan inferensi yang dapat dipanggil aplikasi utama dengan bentuk input/output yang konsisten.