Skill Backend untuk AI Engineering: Peta dan Contoh Kode

Skill Backend untuk AI Engineering Adalah

Kuncinya ada pada sifat model sebagai layanan eksternal: ia lambat dibanding pemanggilan fungsi biasa, mahal per permintaan, tidak selalu memberi keluaran yang sama, dan bisa gagal kapan saja. Semua sifat itu adalah bahan klasik rekayasa backend, hanya dengan taruhan biaya yang lebih terasa. Urutan belajar lengkap dari nol ada di roadmap AI engineering dari backend. Artikel ini melengkapinya dari sisi sebaliknya: begitu Anda sudah paham fitur AI, skill backend mana yang menyelamatkan Anda di produksi.

Peta 12 Skill: Masalah yang Dipecahkan

Tiga Skill yang Kami Uji dengan Kode

Skill 3: Timeout dan Percobaan Ulang

Fungsi berikut membungkus panggilan model dengan batas waktu dan percobaan ulang bertahap. Jeda antarpercobaan membesar dua kali lipat ditambah sedikit acak supaya banyak klien tidak mencoba ulang serentak.

import asyncio, random

async def panggil_dengan_coba_ulang(fungsi, *, batas_waktu=10, maks_coba=3, jeda_awal=0.5):
    for percobaan in range(1, maks_coba + 1):
        try:
            return await asyncio.wait_for(fungsi(), timeout=batas_waktu)
        except (asyncio.TimeoutError, ConnectionError):
            if percobaan == maks_coba:
                raise
            jeda = jeda_awal * (2 ** (percobaan - 1)) + random.uniform(0, 0.1)
            await asyncio.sleep(jeda)

Hasil uji: fungsi yang gagal dua kali karena koneksi putus berhasil pada percobaan ketiga, dan fungsi yang selalu lambat memicu galat timeout setelah dua percobaan sesuai batas yang ditetapkan.

Skill 5: Caching

Kunci cache harus memuat semua hal yang memengaruhi jawaban: model, instruksi sistem, dan masukan. Jika salah satu berubah, kuncinya berubah, sehingga Anda tidak menyajikan jawaban lama untuk konteks baru.

import hashlib, json, time

class CacheJawaban:
    def __init__(self, ttl_detik=3600):
        self.ttl = ttl_detik
        self.data = {}

    def kunci(self, model, instruksi, masukan):
        mentah = json.dumps([model, instruksi, masukan.strip()], ensure_ascii=False)
        return hashlib.sha256(mentah.encode()).hexdigest()

    def ambil(self, k):
        item = self.data.get(k)
        if item and time.time() - item[0] < self.ttl:
            return item[1]
        return None

    def simpan(self, k, nilai):
        self.data[k] = (time.time(), nilai)

Hasil uji: sebelum disimpan, pengambilan mengembalikan kosong. Setelah disimpan, pertanyaan yang sama mengembalikan jawaban tersimpan, sedangkan pertanyaan berbeda menghasilkan kunci berbeda dan tidak salah ambil. Versi produksi biasanya memakai penyimpanan bersama seperti Redis, bukan kamus di memori proses.

Baca Juga:

Webhook untuk Hasil AI Async: Signature, Retry, Idempotensi

Skill 10: Log Terstruktur

Catat setiap panggilan model sebagai satu baris JSON dengan pengenal permintaan, model, status, latensi, dan jumlah token. Baris seperti ini mudah dicari dan dihitung.

import json, time, uuid, logging

logging.basicConfig(level=logging.INFO, format="%(message)s")
log = logging.getLogger("ai")

async def panggil_terlacak(fungsi, model, **kolom):
    id_permintaan = uuid.uuid4().hex[:8]
    mulai = time.perf_counter()
    status = "ok"
    try:
        return await fungsi()
    except Exception as e:
        status = type(e).__name__
        raise
    finally:
        log.info(json.dumps({
            "id": id_permintaan, "model": model, "status": status,
            "latensi_ms": round((time.perf_counter() - mulai) * 1000), **kolom
        }))

Hasil uji: panggilan sukses menghasilkan satu baris log dengan status "ok" dan latensinya, sedangkan panggilan yang gagal tetap tercatat dengan status nama galatnya. Dari log seperti ini Anda bisa menghitung biaya per fitur dan menemukan kapan latensi mulai naik. Jangan mencatat isi percakapan mentah bila memuat data sensitif.

Skill Lain yang Sering Diremehkan

Urutan Belajar Berdasarkan Kebutuhan

Urutan ini disusun dari akibat kegagalan: tingkat pertama mencegah fitur runtuh, tingkat kedua mencegah kerugian dan kebocoran, tingkat ketiga menjaga sistem tetap terkendali saat pemakaian tumbuh. Dasar pemanggilan model dari Python ada di panduan Gemini API dengan Python.

Daftar Periksa: Seberapa Siap Backend Anda untuk Fitur AI?

Jawab ya atau tidak untuk fitur AI yang sedang Anda buat:

1. Apakah setiap panggilan model punya batas waktu? Tanpa itu, satu model yang macet bisa menahan seluruh server.
2. Apakah percobaan ulang dibatasi dan hanya untuk galat yang aman diulang?
3. Apakah permintaan ganda dari klien bisa dikenali?
4. Apakah ada batas per pengguna dan peringatan biaya harian?
5. Apakah Anda tahu biaya rata-rata per permintaan dari data log?
6. Apakah kunci API tersimpan di luar kode dan luar repositori?
7. Apakah hak akses diterapkan di query, bukan di prompt?
8. Apakah keluaran model divalidasi sebelum dipakai?
9. Apakah ada dataset uji yang dijalankan setiap kali prompt atau model berubah?
10. Apakah ada jalur cadangan saat model gagal atau lambat?

Jika lebih dari tiga jawaban "tidak", perbaiki dulu fondasi sebelum menambah fitur. Untuk melihat skill ini dalam konteks jalur karier, lihat juga artikel skill programmer yang dibutuhkan di era AI.

Baca Juga:

Skema Database Riwayat Percakapan AI: Pola dan Query

Kesalahan Umum

• Menyelesaikan masalah backend dengan prompt. Jawaban lambat atau tagihan bengkak tidak bisa diperbaiki dengan kata-kata yang lebih manis.
• Memanggil model dari klien. Kunci API di aplikasi klien bisa dicuri. Panggil dari server Anda.
• Menganggap model sebagai fungsi deterministik. Keluarannya bisa berubah antarpanggilan dan antarversi model, jadi uji dan pantau.
• Mengabaikan biaya sampai tagihan datang. Catat token dan biaya sejak hari pertama.
• Mencatat terlalu banyak. Log yang menyimpan percakapan mentah bisa menjadi kebocoran data sendiri.

FAQ

Kesimpulan

Membangun fitur AI yang bertahan di produksi lebih banyak soal rekayasa backend daripada soal prompt. Dua belas skill di atas menjawab masalah yang hampir pasti Anda temui: model yang lambat, biaya yang membengkak, data yang bocor, dan sistem yang tak terpantau.

Wawasan yang sering terlewat: kegagalan fitur AI biasanya bukan kegagalan kecerdasan, melainkan kegagalan yang kita anggap sepele, seperti tidak ada timeout, tidak ada batas biaya, dan tidak ada log. Mulailah dari tiga hal termurah yang paling berdampak: batas waktu, percobaan ulang terbatas, dan log terstruktur. Lalu tambahkan sisanya sesuai risiko dan skala. Dengan begitu Anda bukan hanya bisa membuat demo AI, tetapi bisa mempertanggungjawabkannya di produksi.

Baca Juga:

Model Routing dan Fallback: Kapan Pindah Model Otomatis