Dari perspektif operasi di AINNA, salah satu usaha kami untuk menampung kos distilling LLM sendiri ialah dengan membina lebih banyak 分离式系统.
Prinsipnya mudah:
Jangan gunakan LLM untuk kerja yang sudah boleh diramal.
Setiap minggu, sasaran saya di lapangan ialah membina dalam dua belas 分离式系统 yang berat, dengan penyelidikan yang cukup supaya kita faham aliran kerja, kenal pasti corak, tetapkan peraturan, dan sahkan sistem.
Bila masalah lebih kompleks, saya biasa gunakan ChatGPT atau Claude dulu sebagai lapisan penyelidikan dan penaakulan tahap tinggi.
Aliran kerjanya jadi macam ini:
Masalah Kompleks → Penyelidikan → Penaakulan → 蒸馏 → Logik Deterministik → Penghalaan Pintar → DeepSeek V4 Flash / LLM Sendiri → Pelaksanaan
Yang penting ialah apa yang berlaku selepas logik deterministik.
Kalau bebanan kerja tu boleh selesai pakai peraturan, parser, pengesahan, atau logik berstruktur, 独立系统 akan ambil alih terus.
Kalau perlu lebih penaakulan, bebanan kerja dihala ke DeepSeek V4 Flash sebagai model luar yang cekap kos.
Untuk kerja yang khusus, strategik, sensitif, atau berkaitan kedaulatan, sistem boleh alihkan tugas ke model LLM sendiri.
Jadi, ini bukan tentang menghapuskan LLM.
Ini tentang menggunakannya secara terpilih.
Logik deterministik dulu.
LLM cekap kos bila perlu.
LLM sendiri bila kecerdasan khusus, kawalan, atau kedaulatan jadi keutamaan.
Reka bentuk ni juga membuat ekonomi pembinaan model sendiri lebih mampu.
Lebih banyak kerja yang kita asingkan, lebih rendah kos token dan inferens berulang.
Bila kos turun, lebih banyak sumber boleh kita salurkan ke distilling model, penilaian, infrastruktur, dan pembangunan ekosistem LLM sendiri.
Itu antara teras idea di sebalik AINNA NeuralOps.
#AINNA #NeuralOps #DetachedSystems #LLM #AIDistillation #SovereignAI #AIInfrastructure #DeepSeek #ChatGPT #Claude #EnterpriseAI #自动化
