Dari perspektif operasi di AINNA, salah satu usaha kami untuk menampung kos distilling LLM sendiri ialah dengan membina lebih banyak 分离式系统.
Prinsipnya mudah:
Jangan gunakan LLM untuk kerja yang sudah boleh diramal.
Setiap minggu, sasaran saya di lapangan ialah membina dalam dua belas 分离式系统 yang berat, dengan penyelidikan yang cukup supaya kita faham aliran kerja, kenal pasti corak, tetapkan peraturan, dan sahkan sistem.
Bila masalah lebih kompleks, saya biasa gunakan ChatGPT atau Claude dulu sebagai lapisan penyelidikan dan penaakulan tahap tinggi.
Aliran kerjanya jadi macam ini:
Masalah Kompleks → Penyelidikan → Penaakulan → 蒸馏 → Logik Deterministik → Penghalaan Pintar → DeepSeek V4 Flash / LLM Sendiri → Pelaksanaan
Yang penting ialah apa yang berlaku selepas logik deterministik.
Kalau bebanan kerja tu boleh selesai pakai peraturan, parser, pengesahan, atau logik berstruktur, 独立系统 akan ambil alih terus.
Kalau perlu lebih penaakulan, bebanan kerja dihala ke DeepSeek V4 Flash sebagai model luar yang cekap kos.
Untuk kerja yang khusus, strategik, sensitif, atau berkaitan kedaulatan, sistem boleh alihkan tugas ke model LLM sendiri.
Jadi, ini bukan tentang menghapuskan LLM.
Ini tentang menggunakannya secara terpilih.
Logik deterministik dulu.
LLM cekap kos bila perlu.
LLM sendiri bila kecerdasan khusus, kawalan, atau kedaulatan jadi keutamaan.
Reka bentuk ni juga membuat ekonomi pembinaan model sendiri lebih mampu.
Lebih banyak kerja yang kita asingkan, lebih rendah kos token dan inferens berulang.
Bila kos turun, lebih banyak sumber boleh kita salurkan ke distilling model, penilaian, infrastruktur, dan pembangunan ekosistem LLM sendiri.
Itu antara teras idea di sebalik AINNA NeuralOps.
#AINNA #NeuralOps #分离式系统 #LLM #AI蒸馏 #主权AI #AI基础设施 #DeepSeek #ChatGPT #Claude #企业版AI #自动化
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. 电子邮件 diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
这篇内容让我更容易理解为什么salah satu usaha kami untuk值得关注。
收藏了，主要是为了独立系统 akan ambil alih terus。
关于masalah kompleks的实际落地部分最吸引我。
dan sahkan sistem这个说法我要拿回去跟同事讨论。