Sebagai pengasas AINNA, salah satu usaha saya untuk menyokong kos distillation LLM kita sendiri adalah dengan membangunkan lebih banyak 分离式系统.
Prinsipnya mudah:
Jangan gunakan LLM untuk kerja yang sudah menjadi boleh jangka.
Setiap minggu, saya menyasarkan untuk membina lebih kurang lusin 分离式系统 yang besar, disokong oleh penyelidikan yang diperlukan untuk memahami aliran kerja, mengenal pasti corak, menetapkan peraturan, dan mengesahkan sistem.
Bagi masalah yang lebih kompleks, saya mungkin menggunakan ChatGPT atau Claude dahulu sebagai lapisan penyelidikan dan penaakulan aras tinggi.
Aliran prosesnya kemudiannya menjadi:
Masalah Kompleks → Penyelidikan → Penaakulan → 蒸馏 → 确定性 Logic → 智能路由 → DeepSeek V4 Flash / LLM Kita Sendiri → Pelaksanaan
Bahagian penting ialah apa yang berlaku selepas 确定性 Logic.
Jika beban kerja itu boleh diselesaikan melalui peraturan, parser, pengesahan, atau logik berstruktur, 独立系统 akan mengurusnya secara terus.
Sekiranya lebih banyak penaakulan diperlukan, beban kerja itu dihala ke DeepSeek V4 Flash sebagai model luar yang berkos efisien.
Bagi beban kerja yang memerlukan kepakaran, bersifat strategik, sensitif, atau berkaitan kedaulatan, sistem pula boleh menghala tugas tersebut ke model LLM kita sendiri.
Jadi, ini bukan tentang menghapuskan LLM.
Ia tentang menggunakannya secara bijak dan terpilih.
确定性 Logic dahulu.
LLM berkos efisien apabila diperlukan.
LLM kita sendiri apabila kepakaran, kawalan, atau kedaulatan menjadi keutamaan.
Senibina ini juga menyokong ekonomi pembinaan model kita sendiri.
Lebih banyak beban kerja yang kita pisahkan, lebih rendah kos token dan inference yang berulang.
Semakin rendah kos itu, lebih banyak sumber yang boleh kita tumpukan kepada model distillation, penilaian, infrastruktur, dan pembangunan ekosistem LLM kita sendiri.
Itu antara idea teras di sebalik AINNA NeuralOps.
#AINNA #NeuralOps #DetachedSystems #LLM #AIDistillation #SovereignAI #AIInfrastructure #DeepSeek #ChatGPT #Claude #EnterpriseAI #自动化
