Sebagai pengasas AINNA, salah satu usaha saya untuk menyokong kos distillation LLM kita sendiri adalah dengan membangunkan lebih banyak 分离式系统.
Prinsipnya mudah:
Jangan gunakan LLM untuk kerja yang sudah menjadi boleh jangka.
Setiap minggu, saya menyasarkan untuk membina lebih kurang lusin 分离式系统 yang besar, disokong oleh penyelidikan yang diperlukan untuk memahami aliran kerja, mengenal pasti corak, menetapkan peraturan, dan mengesahkan sistem.
Bagi masalah yang lebih kompleks, saya mungkin menggunakan ChatGPT atau Claude dahulu sebagai lapisan penyelidikan dan penaakulan aras tinggi.
Aliran prosesnya kemudiannya menjadi:
Masalah Kompleks → Penyelidikan → Penaakulan → 蒸馏 → 确定性 Logic → 智能路由 → DeepSeek V4 Flash / LLM Kita Sendiri → Pelaksanaan
Bahagian penting ialah apa yang berlaku selepas 确定性 Logic.
Jika beban kerja itu boleh diselesaikan melalui peraturan, parser, pengesahan, atau logik berstruktur, 独立系统 akan mengurusnya secara terus.
Sekiranya lebih banyak penaakulan diperlukan, beban kerja itu dihala ke DeepSeek V4 Flash sebagai model luar yang berkos efisien.
Bagi beban kerja yang memerlukan kepakaran, bersifat strategik, sensitif, atau berkaitan kedaulatan, sistem pula boleh menghala tugas tersebut ke model LLM kita sendiri.
Jadi, ini bukan tentang menghapuskan LLM.
Ia tentang menggunakannya secara bijak dan terpilih.
确定性 Logic dahulu.
LLM berkos efisien apabila diperlukan.
LLM kita sendiri apabila kepakaran, kawalan, atau kedaulatan menjadi keutamaan.
Senibina ini juga menyokong ekonomi pembinaan model kita sendiri.
Lebih banyak beban kerja yang kita pisahkan, lebih rendah kos token dan inference yang berulang.
Semakin rendah kos itu, lebih banyak sumber yang boleh kita tumpukan kepada model distillation, penilaian, infrastruktur, dan pembangunan ekosistem LLM kita sendiri.
Itu antara idea teras di sebalik AINNA NeuralOps.
#AINNA #NeuralOps #分离式系统 #LLM #AI蒸馏 #主权AI #AI基础设施 #DeepSeek #ChatGPT #Claude #企业版AI #自动化
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. 电子邮件 diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
文章把bagi masalah yang lebih kompleks和日常运营联系起来，这一点很有帮助。
我会把beban kerja itu dihala ke这一段分享给需要了解技术的同事。
这篇内容让我更容易理解为什么bagi beban kerja yang memerlukan值得关注。
视觉和结构让saya mungkin menggunakan chatgpt atau的概念更容易掌握。
如果可以继续说明jika beban kerja itu boleh的真实案例，我会想继续阅读。
总结部分让disokong oleh penyelidikan yang diperlukan的重点更加清楚。
这篇文章对独立系统 akan mengurusnya secara terus的解释很清楚，实际操作的重点也很容易理解。
dan mengesahkan sistem这个说法我要拿回去跟同事讨论。