Salah satu inisiatif saya untuk mengurus kos penyulingan LLM sendiri ialah membina lebih banyak 分离式系统.
Prinsipnya mudah:
Jangan gunakan LLM untuk kerja yang sudah menjadi boleh diramalkan.
Setiap minggu, sasaran saya ialah melancarkan kira-kira 12 分离式系统 yang berat, disokong oleh kajian yang diperlukan untuk memahami aliran kerja, mengenal pasti corak, menentukan peraturan, dan mengesahkan sistem.
Bagi masalah yang lebih kompleks, saya mungkin menggunakan dahulu ChatGPT atau Claude sebagai lapisan penyelidikan dan penaakulan peringkat tinggi.
Aliran operasinya menjadi:
Masalah Kompleks → Kajian → Penaakulan → Penyulingan → Logik Deterministik → Penghalaan Pintar → DeepSeek V4 Flash / LLM Sendiri → Pelaksanaan
Perkara penting ialah apa yang berlaku selepas logik deterministik.
Jika beban kerja boleh diselesaikan melalui peraturan, penganalisis, pengesahan, atau logik berstruktur, 独立系统 mengendalikannya terus.
Jika penaakulan tambahan diperlukan, beban kerja itu dihala ke DeepSeek V4 Flash sebagai model luar yang cekap kos.
Bagi beban kerja yang terspesialisasi, strategik, sensitif, atau berkaitan kedaulatan, sistem pula boleh menghala tugas ke model LLM sendiri kami.
Jadi, ini bukan tentang menghapuskan LLM.
Ia tentang penggunaan secara pilihan.
Deterministik dahulu.
LLM cekap kos apabila diperlukan.
LLM sendiri apabila kepintaran terspesialisasi, kawalan, atau kedaulatan menjadi keutamaan.
Reka bentuk ini juga menyokong ekonomi pembinaan model sendiri kami.
Lebih banyak beban kerja yang kami pisahkan, lebih rendah kos token dan inferens berulang kami.
Apabila kos itu menjadi lebih rendah, lebih banyak sumber yang boleh kami tumpukan kepada penyulingan model, penilaian, infrastruktur, dan pembangunan ekosistem LLM sendiri.
Itulah salah satu idea teras di sebalik AINNA NeuralOps.
#AINNA #NeuralOps #分离式系统 #LLM #AI蒸馏 #主权AI #AI基础设施 #DeepSeek #ChatGPT #Claude #企业版AI #自动化
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. 电子邮件 diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
同意作者对dan mengesahkan sistem的判断，方向很清楚。
关于bagi masalah yang lebih kompleks的说明很完整，基础部分尤其清楚。
总结部分让jika beban kerja boleh diselesaikan的重点更加清楚。
关于salah satu inisiatif saya untuk的实际落地部分最吸引我。
看第二遍才注意到saya mungkin menggunakan dahulu chatgpt的细节。