Lama juga saya dan pasukan logistik menganggap 智能路由 sebagai masalah pemilihan model: kenal pasti tugasan, kemudian pilih LLM yang paling sesuai berdasarkan keupayaan, kelajuan, kos dan kerumitan. Di AINNA, kami sedang luaskan idea itu. Soalan pertama bukan lagi “模型 mana yang patut uruskan perkara ini?” Soalan pertama sepatutnya “Tugasan ini perlukan model langsung atau tidak?”
Seni bina NeuralOps kami yang sedang berkembang mengikut pendekatan pelaksanaan reuse-first. Bila satu permintaan masuk - sama ada pesanan, pertanyaan 状态 stok, atau permintaan jadual penghantaran - sistem akan semak dahulu sama ada pengetahuan, arahan, aliran kerja atau corak pelaksanaan yang telah divalidasi sudah wujud. Kalau tugasan itu boleh diselesaikan melalui pengetahuan sedia ada, logik deterministik, pangkalan data, parser, API atau alat lain, tiada sebab untuk kita lancarkan satu lagi inferens LLM.
Hanya kerja yang belum selesai patut sampai ke penaakulan AI. Walaupun begitu, 智能路由 tetap berjalan. Arahan kompleks boleh dipecahkan kepada tugasan yang lebih kecil, dengan kerja pengkodan dihalakan ke model pengkodan, kerja bahasa ke model bahasa, tugasan visual ke model visual, manakala operasi berulang seperti pengiraan berat volumetrik, pengesahan SKU atau padanan poskod boleh kekal sepenuhnya terpisah daripada LLM. Secara ringkas, seni binanya menjadi: 再利用 → 解决 → 执行 → 原因.
Tidak lama lagi, kami juga merancang untuk memperkenalkan model keputusan bergaya JEv ke dalam NeuralOps sebagai satu lagi lapisan keputusan perantaraan. Bila sistem deterministik kita berdepan anomali atau keputusan yang tidak pasti - contohnya baki stok yang tidak sepadan atau laluan penghantaran yang tersekat - model keputusan khusus yang lebih kecil mungkin sudah memadai untuk menentukan tindakan seterusnya tanpa terus mengeskalasi tugasan itu kepada LLM penuh.
Matlamatnya bukan untuk hapuskan LLM. Matlamatnya ialah gunakannya di tempat keupayaan penaakulannya benar-benar menghasilkan nilai. Pendekatan ini boleh kurangkan panggilan model yang tidak perlu, penggunaan token, kependaman dan permintaan komputasi, sambil meningkatkan konsistensi dan mengurangkan pergerakan data operasi yang tidak perlu ke model luaran.
Bagi saya, 智能路由 kini berkembang melangkaui sekadar mencari model yang lebih murah atau lebih berkeupayaan. Ia sedang menjadi seni bina keputusan yang menentukan sama ada AI perlu dipanggil pada mulanya, dan hanya selepas itu memutuskan lapisan kecerdasan mana yang sesuai.
Kadang-kadang, model yang paling cekap ialah tiada model langsung.
Guna semula apa yang sudah diketahui. Laksana apa yang deterministik. Guna kecerdasan khusus apabila sudah memadai. Fikir mendalam hanya apabila perlu.
#AINNA #NeuralOps #SmartRouting #AgenticAI #AIAgents #AI基础设施 #决策Models #LLM #企业版AI #可持续AI
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. 电子邮件 diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
我对lama juga saya dan pasukan还有问题，但文章已经提供了很好的起点。
看第二遍才注意到hanya kerja yang belum selesai的细节。
难得有人把sistem akan semak dahulu sama讲得这么直白。
Bila satu permintaan masuk这个说法我要拿回去跟同事讨论。