Dalam operasi harian, saya selalu nampak 智能路由 disempitkan kepada soal pemilihan model: kenal pasti tugasan, lepas itu pilih LLM yang paling sesuai berdasarkan keupayaan, kelajuan, kos dan kerumitan. Di AINNA, kami sedang luaskan lagi cara fikir ini. Soalan pertama bukan lagi: model mana patut uruskan ini? Soalan pertama sepatutnya: tugasan ini perlu model langsung ke tidak?
Seni bina NeuralOps yang kami kembangkan ikut pendekatan pelaksanaan yang mengutamakan penggunaan semula. Bila sesuatu permintaan masuk, sistem semak dulu sama ada pengetahuan, arahan, aliran kerja atau pola pelaksanaan terdahulu yang sudah disahkan memang ada. Kalau tugasan itu boleh disiapkan melalui pengetahuan sedia ada, logik deterministik, pangkalan data, parser, API atau tool, tak ada sebab untuk mulakan satu lagi inferens LLM.
Hanya kerja yang belum selesai perlu masuk ke AI reasoning. Walaupun begitu, 智能路由 tetap berjalan. Arahan kompleks boleh dipecahkan kepada tugasan lebih kecil: kerja coding dihalakan ke model coding, kerja bahasa ke model bahasa, tugasan visual ke model visual, sementara operasi berulang boleh kekal langsung tanpa LLM. Secara mudah, seni bina jadi: 再利用 → 解决 → 执行 → 原因.
Tidak lama lagi, kami juga bercadang untuk perkenalkan model keputusan bergaya JEv dalam NeuralOps sebagai satu lagi lapisan keputusan perantaraan. Bila sistem deterministik jumpa anomali atau keputusan yang tidak pasti, model keputusan khusus yang lebih kecil mungkin sudah cukup untuk tentukan tindakan seterusnya tanpa terus naik ke LLM penuh.
Matlamatnya bukan untuk hapuskan LLM. Matlamatnya ialah guna LLM di tempat keupayaan reasoning-nya benar-benar beri nilai. Pendekatan ini boleh kurangkan panggilan model yang tidak perlu, penggunaan token, latency dan permintaan komputasi, sambil tingkatkan konsistensi dan kurangkan pergerakan data operasi yang tidak perlu ke model luar.
Bagi kami, 智能路由 sebab itu sedang berkembang lebih daripada sekadar cari model yang lebih murah atau lebih berkemampuan. Ia jadi seni bina keputusan yang tentukan sama ada AI perlu dipanggil pada mulanya, dan selepas itu barulah tentukan lapisan intelligence mana yang sesuai.
Kadang-kadang, model paling efisien ialah tiada model langsung.
Guna semula apa yang sudah diketahui. Laksana apa yang deterministik. Guna intelligence khusus bila cukup. Buat reasoning mendalam hanya bila perlu.
#AINNA #NeuralOps #SmartRouting #AgenticAI #AIAgents #AI基础设施 #决策Models #LLM #企业版AI #可持续AI
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. 电子邮件 diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
如果有更多tak ada sebab untuk mulakan的数据和结果会更完整。
我会把seni bina neuralops yang kami这一段分享给需要了解技术的同事。
我喜欢这段说明这部分，因为它讲得比较务实。
这段关于这部分的说明帮我把之前的问题连起来了。