Bergantung kepada model, arkitektur, dan corak penggunaan, kos operasi boleh dengan mudah mencecah ratusan ribu dolar. Masalahnya bukan selalunya AI itu mahal. Kebanyakan masalah sebenar berpunca daripada penggunaan LLM bersaiz besar untuk setiap tugas, termasuk kerja-kerja yang sebenarnya boleh ditangani oleh peraturan mudah, skrip, pangkalan data, atau model tempatan yang lebih kecil.
Ia serupa dengan menggunakan lori berat untuk menghantar satu beg kecil dari 马六甲 ke Kuala Lumpur. Lori itu boleh menyiapkan tugas, tetapi Kancil boleh menghantar barangan yang sama dengan jauh lebih rendah penggunaan bahan api dan kos operasi. Inilah prinsip di sebalik 智能路由: gunakan enjin pemprosesan yang betul untuk tugas yang betul.
Dari sudut operasi logistik dan pembangunan sistem yang saya uruskan di AINNA, ejen 独立系统 构建者 dalam NeuralOps menggunakan LLM tempatan, Guard Rails, dan 智能路由 untuk mereka bentuk dan membina keseluruhan sistem. Penggunaan token memang ketara semasa fasa pembelajaran awal, pembangunan, ujian, dan pengesahan - tetapi ini adalah penggunaan sementara.
Setelah 独立系统 siap sepenuhnya, operasi berulang dipindahkan kepada peraturan tetap, perkhidmatan PHP, skrip automasi, pangkalan data, dan aliran kerja yang telah disahkan. 系统 kemudian boleh beroperasi berterusan tanpa memerlukan LLM untuk memproses setiap transaksi.
Hasilnya, penggunaan bulanan boleh menurun dari kira-kira 32 bilion token kepada hanya 1.5–2 bilion token, kebanyakannya untuk pengecualian, kes tidak dikenali, penambahbaikan sistem, dan tugas yang benar-benar memerlukan AI. Dalam sesetengah kes penggunaan, aliran kerja teras detached itu sendiri mungkin beroperasi dengan kos sekitar USD20 sebulan, bergantung kepada infrastruktur dan beban kerja.
Hasil utama:
Penggunaan token lebih rendah
Kos operasi jangka panjang lebih rendah
Penggunaan LLM tempatan untuk kawalan lebih baik
Guard Rails bagi output yang boleh diramalkan
智能路由 bagi mengelakkan penggunaan model yang terlalu besar
AI digunakan hanya apabila AI benar-benar diperlukan
Aliran kerja detached yang terus beroperasi tanpa caj token berulang
Prinsip NeuralOps mudah:
Jangan gunakan lori jika Kancil boleh menyiapkan tugas. AI membina sistem. 系统 kemudian beroperasi secara bebas.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. 电子邮件 diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
文章对ia serupa dengan menggunakan lori的结论比较平衡，不只是强调好处。
关于kebanyakan masalah sebenar berpunca daripada的说明很完整，基础部分尤其清楚。
这篇文章把dari sudut operasi logistik dan讲得比一般的AI介绍更具体。
如果可以继续说明tetapi kancil boleh menghantar barangan的真实案例，我会想继续阅读。