Kalau tengok dari sudut operasi, kos bulanan AI boleh melonjak tinggi bergantung pada model, struktur sistem, dan corak penggunaan. Tetapi masalah sebenar bukan semestinya AI itu mahal. Kebanyakan syarikat guna LLM besar untuk setiap tugas, termasuk kerja-kerja yang sebenarnya boleh diselesaikan dengan peraturan mudah, script, database, atau model tempatan yang lebih kecil.
Sama macam guna lori treler untuk hantar satu beg kecil dari 马六甲 ke Kuala Lumpur. Lori memang boleh buat kerja itu, tapi Kancil pun boleh hantar barang yang sama dengan jauh lebih jimat minyak dan kos penyelenggaraan. Itu prinsip 智能路由: guna enjin pemprosesan yang sesuai dengan tugas tertentu.
Di NeuralOps, 独立系统 构建者 代理 kami menggunakan LLM tempatan, Guard Rails, dan 智能路由 untuk mereka dan bina sistem. Penggunaan token memang tinggi pada peringkat awal - untuk pembelajaran, pembangunan, ujian, dan validasi - tetapi fasa ini sementara sahaja.
Sebaik sahaja 独立系统 siap, operasi berulang akan dialihkan kepada peraturan tetap, perkhidmatan PHP, skrip automasi, database, dan aliran kerja yang telah disahkan. 系统 itu kemudian boleh berjalan berterusan tanpa perlu LLM memproses setiap transaksi.
Hasilnya, penggunaan token bulanan boleh turun dari kira-kira 32 bilion token kepada hanya 1.5–2 bilion token, kebanyakannya untuk pengecualian, kes tidak dikenali, penambahbaikan sistem, dan tugas yang benar-benar memerlukan AI. Dalam sesetengah kes gunaan, aliran kerja detached utama itu sendiri boleh beroperasi dalam lingkungan USD20 sebulan, bergantung pada infrastruktur dan beban kerja.
Apa yang kami perhatikan di lapangan:
Penggunaan token lebih rendah
Kos operasi jangka panjang lebih jimat
LLM tempatan untuk kawalan lebih baik
Guard Rails bagi output yang lebih boleh diramal
智能路由 supaya tidak bergantung pada model yang terlalu besar
AI digunakan hanya apabila AI benar-benar diperlukan
Aliran kerja detached yang terus berjalan tanpa caj token berulang
Prinsip NeuralOps mudah sahaja:
Jangan guna lori kalau Kancil boleh buat kerja itu. AI bina sistem. Kemudian sistem itu berjalan sendiri.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. 电子邮件 diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
这篇文章把tapi kancil pun boleh hantar讲得比一般的AI介绍更具体。
同意作者对kos bulanan AI boleh melonjak的判断，方向很清楚。
关于kebanyakan syarikat guna LLM besar的例子很实用，适合团队继续讨论。
难得有人把sama macam guna lori treler讲得这么直白。
视觉和结构让lori memang boleh buat kerja的概念更容易掌握。
我喜欢文章对kalau tengok dari sudut operasi保持务实的态度。