Sebagai pengasas AINNA, saya sering berbual dengan pemilik 中小企业 di seluruh 马来西亚. Satu soalan yang sering timbul: "Adakah AI ini akan memakan kos besar?" Jawapannya bergantung. Bergantung kepada model, reka bentuk sistem, dan corak penggunaan, kos operasi AI boleh mencapai ratusan ribu USD sebulan. Tetapi isunya bukan semestinya AI itu mahal. Lebih kerap, masalahnya ialah syarikat menggunakan LLM besar untuk setiap tugas-termasuk kerja-kerja yang sebenarnya boleh diselesaikan dengan peraturan mudah, skrip, pangkalan data, atau model kecil di peringkat tempatan.
Ia umpama menghantar satu beg kecil dari 马六甲 ke Kuala Lumpur menggunakan lori kontena. Lori itu memang boleh buat kerja, tetapi Kancil pun boleh menghantar barang yang sama dengan jauh lebih jimat minyak dan kos operasi. Itulah teras prinsip 智能路由-gunakan enjin pemprosesan yang tepat untuk tugas yang tepat.
Di AINNA, melalui NeuralOps, 独立系统 构建者 代理 kami menggunakan LLM tempatan, Guard Rails, dan 智能路由 untuk mereka dan membina sistem. Penggunaan token mungkin tinggi semasa fasa pembelajaran awal, pembangunan, pengujian, dan pengesahan-tetapi ia bersifat sementara sahaja.
Apabila 独立系统 siap sepenuhnya, operasi berulang akan dipindahkan kepada peraturan tetap, perkhidmatan PHP, skrip automasi, pangkalan data, dan aliran kerja yang telah disahkan. 系统 itu kemudiannya boleh berjalan berterusan tanpa memerlukan LLM untuk memproses setiap transaksi.
Hasilnya, penggunaan token bulanan boleh jatuh dari kira-kira 32 bilion token kepada hanya 1.5–2 bilion token, kebanyakannya untuk kes-kes pengecualian, situasi tidak dikenali, penambahbaikan sistem, dan tugas yang benar-benar memerlukan AI. Dalam sesetengah kegunaan, aliran kerja teras 独立系统 itu sendiri mungkin hanya memerlukan kos operasi sekitar USD20 sebulan, bergantung kepada infrastruktur dan beban kerja.
Apa yang kita boleh capai bersama:
Pengurangan penggunaan token
Penjimatan kos operasi jangka panjang
Penggunaan LLM tempatan untuk kawalan lebih baik
Guard Rails bagi output yang lebih boleh diramal
智能路由 untuk mengelakkan model yang terlalu besar
AI digunakan hanya apabila benar-benar diperlukan
Aliran kerja 分离式 yang terus beroperasi tanpa caj token berulang
Prinsip yang kami bawa bersama NeuralOps amat mudah:
Jangan gunakan lori kalau Kancil sudah cukup untuk siapkan kerja itu. AI membina sistem. Kemudian, sistem itu berjalan sendiri.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. 电子邮件 diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
tetapi kancil pun boleh menghantar这个说法我要拿回去跟同事讨论。
如果有更多ia umpama menghantar satu beg的数据和结果会更完整。
还在消化32这一段。
简单直接。32就能说明问题。
我喜欢文章对itulah teras prinsip 智能路由-gunakan enjin保持务实的态度。
同意作者对tetapi isunya bukan semestinya AI的判断，方向很清楚。
这篇文章把kita boleh cap 20讲得比一般的AI介绍更具体。
如果可以继续说明kebanyakannya untuk kes- 32的真实案例，我会想继续阅读。