Sebagai pemilik perniagaan, kita sering dengar AI itu 'mahal'. Tetapi dari sudut pandang pelanggan di AINNA, masalahnya bukan semestinya AI itu sendiri mahal - masalahnya apabila syarikat menggunakan LLM besar untuk setiap tugas, termasuk kerja-kerja yang sebenarnya boleh diselesaikan dengan peraturan mudah, skrip, pangkalan data, atau model kecil yang dihos tempatan.
Ia umpama menggunakan lori berat untuk menghantar satu beg kecil dari 马六甲 ke Kuala Lumpur. Lori itu boleh buat kerja, tapi Kancil pun boleh hantar barang yang sama dengan jauh lebih jimat minyak dan kos penyelenggaraan. Itulah prinsip di sebalik 智能路由: gunakan enjin pemprosesan yang betul untuk tugas yang betul.
Di NeuralOps, 独立系统 构建者 代理 kami menggunakan local LLM, Guard Rails, dan 智能路由 untuk mereka bentuk dan membina sistem. Memang agen ini menggunakan token yang banyak semasa fasa pembelajaran, pembangunan, ujian, dan pengesahan awal - tetapi penggunaan ini bersifat sementara.
Setelah 独立系统 siap, operasi berulang akan dipindahkan ke peraturan tetap, perkhidmatan PHP, skrip automasi, pangkalan data, dan aliran kerja yang telah disahkan. 系统 ini kemudian boleh berjalan berterusan tanpa memerlukan LLM untuk memproses setiap urus niaga.
Hasilnya, penggunaan token bulanan boleh jatuh dari kira-kira 32 bilion token kepada hanya 1.5–2 bilion token, kebanyakannya untuk kes-kes pengecualian, situasi tidak dikenali, penambahbaikan sistem, dan tugas yang benar-benar memerlukan AI. Dalam sesetengah kes penggunaan, aliran kerja teras yang detached mungkin hanya memerlukan kos operasi sekitar USD20 sebulan, bergantung kepada infrastruktur dan beban kerja.
Apa yang bisnes anda peroleh:
Penggunaan token yang lebih rendah
Kos operasi jangka panjang yang lebih rendah
Penggunaan local LLM untuk kawalan lebih baik
Guard Rails untuk output yang lebih terjangka
智能路由 supaya tidak bergantung pada model yang terlalu besar
AI digunakan hanya apabila AI benar-benar diperlukan
Aliran kerja detached yang terus berjalan tanpa caj token berulang
Prinsip NeuralOps sangat mudah:
Jangan guna lori kalau Kancil boleh buat kerja. AI bina sistem. Kemudian sistem itu berjalan sendiri.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. 电子邮件 diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
我喜欢20这部分，因为它讲得比较务实。
Itulah prinsip di sebalik 智能路由这个说法我要拿回去跟同事讨论。
看第二遍才注意到lori itu boleh buat kerja的细节。
这篇内容让我更容易理解为什么masalahnya bukan semestinya AI itu值得关注。
关于ia umpama menggunakan lori berat的实际落地部分最吸引我。