Dalam logistik, kita sentiasa mencari cara untuk mengoptimumkan laluan dan mengurangkan penggunaan bahan api. Sama juga dengan AI - infrastruktur AI berkembang pesat, tetapi ada sisi lain yang perlu kita bincangkan: penggunaan elektrik, penyejukan dan air.
Kajian terkini menunjukkan bahawa apabila model AI digunakan, inference boleh menyumbang sekitar 80-90% daripada penggunaan tenaganya. Setiap panggilan LLM yang tidak perlu bermakna lebih banyak pengiraan GPU, lebih banyak elektrik, lebih banyak haba, dan akhirnya lebih banyak permintaan penyejukan.
Ini adalah salah satu sebab kami membangunkan NeuralOps dengan prinsip yang berbeza:
Bukan setiap tugas memerlukan LLM.
Dengan 智能路由, sesuatu tugas boleh dikendalikan terlebih dahulu oleh peraturan, parser, pangkalan data, API atau model yang lebih kecil. Penalaran LLM yang berat hanya digunakan apabila benar-benar diperlukan. Setelah aliran kerja menjadi stabil, ia boleh ditukar menjadi sistem deterministik terasing yang berjalan berulang kali tanpa memanggil LLM.
Untuk aliran kerja berulang yang sesuai, seni bina ini berpotensi mengurangkan permintaan inference AI sehingga 90%.
Kesannya bukan sahaja penjimatan token.
Kurang inference → Kurang pengiraan GPU → Kurang elektrik → Kurang haba → Kurang penyejukan → Kurang penggunaan air.
Ada satu lagi faedah: kebolehpercayaan.
Apabila aliran kerja yang diasingkan tidak lagi bergantung kepada LLM semasa pelaksanaan, terdapat sifar token LLM dan sifar halusinasi LLM semasa laluan pelaksanaan tersebut. Kepintaran digunakan di tempat yang memerlukan penaakulan, manakala sistem deterministik mengendalikan operasi berulang.
Saya percaya AI yang mampan bukan sahaja datang daripada membina pusat data yang lebih cekap.
Ia juga datang daripada mengelakkan inference AI yang tidak perlu sampai ke pusat data.
Itulah hala tuju yang kami terokai dengan NeuralOps:
gunakan AI apabila kepintaran diperlukan, dan gunakan sistem deterministik apabila kepintaran tidak diperlukan.
#Artificial智能 #AgenticAI #NeuralOps #主权AI #GreenAI #可持续AI #DataCentre #AI基础设施 #SmartRouting #自动化 #中小企业
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. 电子邮件 diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
关于dan akhirnya lebih banyak permintaan的例子很实用，适合团队继续讨论。
难得有人把menyumbang sekitar 80- 90%讲得这么直白。
同意作者对sama juga dengan AI的判断，方向很清楚。