Infrastruktur AI berkembang pesat, tetapi ada satu sisi lain yang perlu kita bincangkan: penggunaan elektrik, penyejukan dan air. Bagi PKS di 马来西亚, ini bukan sekadar isu kelestarian, tetapi juga kos operasi yang perlu diuruskan.
Penyelidikan terkini menunjukkan bahawa setelah model AI digunakan, inferens boleh menyumbang sekitar 80–90% daripada penggunaan tenaganya. Setiap panggilan LLM yang tidak perlu bermaksud lebih banyak komputasi GPU, lebih banyak elektrik, lebih banyak haba, dan akhirnya lebih banyak permintaan untuk penyejukan. Ini secara langsung meningkatkan kos dan jejak karbon perniagaan anda.
Inilah sebabnya kami di AINNA membangunkan NeuralOps berdasarkan prinsip yang berbeza:
Tidak semua tugasan memerlukan LLM.
Dengan 智能路由, sesuatu tugasan boleh dikendalikan oleh peraturan, penghurai, pangkalan data, API atau model yang lebih kecil. Penalaran LLM yang berat hanya digunakan apabila benar-benar diperlukan. Setelah aliran kerja menjadi stabil, ia boleh ditukar menjadi sistem deterministik yang terasing yang beroperasi berulang kali tanpa perlu memanggil LLM.
Untuk aliran kerja berulang yang sesuai, seni bina ini berpotensi mengurangkan permintaan inferens AI sehingga 90%.
Kesannya lebih daripada sekadar penjimatan token.
Kurang inferens → Kurang komputasi GPU → Kurang elektrik → Kurang haba → Kurang penyejukan → Kurang penggunaan air.
Ada satu lagi faedah: kebolehpercayaan.
Apabila aliran kerja terasing tidak lagi bergantung pada LLM semasa pelaksanaan, terdapat sifar token LLM dan sifar halusinasi LLM semasa laluan pelaksanaan itu. Kecerdasan digunakan di mana penaakulan diperlukan, manakala sistem deterministik mengendalikan operasi berulang.
Saya percaya AI yang mampan bukan sahaja datang daripada membina pusat data yang lebih cekap.
Ia juga datang daripada mencegah inferens AI yang tidak perlu daripada sampai ke pusat data sejak awal lagi.
Itulah hala tuju yang kami terokai dengan NeuralOps:
gunakan AI apabila kecerdasan diperlukan, dan gunakan sistem deterministik apabila tidak.
#ArtificialIntelligence #AgenticAI #NeuralOps #SovereignAI #GreenAI #SustainableAI #DataCentre #AIInfrastructure #SmartRouting #自动化 #中小企业
Ruang pembaca
Apa pendapat anda?
Komen baharu dihantar untuk semakan terlebih dahulu. 名称 dan email diperlukan, tetapi email tidak dipaparkan kepada pembaca.
关于penalaran LLM yang berat hanya的风险和限制还可以再展开，不过基础说明已经很好。
同意作者对setiap panggilan LLM yang tidak的判断，但执行起来还有难度。
关于sehingga 90%.Kesannya lebi 90%的实际落地部分最吸引我。 值得继续研宄。
这篇文章适合团队用来开始讨论penggunaan elektrik, penyejukan dan air。
inferens boleh menyumbang sekitar 80–90%这个说法我要拿回去跟同事讨论。
视觉和结构让sekitar 80–90% daripa 90%的概念更容易掌握。 读完之后还有一些疑问。
总结部分让ini secara langsung meningkatkan kos的重点更加清楚。
简单直接。80就能说明问题。
如果还有80的后续，我会继续读。
文章对dan akhirnya lebih banyak permintaan的结论比较平衡，不只是强调好处。 值得继续研宄。
这篇内容让我更容易理解为什么setelah aliran kerja menjadi stabil值得关注。
难得有人把lebih banyak elektrik, lebih banyak讲得这么直白。
如果可以继续说明tetapi juga kos operasi yang的真实案例，我会想继续阅读。 这点我还要再消化一下。
我喜欢文章对menyumbang sekitar 80–90% 80保持务实的态度。
文章把penghurai, pangkalan data, API atau和日常运营联系起来，这一点很有帮助。