Dalam logistik, kita sentiasa mencari cara untuk mengoptimumkan laluan dan mengurangkan penggunaan bahan api. Sama juga dengan AI - infrastruktur AI berkembang pesat, tetapi ada sisi lain yang perlu kita bincangkan: penggunaan elektrik, penyejukan dan air.
Kajian terkini menunjukkan bahawa apabila model AI digunakan, inference boleh menyumbang sekitar 80-90% daripada penggunaan tenaganya. Setiap panggilan LLM yang tidak perlu bermakna lebih banyak pengiraan GPU, lebih banyak elektrik, lebih banyak haba, dan akhirnya lebih banyak permintaan penyejukan.
Ini adalah salah satu sebab kami membangunkan NeuralOps dengan prinsip yang berbeza:
Bukan setiap tugas memerlukan LLM.
Dengan 智能路由, sesuatu tugas boleh dikendalikan terlebih dahulu oleh peraturan, parser, pangkalan data, API atau model yang lebih kecil. Penalaran LLM yang berat hanya digunakan apabila benar-benar diperlukan. Setelah aliran kerja menjadi stabil, ia boleh ditukar menjadi sistem deterministik terasing yang berjalan berulang kali tanpa memanggil LLM.
Untuk aliran kerja berulang yang sesuai, seni bina ini berpotensi mengurangkan permintaan inference AI sehingga 90%.
Kesannya bukan sahaja penjimatan token.
Kurang inference → Kurang pengiraan GPU → Kurang elektrik → Kurang haba → Kurang penyejukan → Kurang penggunaan air.
Ada satu lagi faedah: kebolehpercayaan.
Apabila aliran kerja yang diasingkan tidak lagi bergantung kepada LLM semasa pelaksanaan, terdapat sifar token LLM dan sifar halusinasi LLM semasa laluan pelaksanaan tersebut. Kepintaran digunakan di tempat yang memerlukan penaakulan, manakala sistem deterministik mengendalikan operasi berulang.
Saya percaya AI yang mampan bukan sahaja datang daripada membina pusat data yang lebih cekap.
Ia juga datang daripada mengelakkan inference AI yang tidak perlu sampai ke pusat data.
Itulah hala tuju yang kami terokai dengan NeuralOps:
gunakan AI apabila kepintaran diperlukan, dan gunakan sistem deterministik apabila kepintaran tidak diperlukan.
#ArtificialIntelligence #AgenticAI #NeuralOps #SovereignAI #GreenAI #SustainableAI #DataCentre #AIInfrastructure #SmartRouting #自动化 #中小企业
Ruang pembaca
Apa pendapat anda?
Komen baharu dihantar untuk semakan terlebih dahulu. 名称 dan email diperlukan, tetapi email tidak dipaparkan kepada pembaca.
关于ia boleh ditukar menjadi sistem的例子很实用，适合团队继续讨论。
难得有人把lebih banyak elektrik, lebih banyak讲得这么直白。
同意作者对dalam logistik, kita sentiasa mencari的判断，但执行起来还有难度。
关于infrastruktur AI berkembang pesat, tetapi的实际落地部分最吸引我。
这篇文章适合团队用来开始讨论penggunaan elektrik, penyejukan dan air.Kajian。 读完之后还有一些疑问。
我对boleh menyumbang sekitar 80还有问题，但文章已经提供了很好的起点。
视觉和结构让dan akhirnya lebih banyak permintaan的概念更容易掌握。