AirLLM boleh jadi salah satu peralihan besar dalam cara kita melihat infrastruktur AI untuk operasi logistik.
Kini kita boleh menjalankan model 70B pada GPU 4GB sahaja dan menaik skala eksperimen ke arah Llama 3.1 405B dengan VRAM 8GB - ini bukan sekadar hype, tetapi perubahan seni bina yang serius.
Selama ini, AI berkuasa tinggi kelihatan seperti hak milik syarikat teknologi besar, hyperscalers, dan organisasi yang memiliki GPU gergasi, bajet awan yang besar, serta akses pusat data. Pihak lain, termasuk operator logistik dan 中小企业, pada asasnya menyewa kepintaran mengikut token.
Tetapi cerita itu berubah dengan pantas. Dengan layer-wise inference, pengurusan memori yang lebih pintar, dan inovasi sumber terbuka, model besar kini semakin mudah diakses oleh pembangun biasa, 中小企业, pelajar, penyelidik, dan komuniti teknologi tempatan - termasuk pasukan logistik di gudang serta pusat pengedaran.
Pengubah permainan sebenar bukan sahaja model yang lebih besar, tetapi cara kita menjalankannya - lebih ringan, lebih pintar, lebih tempatan, lebih cekap, dan lebih praktikal untuk kegunaan dunia nyata seperti di gudang, depot, dan lorong operasi.
Di sinilah 边缘 AI dan AINNA NeuralOps berperanan. Bukannya bergantung sepenuhnya pada AI awan, kepintaran boleh bergerak lebih hampir kepada peranti, sensor, mesin, ladang, kilang, dan operasi sebenar di lapangan - contohnya di pusat pengedaran, lorong pengeluaran, dan trak penghantaran.
Gabungkan ini dengan sistem detached, dan kesannya menjadi lebih kuat. Biarkan LLM merancang, mengaudit, menjana, dan membuat keputusan - kemudian biarkan skrip tempatan, dashboard, cron job, API, sensor, dan sistem automasi meneruskan kerja tanpa membakar token 24/7.
Tidak lama lagi, peranti mudah alih dan sistem IoT akan mempunyai model LLM kecil mereka sendiri yang beroperasi secara luar talian dan off-grid. Inilah masa depan AI yang saya percayai: lebih ringan, lebih pintar, lebih tempatan, lebih praktikal, dan benar-benar untuk semua - bukan sekadar hype, bukan sekadar pergantungan kepada awan, dan pastinya bukan hanya untuk big tech.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. 电子邮件 diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
关于boleh menjalankan model 70B的说明很完整，基础部分尤其清楚。
我喜欢文章对airLLM boleh jadi salah satu保持务实的态度。
难得有人把kini kita boleh menjalankan model讲得这么直白。
同意作者对tetapi cerita itu berubah dengan的判断，方向很清楚。
这篇文章适合团队用来开始讨论pada asasnya menyewa kepintaran mengikut。
我会把405B dengan VRAM 8GB这一段分享给需要了解技术的同事。
这篇内容让我更容易理解为什么70B pada GPU 4GB值得关注。
如果有更多boleh menjalankan model 70B的数据和结果会更完整。