AirLLM mengubah cara kami merancang AI dalam operasi harian.
模型 70B kini boleh dijalankan pada GPU 4GB, manakala eksperimen ke arah Llama 3.1 405B mampu dilakukan dengan hanya 8GB VRAM. Bagi saya, ini bukan sekadar penjimatan perkakasan, tetapi satu perubahan seni bina yang terus menyentuh perancangan kapasiti, penjadualan kerja, dan pengagihan sumber.
Selama ini, AI berkuasa tinggi nampak seperti hak eksklusif syarikat teknologi besar yang memiliki GPU raksasa, bajet cloud besar, dan akses data center. Perniagaan lain, terutamanya 中小企业, terpaksa "menyewa" kecerdasan mengikut token - sukar untuk dijadikan sebahagian daripada jadual pengeluaran yang konsisten.
Tetapi cerita itu berubah pantas. Dengan inferens lapisan demi lapisan, pengurusan memori yang lebih cekap, dan inovasi open-source, model besar kini semakin mudah diakses oleh pembangun, pelajar, penyelidik, dan komuniti teknikal tempatan. Lebih penting lagi, ia membuka ruang untuk 中小企业 马来西亚 merancang dan melaksanakan AI sebagai sebahagian daripada operasi biasa.
变化 sebenar bukan sahaja pada saiz model, tetapi pada cara kita menjalankannya - lebih ringan, lebih pintar, lebih tempatan, lebih cekap, dan lebih praktikal untuk kegunaan dunia nyata.
Ini adalah peranan 边缘 AI dan AINNA NeuralOps. Daripada bergantung sepenuhnya pada cloud AI, kecerdasan boleh bergerak lebih hampir ke peranti, sensor, mesin, ladang, kilang, dan operasi sebenar di lapangan.
Gabungkan pula dengan sistem detached, impaknya menjadi lebih kuat. Biarkan LLM merancang, mengaudit, menjana, dan membuat keputusan - kemudian biarkan skrip tempatan, dashboard, cron job, API, sensor, dan sistem automasi meneruskan kerja tanpa perlu membakar token 24/7.
Tidak lama lagi, peranti mudah alih dan sistem IoT akan menjalankan model LLM kecil secara offline dan off-grid. Inilah masa depan AI yang saya nampak dari sudut operasi: lebih ringan, lebih pintar, lebih tempatan, lebih praktikal, dan benar-benar untuk semua - bukan sekadar hype, bukan sekadar kebergantungan cloud, dan sudah tentu tidak hanya untuk syarikat teknologi besar.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. 电子邮件 diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
tetapi satu perubahan seni bina这个说法我要拿回去跟同事讨论。
如果有更多dilakukan dengan hanya 8GB的数据和结果会更完整。
文章把airLLM mengubah cara kami merancang和日常运营联系起来，这一点很有帮助。
我特别喜欢dijalankan pada GPU 4GB这一部分，内容没有把实施过程说得太简单。