Perlumbaan AI Sebenar dalam Logistik Mungkin Bukan Tentang 模型 Lebih Besar Mungkin Tentang Kecerdasan Lebih Murah
Di AINNA, apabila saya lihat perbandingan ini, bahagian yang menarik bukan sekadar nama model.
Cerita yang lebih besar ialah keluk kos.
Dalam susunan ini, harga turun daripada kira-kira $0.20/M input dan $1.20/M output kepada $0.10/M input dan $0.50/M output, sambil mengekalkan tetingkap konteks dan keupayaan alat yang sama seperti dinyatakan.
Jika trend ini berterusan, ia mengubah ekonomi pembinaan sistem AI untuk operasi logistik di AINNA dan industri.
Bagi saya, ini satu lagi alasan kuat untuk bulk-distill LLM tempatan dan mungkin SLM juga.
Daripada terus bergantung pada inference luaran yang mahal untuk kerja harian, kita boleh menggunakan model yang semakin dioptimumkan sebagai guru untuk menjana data latihan, memperhalusi workflow, membina corak penaakulan khusus domain, dan menambah baik model tempatan kita secara berterusan.
Matlamatnya bukan semestinya membina model terbesar.
Matlamatnya ialah membina model yang cukup optimum untuk kerja sebenar di lapangan.
Dalam konteks logistik dan perniagaan, ini bermakna model lebih kecil boleh mengendalikan perakaunan, inventori, operasi gudang, perkhidmatan pelanggan, kawalan mesin, pemprosesan dokumen seperti DO, invoice dan ePOD, atau automasi dalaman, manakala model luaran yang lebih besar hanya digunakan apabila benar-benar perlu.
Saya harap trend harga ini berterusan.
Sekurang-kurangnya sehingga LLM tempatan kita cukup matang untuk mengendalikan sebahagian besar beban kerja logistik secara berdikari.
Guna model yang dioptimumkan untuk bina. Distill apa yang penting. Kurangkan kebergantungan dari semasa ke semasa.



Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. 电子邮件 diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
我特别喜欢matlamatnya bukan semestinya membina model这一部分,内容没有把实施过程说得太简单。
收藏了,主要是为了daripada terus bergantung pada inference。
如果有更多kita boleh menggunakan model yang的数据和结果会更完整。
Cerita yang lebih besar ialah这个说法我要拿回去跟同事讨论。
关于dan menambah baik model tempatan的实际落地部分最吸引我。