Perlumbaan AI Sebenar Mungkin Bukan Tentang 模型 Lebih Besar Ia Mungkin Tentang Kecerdasan Lebih Murah
Dalam perbandingan ini, bahagian yang menarik bukan sekadar nama model.
Cerita yang lebih besar ialah keluk kos.
Dalam susunan ini, harga turun daripada sekitar $0.20/M input dan $1.20/M output kepada $0.10/M input dan $0.50/M output, sambil mengekalkan tetingkap konteks dan keupayaan alat yang sama seperti dinyatakan.
Jika trend ini berterusan, ia mengubah ekonomi pembinaan sistem AI.
Bagi saya, dalam kerja operasi logistik dan R&D di AINNA, ini satu lagi sebab kukuh untuk bulk-distill LLM tempatan dan mungkin juga SLM.
Daripada bergantung secara kekal pada inferens luaran yang mahal, kita boleh menggunakan model yang semakin optimum sebagai guru untuk menjana data latihan, memperhalusi aliran kerja, membina corak penaakulan khusus domain, dan menambah baik model tempatan kita secara berterusan.
Matlamatnya bukan semestinya membina model paling besar.
Matlamatnya ialah membina model yang cukup optimum untuk kerja sebenar.
Bagi perniagaan, ini boleh bermaksud model lebih kecil mengendalikan perakaunan, inventori, operasi, perkhidmatan pelanggan, kawalan mesin, pemprosesan dokumen, atau automasi dalaman, manakala model luaran yang lebih besar hanya digunakan apabila benar-benar perlu.
Saya harap trend harga ini berterusan.
Sekurang-kurangnya sehingga LLM tempatan kita cukup matang untuk mengendalikan sebahagian besar beban kerja secara bebas.
Guna model optimum untuk membina. Distil apa yang penting. Kurangkan kebergantungan dari semasa ke semasa.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. 电子邮件 diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
同意作者对daripada bergantung secara kekal pada的判断，方向很清楚。
文章对sambil mengekalkan tetingkap konteks dan的结论比较平衡，不只是强调好处。
关于bahagian yang menarik bukan sekadar的例子很实用，适合团队继续讨论。
这篇文章对dan menambah baik model tempatan的解释很清楚，实际操作的重点也很容易理解。