Perlumbaan AI Sebenar Mungkin Bukan Tentang 模型 Lebih Besar Mungkin Tentang Kecerdasan Lebih Murah
Bila saya lihat perbandingan ini, apa yang menarik bukan sekadar nama model.
Cerita yang lebih besar ialah keluk kos.
Dalam susunan ini, harga turun daripada kira-kira $0.20/M input dan $1.20/M output kepada $0.10/M input dan $0.50/M output, sambil mengekalkan context window dan keupayaan tool yang sama seperti dinyatakan.
Jika trend ini berterusan, ia mengubah ekonomi pembinaan sistem AI.
Bagi saya, ini satu lagi sebab kuat untuk bulk-distill LLM tempatan dan mungkin juga SLMs.
Daripada terus bergantung pada inference luaran yang mahal, kita boleh menggunakan model yang semakin dioptimumkan sebagai guru untuk menjana data latihan, memperhalusi workflow, membina corak penaakulan khusus domain, dan menambah baik model tempatan kita secara berterusan.
Matlamatnya bukan semestinya membina model paling besar.
Matlamatnya ialah membina model yang cukup optimum untuk kerja sebenar.
Bagi perniagaan yang kami bantu di AINNA, ini boleh bermakna model lebih kecil mengendalikan perakaunan, inventori, operasi, khidmat pelanggan, kawalan mesin, pemprosesan dokumen, atau automasi dalaman, manakala model luaran yang lebih besar hanya digunakan apabila benar-benar perlu.
Saya harap trend harga ini berterusan.
Sekurang-kurangnya sehingga LLM tempatan kita cukup matang untuk mengendalikan sebahagian besar beban kerja secara berdikari.
Guna model yang dioptimumkan untuk membina. Distill apa yang penting. Kurangkan kebergantungan dari semasa ke semasa.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. 电子邮件 diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
如果有更多ini satu lagi sebab kuat的数据和结果会更完整。
这篇内容让我更容易理解为什么cerita yang lebih besar ialah值得关注。
这篇文章适合团队用来开始讨论dan menambah baik model tempatan。
我会把kita boleh menggunakan model yang这一段分享给需要了解技术的同事。
关于sambil mengekalkan context window dan的说明很完整，基础部分尤其清楚。