编辑文章

Perlumbaan AI Sebenar Mungkin Bukan Tentang 模型 Lebih Besar  Ia Mungkin Tentang Kecerdasan Lebih Murah

Dalam perbandingan ini, bahagian yang menarik bukan sekadar nama model.

Cerita yang lebih besar ialah keluk kos.

Dalam susunan ini, harga turun daripada sekitar $0.20/M input dan $1.20/M output kepada $0.10/M input dan $0.50/M output, sambil mengekalkan tetingkap konteks dan keupayaan alat yang sama seperti dinyatakan.

Jika trend ini berterusan, ia mengubah ekonomi pembinaan sistem AI.

Bagi saya, dalam kerja operasi logistik dan R&D di AINNA, ini satu lagi sebab kukuh untuk bulk-distill LLM tempatan  dan mungkin juga SLM.

Daripada bergantung secara kekal pada inferens luaran yang mahal, kita boleh menggunakan model yang semakin optimum sebagai guru untuk menjana data latihan, memperhalusi aliran kerja, membina corak penaakulan khusus domain, dan menambah baik model tempatan kita secara berterusan.

Matlamatnya bukan semestinya membina model paling besar.

Matlamatnya ialah membina model yang cukup optimum untuk kerja sebenar.

Bagi perniagaan, ini boleh bermaksud model lebih kecil mengendalikan perakaunan, inventori, operasi, perkhidmatan pelanggan, kawalan mesin, pemprosesan dokumen, atau automasi dalaman, manakala model luaran yang lebih besar hanya digunakan apabila benar-benar perlu.

Saya harap trend harga ini berterusan.

Sekurang-kurangnya sehingga LLM tempatan kita cukup matang untuk mengendalikan sebahagian besar beban kerja secara bebas.

Guna model optimum untuk membina. Distil apa yang penting. Kurangkan kebergantungan dari semasa ke semasa.