新一轮 AI 军备竞赛：上下文、代币与成本✎ Edit

Beberapa penyedia LLM nampaknya sedang menaikkan had maksimum token bagi setiap sesi.

Semalam, saya bersama pasukan logistik operasi AINNA menghabiskan beberapa jam menyemak semula dan menyaring semula enjin parsing dalam 独立系统 kami. Biasanya, tugas kompleks macam ini akan menghabiskan baki sesi dalam beberapa minit sahaja. Tetapi walaupun selepas berjam-jam, baki token masih banyak.

Isyarat ini lebih besar daripada sekadar spesifikasi teknikal. Syarikat LLM kini tidak lagi bersaing hanya melalui kecerdasan model. Mereka juga bersaing melalui tetingkap konteks yang lebih panjang, had penggunaan yang lebih tinggi, kos yang lebih rendah, tindak balas lebih pantas dan akses lebih baik untuk pengguna.

Ia mengingatkan saya akan perang harga dalam industri logistik dan e-dagang.

Ada pengusaha logistik atau penjual dalam talian yang terus memotong kadar penghantaran walaupun margin mereka sudah nipis. Tujuannya bukan semata-mata untuk untung segera. Kadangkala, strateginya ialah menarik lebih banyak pelanggan, merampas bahagian pasaran dan melemahkan pesaing yang tidak mampu bertahan tanpa pangkalan pelanggan yang kukuh.

Penyedia LLM mungkin kini memasuki fasa yang sama. Mereka menawarkan lebih banyak token, sesi lebih panjang dan nilai lebih baik untuk mengunci pengguna pada platform mereka sebelum pesaing sempat membina kesetiaan pelanggan yang lebih kuat.

Bagi pengguna dan operasi, ini menguntungkan dalam jangka pendek. Kita boleh membina lebih banyak, menguji lebih banyak dan melengkapkan projek lebih besar dengan kos lebih rendah. Tugas yang dahulu memerlukan beberapa sesi, prompt berulang dan pembinaan semula konteks boleh diselesaikan dalam satu aliran kerja yang lebih panjang - kurang proses \"cross-docking\" data, kurang pembungkus semula konteks.

Tetapi perang harga jarang kekal selamanya. Apabila pesaing yang lemah pupus dan pengguna bergantung kepada segelintir penyedia, harga, had dan syarat akses mungkin berubah semula.

Bagi perniagaan, pengajarannya mudah: manfaatkan persaingan, tetapi jangan bergantung sepenuhnya pada satu penyedia. Gunakan 智能路由, 分离式系统, pemprosesan setempat dan pelbagai penyedia LLM di mana mungkin - sama seperti kita tidak meletakkan semua stok dalam satu trak atau satu laluan penghantaran.

Pemenang sebenar bukanlah syarikat yang menggunakan LLM paling berkuasa. Ia adalah syarikat yang boleh menukar penyedia, mengawal data sendiri dan terus beroperasi apabila pasaran berubah.

#ArtificialIntelligence #LLM #AICompetition #DetachedSystem #SmartRouting #蒸馏 #自动化 #BusinessStrategy #NeuralOps #AINNA