Beberapa penyedia LLM nampaknya sedang menaikkan had maksimum token bagi setiap sesi.
\r\nSemalam, saya bersama pasukan logistik operasi AINNA menghabiskan beberapa jam menyemak semula dan menyaring semula enjin parsing dalam 独立系统 kami. Biasanya, tugas kompleks macam ini akan menghabiskan baki sesi dalam beberapa minit sahaja. Tetapi walaupun selepas berjam-jam, baki token masih banyak.
\r\nIsyarat ini lebih besar daripada sekadar spesifikasi teknikal. Syarikat LLM kini tidak lagi bersaing hanya melalui kecerdasan model. Mereka juga bersaing melalui tetingkap konteks yang lebih panjang, had penggunaan yang lebih tinggi, kos yang lebih rendah, tindak balas lebih pantas dan akses lebih baik untuk pengguna.
\r\nIa mengingatkan saya akan perang harga dalam industri logistik dan e-dagang.
\r\nAda pengusaha logistik atau penjual dalam talian yang terus memotong kadar penghantaran walaupun margin mereka sudah nipis. Tujuannya bukan semata-mata untuk untung segera. Kadangkala, strateginya ialah menarik lebih banyak pelanggan, merampas bahagian pasaran dan melemahkan pesaing yang tidak mampu bertahan tanpa pangkalan pelanggan yang kukuh.
\r\nPenyedia LLM mungkin kini memasuki fasa yang sama. Mereka menawarkan lebih banyak token, sesi lebih panjang dan nilai lebih baik untuk mengunci pengguna pada platform mereka sebelum pesaing sempat membina kesetiaan pelanggan yang lebih kuat.
\r\nBagi pengguna dan operasi, ini menguntungkan dalam jangka pendek. Kita boleh membina lebih banyak, menguji lebih banyak dan melengkapkan projek lebih besar dengan kos lebih rendah. Tugas yang dahulu memerlukan beberapa sesi, prompt berulang dan pembinaan semula konteks boleh diselesaikan dalam satu aliran kerja yang lebih panjang - kurang proses \"cross-docking\" data, kurang pembungkus semula konteks.
\r\nTetapi perang harga jarang kekal selamanya. Apabila pesaing yang lemah pupus dan pengguna bergantung kepada segelintir penyedia, harga, had dan syarat akses mungkin berubah semula.
\r\nBagi perniagaan, pengajarannya mudah: manfaatkan persaingan, tetapi jangan bergantung sepenuhnya pada satu penyedia. Gunakan 智能路由, 分离式系统, pemprosesan setempat dan pelbagai penyedia LLM di mana mungkin - sama seperti kita tidak meletakkan semua stok dalam satu trak atau satu laluan penghantaran.
\r\nPemenang sebenar bukanlah syarikat yang menggunakan LLM paling berkuasa. Ia adalah syarikat yang boleh menukar penyedia, mengawal data sendiri dan terus beroperasi apabila pasaran berubah.
\r\n#Artificial智能 #LLM #AI竞争 #分离式系统 #SmartRouting #蒸馏 #自动化 #商业战略 #NeuralOps #AINNA
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. 电子邮件 diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
我会把mereka juga bersaing melalui tetingkap这一段分享给需要了解技术的同事。
文章把tujuannya bukan semata-mata untuk untung和日常运营联系起来，这一点很有帮助。
我特别喜欢mereka menawarkan lebih banyak token这一部分，内容没有把实施过程说得太简单。
这篇内容让我更容易理解为什么merampas bahagian pasaran dan melemahkan值得关注。
这篇文章对sesi lebih panjang dan nilai的解释很清楚，实际操作的重点也很容易理解。
关于\r\n ia mengingatkan saya akan的实际落地部分最吸引我。