新一轮 AI 军备竞赛：上下文、代币与成本✎ Edit

Beberapa penyedia LLM nampaknya sedang menaikkan had maksimum token bagi setiap sesi.

Semalam, saya habiskan beberapa jam mengoptimum dan memurnikan parsing engine untuk 独立系统 saya. Biasanya, tugas kompleks macam ini akan habiskan baki sesi dalam beberapa minit sahaja. Tetapi walaupun selepas berjam-jam bekerja, baki token masih banyak.

Ini menunjukkan satu perubahan besar. Syarikat LLM bukan lagi bersaing semata-mata melalui kecerdasan model. Mereka kini bertembung menerusi context window yang lebih panjang, had penggunaan yang lebih tinggi, kos lebih rendah, respons lebih pantas dan akses lebih lancar untuk pengguna.

Ia terasa macam perang harga yang kita selalu nampak dalam marketplace.

Ada penjual yang asyik potong harga walaupun margin sudah semakin nipis. Tujuan mereka bukan semestinya untung segera. Kadang-kadang, strategi itu adalah untuk tarik lebih ramai pembeli, rampas market share dan lemahkan pesaing yang tidak mampu bertahan tanpa customer base yang kukuh.

Penyedia LLM mungkin kini memasuki fasa yang sama. Mereka tawarkan lebih banyak token, sesi lebih panjang dan nilai lebih baik untuk mengunci pengguna pada platform mereka sebelum pesaing sempat membina customer loyalty yang lebih kuat.

Bagi pengguna, ini baik dalam jangka pendek. Kita boleh bina lebih banyak, uji lebih banyak dan siapkan projek lebih besar dengan kos lebih rendah. Tugas yang dulu memerlukan banyak sesi, prompt berulang dan pembinaan semula konteks kini boleh diselesaikan dalam satu aliran kerja yang lebih panjang.

Tapi perang harga jarang kekal selamanya. Apabila pesaing yang lemah tersingkir dan pengguna bergantung kepada hanya beberapa penyedia, harga, had dan syarat akses mungkin berubah semula.

Bagi perniagaan, pengajarannya mudah: manfaatkan persaingan ini, tapi jangan bergantung sepenuhnya kepada satu penyedia. Gunakan 智能路由, 分离式系统, pemprosesan setempat dan pelbagai penyedia LLM di mana mungkin.

Pemenang sebenar bukanlah syarikat yang menggunakan LLM paling berkuasa. Ia adalah syarikat yang boleh menukar penyedia, mengawal data sendiri dan terus beroperasi apabila pasaran berubah.

#ArtificialIntelligence #LLM #AICompetition #DetachedSystem #SmartRouting #蒸馏 #自动化 #BusinessStrategy #NeuralOps #AINNA