OpenAI terus menurunkan kos kecerdasan hadapan, manakala model seperti DeepSeek semakin cekap untuk beban kerja pembangunan dan agentik - sesuatu yang semakin relevan untuk operasi logistik moden.
Dalam pembangunan sistem NeuralOps kami di AINNA, kami menggunakan OpenAI sebagai model guru untuk distilasi.
Objektifnya bukan untuk menghantar setiap tugas operasi harian - seperti pengurusan SKU, jadual penghantaran, atau alokasi stok - secara kekal kepada model paling canggih.
Kami menggunakan model lebih berkuasa di mana kecerdasannya menghasilkan nilai paling tinggi:
Latihan. Penaakulan. Penilaian. Distilasi.
Kemudian kami alihkan beban kerja berulang dan berkhusus ke arah model lebih cekap, model tempatan, sistem berkhusus, dan proses deterministik - contohnya penyusunan SKU, penjanaan label, atau penghalaan pesanan berulang.
Satu perkara yang saya perhatikan semasa membina sistem operasi ialah perbezaan dalam perilaku penggunaan token.
Sesetengah model boleh menggunakan jumlah konteks yang sangat besar semasa tugas pembangunan panjang dan beban kerja agentik - sama seperti aliran data transaksi yang membengkak dalam operasi harian.
Dengan DeepSeek, terutamanya untuk beban kerja pembangunan, kami dapat menjalankan tugas besar tanpa sentiasa mencapai batas token. Ini membantu mengawal kos dan kelajuan dalam persekitaran operasi real time.
Ini membawa kepada satu soalan penting:
Model AI terbaik belum tentu model yang harus digunakan untuk setiap tugas.
Satu seni bina yang lebih baik mungkin kelihatan seperti ini:
Model OpenAI canggih → Guru / Distilasi
LLM / SLM cekap → Kecerdasan berkhusus
系统 terpisah → 负载 kerja berulang dan deterministik
智能路由 → Memutuskan lapisan mana yang harus menangani setiap tugas
Di sinilah ekonomi AI menjadi menarik dari sudut pandang logistik.
Apabila kecerdasan hadapan menjadi lebih murah, kita boleh menggunakannya untuk mencipta dan menambah baik kecerdasan kecil yang lebih berkhusus, daripada membayar kos model hadapan secara berterusan untuk setiap operasi - bukan setiap penghantaran atau setiap kemas kini inventori perlu melalui model hadapan.
Bagi SME, ini boleh mengubah ekonomi penggunaan AI secara asasnya.
Keunggulan bersaing tidak akan datang hanya daripada mempunyai akses kepada model terbesar.
Ia akan datang daripada mengetahui:
model mana yang hendak digunakan, bila hendak menggunakannya, apa yang hendak didistilasi, dan apa yang tidak sepatutnya menggunakan LLM langsung.
Itulah arah yang kami bina di AINNA NeuralOps.
#ArtificialIntelligence #AIInfrastructure #OpenAI #DeepSeek #ModelDistillation #AgenticAI #LLM #SLM #AIAgents #SME #NeuralOps
