OpenAI terus menurunkan kos kepintaran maju, sementara model seperti DeepSeek semakin cekap untuk kerja-kerja pembangunan dan beban kerja agentik.
Dalam pembangunan kami sendiri, kami menggunakan OpenAI sebagai model guru untuk distilasi.
Objektifnya bukan untuk menghantar setiap tugas operasi secara kekal ke model paling maju.
Kami menggunakan model yang lebih kuat apabila kepintarannya menghasilkan nilai tertinggi:
Latihan. Penaakulan. Penilaian. Distilasi.
Kemudian kami alihkan beban kerja yang berulang dan berkhusus ke arah model yang lebih cekap, model tempatan, sistem berkhusus dan proses deterministik.
Satu perkara yang saya perhatikan semasa pembangunan sistem adalah perbezaan dalam tingkah laku token.
Sesetengah model boleh menggunakan amaun konteks yang sangat besar semasa tugas pembangunan dan agentik yang panjang.
Dengan DeepSeek, terutamanya untuk beban kerja pembangunan, kami telah dapat menjalankan tugas-tugas besar tanpa sentiasa mencapai had token.
Ini membawa kepada satu soalan penting:
模型 AI terbaik bukan semestinya model yang harus anda gunakan untuk setiap tugas.
Satu seni bina yang lebih baik mungkin kelihatan seperti ini:
模型 OpenAI maju → Guru / Distilasi
LLM / SLM cekap → Kepintaran berkhusus
系统 terpisah → 负载 kerja deterministik berulang
Penghalaan Pintar → 选择 lapisan yang sesuai untuk setiap tugas
Di sinilah ekonomi AI menjadi menarik.
Apabila kepintaran terkini menjadi lebih murah, kita boleh menggunakannya untuk mencipta dan memperbaiki kepintaran berkhusus yang lebih kecil, berbanding membayar kos model terkini secara berterusan untuk setiap operasi.
Bagi PKS, ini boleh mengubah ekonomi penggunaan AI secara mendasar.
Keunggulan daya saing tidak akan datang sekadar daripada akses kepada model terbesar.
Ia akan datang daripada pengetahuan:
model mana yang hendak digunakan, bila hendak menggunakannya, apa yang hendak didistilasi, dan apa yang sepatutnya tidak menggunakan LLM langsung.
Itulah arah yang kami bina di AINNA NeuralOps.
#ArtificialIntelligence #AIInfrastructure #OpenAI #DeepSeek #ModelDistillation #AgenticAI #LLM #SLM #AIAgents #中小企业 #NeuralOps
