Saya melihat arkitektur ini sebagai infrastruktur AI berdaulat dari sudut operasi sebenar.
Model ini bermula dengan open-source weights dan mungkin menggunakan model AI luar yang lebih maju sebagai guru semasa proses distillation dan training. Namun, model luar tersebut adalah sumber semasa training, bukan pergantungan production.
Setelah fasa training selesai, fokus kami beralih sepenuhnya ke operasi harian di persekitaran yang kami kawal sendiri.
重量 model akhir berada di bawah kawalan tempatan.
推理 berjalan di infrastruktur self-hosted.
数据 perniagaan dan pengguna kekal dalam persekitaran kami.
部署, networking, access control, dan compute diuruskan secara dalaman.
Akses production diasingkan melalui private VPN.
Yang paling penting, sistem ini tidak memerlukan API AI luar untuk beroperasi semasa inference.
Perbezaan ini penting dalam operasi harian.
Kedaulatan tidak semestinya bermakna setiap pengetahuan, perisian, penyelidikan, atau pengaruh training mesti datang dari dalam. Sedikit sistem teknologi moden yang dibangunkan secara sepenuhnya terasing.
Apa yang penting dari sudut operasi ialah siapa yang mengawal sistem selepas ia di-deploy.
Jika pembekal AI luar tidak tersedia esok, sistem production kami harus terus berjalan.
Jika pembekal API menukar harga, dasar, tingkah laku model, atau syarat akses, persekitaran production kami tidak harus terjejas.
Jika data perniagaan sensitif memasuki sistem, data itu tidak perlu keluar dari infrastruktur terkawal kami untuk tujuan inference.
Itulah nilai praktikal kedaulatan.
Dalam arkitektur kami, kecerdasan luar mungkin membantu semasa peringkat pembangunan model, tetapi ia tidak mengawal persekitaran operasi akhir.
Analogi mudanya ialah seperti belajar daripada guru yang berpengalaman.
Pelajar mungkin mempelajari teknik daripada guru, tetapi setelah pelajar memperoleh pengetahuan dan boleh beroperasi secara bebas, guru tidak lagi diperlukan untuk setiap keputusan.
蒸馏 berfungsi dengan cara yang sama.
Model maju boleh bertindak sebagai guru semasa pembangunan, manakala model yang terhasil menjadi sistem yang dioperasikan secara bebas dan berjalan sepenuhnya dalam infrastruktur di bawah kawalan kami.
Atas sebab ini, saya akan menggambarkan arkitektur ini sebagai:
Infrastruktur AI Berdaulat dengan model dikawal secara tempatan dan inference yang bebas.
Tuntutan penting bukannya bahawa AI dicipta tanpa pengetahuan luar.
Tuntutan penting ialah AI yang di-deploy tidak bergantung kepada kawalan luar.
Ini bermakna kedaulatan wujud di tempat yang paling penting:
model, data, infrastruktur, inference, akses, dan keputusan operasi kekal di bawah kawalan tempatan.
