- Whisper demo kali ini saya menggunakan model bisikan kecil (Size Model 500 Mb)
Screencast.from.21-10-23.11.27.14.webm
-
Indonesian:
Saya membutuhkan kuota internet banyak untuk maintance project ini, jika anda tidak keberatan silahkan sponsor saya (saat ini kuota internet saya lambat dan terbatas)
-
English:
I need a lot of internet quota to maintain this project, if you don't mind please sponsor me (currently my internet quota is slow and limited)
π€ Hugging Face memiliki banyak koleksi model, termasuk banyak yang berformat ONNX. 90% modelnya adalah Pytorch, yang dapat dikonversi ke ONNX.
Berikut adalah pencariannya ONNX models.
Sebuah Alat command-line di panggil optimum-cli
dari HuggingFace mengonversi model Pytorch dan Tensorflow. Ini mencakup sebagian besar model. optimum-cli
juga dapat mengkuantisasi model, mengurangi ukuran model secara signifikan, biasanya dengan dampak akurasi yang dapat diabaikan.
Lihat official documentation / Petunjuk Cepat snippet on GitHub.
Alat lain yang mengotomatiskan konversi ke ONNX adalah HFOnnx. Itu digunakan untuk mengekspor model penyematan teks di repo ini. Keunggulannya mencakup ukuran model yang jauh lebih kecil, dan menggabungkan pasca-pemrosesan (penggabungan) ke dalam model itu sendiri.
- Pengantar singkat tentang cara kerja format & waktu proses model ONNX huggingface.com
- Netron memungkinkan Anda melihat model ONNX, memeriksa grafik runtime, dan mengekspornya ke format lain
No | Device | Os | Ram | CPU |
---|---|---|---|---|
1. | Msi Modern 14 | Ubuntu 22.04 | 8 gb | Amd Ryzen 5500u |
2. | Realme 5 | Android 11 | 3gb | Snapdragon 665 |
dart pub add onnx_dart
or flutter
dart pub add onnx_dart onnx_flutter
import 'package:onnx_dart/onnx_dart.dart';