Hugging Face dataset

Namunalarni Qabul / Rad bilan tekshiring → asosan web-ilova ishlayotgan mashinaga (web_data / data / repo) saqlang yoki kerak bo‘lsa ZIP / brauzer papkasiga oling → to‘liq split ham shu ilova mashinasiga yoziladi.

← Pipeline Explorer

Craft dataset → asr-ur → Hugging Face

Yuklab olingan datasetlarni tanlang, asr-ur ga qo'shing, keyin HF ga yangilash yuboring. Barcha datasetlar web_data/masters/craft_import/asr-ur/ ga birlashtiriladi.

Natija papkasi tekshirilmoqda…

Jarayonlar

Tekshirilmoqda…

Konvertatsiya parametrlari

Chiqish: 16 kHz mono FLAC + file_name, text, corpus, duration, source_url. Min/max vaqt — Data Merger dagidek (0 = cheklov yo'q). duration avtomatik hisoblanadi.

Dataset (select yoki pastdagi kartochka)

Corpus (train papka nomi)

Chiqish papkasi

Limit (0 = hammasi)

Min sek (0 = cheklov yo'q)

Max sek (0 = cheklov yo'q)

HF repo (yuklash uchun)

Mavjud papkaga qo'shish (asr-ur) Konvertatsiyadan keyin HF ga yuklash Incremental yuklash (faqat yangi yozuvlar)

«Yuklashni bekor qilish» — faqat mahalliy asr-ur dan o'chiradi; Hugging Face repodagi fayllar qoladi.

Mahalliy datasetlar — tez qo'shish

Yuklanmoqda…

1. Dataset va parametrlar

Gated datasetlar uchun access token (hf_...). Avvalo bu yerdan saqlangan token, keyin muhit (HF_TOKEN) ishlatiladi — Docker da eski/bo‘sh .env UI tokenini bosib qo‘ymaydi.

Access token

Hugging Face havola yoki tashkilot/nom

Split

Config (HF subset, ixtiyoriy)

Bu til kodi emas — datasetning rasmiy config nomi (HF kartada «Subsets»). Ko‘p loyihalarda faqat default. Noto‘g‘ri bo‘lsa xato: BuilderConfig not found.

Namunalar soni (1–50)

trust_remote_code (faqat ishonchli datasetlar uchun)

Uzoq yuklash: serverda HF_HUB_DOWNLOAD_TIMEOUT=600 (soniya) qo‘shing. **Gated** dataset: avval HF saytida kartada ruxsatni qabul qiling; token yuqoridagi maydonda saqlang yoki muhitda HF_TOKEN bo‘lsin.

2. Ko‘rib chiqish

Har bir qatorda Qabul yoki Rad etish. Keyin 3-bo‘lim: asosan ilova mashinasi diski yoki (ixtiyoriy) brauzer kompyuteri.

3. Qabul qilinganlarni saqlash

Asosiy saqlash — web-ilova ishlayotgan mashinaning diski (sizda odatda shu kompyuter: localhost yoki serverdagi Docker/volume). Quyidagi ildiz + yo‘l orqali shu mashinaga yoziladi. ZIP va «Brauzer papkasi» — fayllar brauzer o‘rnatilgan kompyuterga tushadi (masofaviy serverda ishlasangiz, bu server bilan bir xil bo‘lmasligi mumkin). Tuzilma hammasida YouTube pipeline bilan bir xil: content/audio_segments/, content/gemini_transcription/, content/metadata.json.

Ilova ishlayotgan mashinadagi ildiz

Papka yo‘li (nisbiy, ichki papkalar)

📂 Ilova mashinasidagi papkalarni ochib tanlash

Bu ro‘yxat serverda ishlayotgan ilova fayl tizimidan. Papkani oching; «Saqlash papkasini tanlash» joriy papkani maydonga yozadi.

Nom	Turi

4. To‘liq splitni ilova mashinasiga eksport

Yuqoridagi ildiz + nisbiy yo‘l — yana shu web-ilova ishlayotgan kompyuter diski. Papka bo‘sh bo‘lishi kerak. Yoziladi: content/audio_segments/, content/gemini_transcription/, content/metadata.json. Katta splitlar uzoq vaqt oladi — status pastda yangilanadi.