Mironshoh Inomjonov


Гео и язык канала: Узбекистан, Узбекский
Категория: Курсы и гайды


- Vention'da Machine Learning injenerman
- NLP (TTS/STT) hamda Computer Vision bo'yicha ishlayapman.
- Kanalda asosan sun'iy intellekt va sun'iy intellekt sohasida ishlash haqida yozaman.

Связанные каналы  |  Похожие каналы

Гео и язык канала
Узбекистан, Узбекский
Категория
Курсы и гайды
Статистика
Фильтр публикаций


arxiv.org/pdf/2502.12524

YOLOv12 chiqibdi kecha.
YOLO freymvorkini rivojlantirish (yangi versiyalar chiqarish) transformerlar harqancha yaxshi bo'lmasin CNNga asoslangan rivojlanishlar orqali amalga oshirilar edi. Sababi aniq - transformer arxitekturalari CNNga asoslangan modellarning tezligini berolmaydi. Yangi versiyada 'attention-centric YOLO'ni taqdim etishyapti, avvalgi modellar kabi tezlikni saqlab qolgan holda. Mashhur object detection modellaridan accuracy bo'yicha yaxshiroq natijaga erishgan.


Репост из: UzA | Расмий канал
Маҳмуджон Содиқов: Сунъий интеллект келажакда ҳамма соҳани эгаллайди (+видео)

Ахборот технологиялари соҳаси охирги ўн йилликларда улкан трансформацияларни ўз бошидан кечирди ва бутун ҳаётимизни ўзгартириб юборди. Булутли технологиялар, 5G ва интернет, миллиардларни қамраб олган ижтимоий тармоқлар, медианинг ақл бовар қилмас тараққиёти...

📽 https://youtu.be/5AHMgyEJVdI

Батафсил: https://uza.uz/posts/690086

Тelegram  | Facebook | Instagram | YouTubе


Репост из: Not So Artificial Intelligence
Transformer Sxemalarga Matematik Yondashuv/Framework

Kimdir so'rasa transformerlarni eng yaxshi tushuntiradigan maqola shu (va uning sekveli) deyman.

Maqola neyron tarmoqlardagi kichik va katta ichki mexanizmlarni mexanik tushunish va interpretatsiya qilish haqida. Bizda masalan, konvolyutsion tarmoqlar qanday ishlashi haqida yaxshi tushuncha (masalande) bor, lekin transformerlarni yaxshi bilmaymiz.

Ushbu maqola kichik transformerlar qurish orqali ularni tushuntirib berishga uruniadi. Masalan, shu maqola orqali siz:
- rezidual strim haqida oqiysiz va nega barcha qatlamlar shu strimdan o'qib shunga qaytib yozishini kuzatasiz;
- tushunasizki, transformerlar juda ham g'alati ko'rinishda chiziqli. Agar attention maskalarni qotirsak, to'liq chiziqli ko'rinishga o'tishadi!
- 2-qavatli transformer qatlamlarda qiziq mexanik "harakatlar" vujudga kelishini kuzatasiz. Masalan, attention head larning tokenlardan nusxa olishi, o'chirishi va izlashi. Bu esa o'z navbatida skip-triagramalarni xosil qiladi ("make a -> wish")

Avtorlar yana bir muhim matematik analiz uchun qurol taklif qilishadi: matritsalarning spektral analizi. Shunday o'ylashingiz mumkin: agar tayin token A boshqa token B ning ehtimolini oshirsa, demak shunday eigenvectorlar borki, ularning eigenvalue lari musbat. Buni tekshirish uchun nusxa oluvchi attention head'larga, yoki biror spesifik (masalan, xitoycha tokenlar boshqa xitoycha tokenlarni ehtimolini oshidadi) attention head'larga qarash yetarli. Agar tegishli (maqolada OV ) matritsalarda eigenvalue'lar katta bo'lsa, demak bu head'lar musxa oladi, yoki o'z gurux tokenlarini qidiradi!

Shu va shundan boshqa qiziq topilmalar orqali transformerlarni dekode qilishga harakat qilishadi.

Undan keyingi maqola esa chuqurroq transformerlarda "in-context learning" paydo bo'la boshlashini kuzatishadi.

Nima demoqchiman: "attention is all you need" is not all you need.


- AI'chimisiz aka?
- Ha
- ChatGPT, Llama DeepSeek shunaqa modellar bilan shug'ullanasilarmi silar
- Yo'q shug'ullanmaymiz, shug'ullantiramiz.


Yana bir tavsiya:
Agarda GPU memory 70%dan oshib ketadigan bo'lsa GPU o'zining performance'ini ko'rsatishga qiynaladi. GPUni to'ldirvormaslik kerak.
Buni menga yaqinda team leadim aytib bergandi.
Tepada esa ancha oshib ketgan - training balki shunga ham odatdagidan ko'p vaqt olgandir.

Endi tepadagi savolga javobga kelsak:

Batch size'ni 2 marta oshirish varianceni kamaytiradi (variance of averaged gradients). Shuning uchun hyperparametrlarni (masalan learning rateni) ham oshirishimiz kerak.


Ko'pchilik bilsa kerak MLda qaysi konfiguratsiya yaxshi ishlashini deylik ko'p holatlarda eksperiment orqali bilib olamiz deyiladi. Masalan, ma'lum model uchun Adam optimizer yaxshimi yoki RMSprop'mi.

Ha agarda kichikroq model, uncha katta bo'lmagan epochlar soni bo'lsa eksperiment qilib ko'rsak katta narsaga tasir qilmaydi.
Lekin katta model, katta dataset va yaxshigina vaqt oladigan train loop'lar uchun kerakli konfiguratsiyani eksperiment orqali bilish qimmatga tushadi - har holda bepul emas.
Shuning uchun ham muammoga yechimni eksperiment qilmasdan nazariy jihatdan topish ham alohida o'rinli.

Yaqinda intervyuda menga bir savol berilgandi:
- Batch size'ni 2marta oshirdik. Shunda hyperparametrlarni nima qilishimiz kerak? Oshirishimiz kerakmi, kamaytirishimiz kerakmi yoki o'zgarishsiz qoldirishimiz kerakmi.
Siz ham javob berishga harakat qilib ko'ring.


P.S - skrinshot esa bugungi eksperimentimdan. Ozgina adashganimda GPU RAM to'lib qolardi va hamma ishni boshidan boshlashimga to'g'ri kelardi.


Yann LeCun KazLLM haqida.


Видео недоступно для предпросмотра
Смотреть в Telegram
Bu men ortiqcha resurslarsiz faqatgina colabdagi T4 GPUning o'zini ishlatib 2ta TTS/STT modelni yaxshi natijalar bilan fine tune qilganimdan keyin.


Репост из: Laziz Abdullaev
"US people do AI thing, everybody learn how to do, very good very good!"

- Some Chinese person probably.

@lazizabdullaev


Edison lampochkani yaratish uchun 1000 xil eksperiment qilgan deyishadi.
Hozir lampochka ishlab chiqadiganlar qaysi usul to'g'riligini bilishadi.

OpenAI'ning holati ham lampochka yaratishday gap. Yangi chiqayotgan AI startuplar kamroq resurs, kamroq vaqt va kamroq pul yaratishlari tabiiy. Chunki ular qaysi yo'l aniq ishlashini bilishadi.

Aytgancha tweet biroz eskiroq.


Ushbu linkda klassik ML bo'yicha intervyu savollari berilgan. Juda sifatli deyolmayman, lekin o'zim tuzib chiqqanman. Davom etkazib Deep Learning bo'yicha ham savollar qo'shib chiqaman.
Buni avvalroq Najot Ta'limdagi o'quvchilarim uchun tayyorlagandim. Sizlarga ham foydali bo'ladi degan umiddaman.


Oxirgi 1-2.oy ichida ko'p intervyularda qatnashdim va ba'zi xulosalarim:
- Texnologiyadan ko'ra core algoritm yoki model ishlashini ko'proq o'rganish kerak.
Masalan transformer arxitekturasi qanaqa ishlashini bilmasangizu lekin PyTorchda birnimalar qilgan bo'lsangiz befoyda.
- Fine tuning jarayonida o'zi nimalar sodir bo'lishini bilish.
PEFT nima, LoRA va QLoRA qanday ishlaydi. Masalan nimaga u aynan 'low rank' adaptation deyiladi.
- Bilmaydigan narsani bilmayman deb aytish
- Eng ko'p ishlatiladigan texnologiyalar va mavzular: LangChain, RAG, fine-tuning, transformerlar, YOLO, deployment.


Masalan Ventionga intervyuda PyTorch bo'yicha bir savolga javob berolmadim, lekin transformerni yaxshi tushuntirib berdim. Lekin, menimcha, PyTorch savolga javob berib transformerni tushuntirolmaganimda reject bo'lardi


Ventiondan offer oldim.

Bugun oxirgi call bo'ldi: qachondan boshlash va boshqa masalalarni kelishib oldik. Yangi yilda nasib qilsa yangi ish joyda ish boshlayman.


Reinforcement Learning haqida.


Qiziq narsa ekan
Tom Yeh on LinkedIn: I flipped through 300 pages of deep learning math puzzles by hand ✍️ I… | 20 comments
I flipped through 300 pages of deep learning math puzzles by hand ✍️ I just received the first proof copy of the "Deep Learning Math Workbook" that combines… | 20 comments on LinkedIn


(c)


Kecha GDGga bormaganimga yarasha bir qiziqroq ish qildim.
2-3kun avval d2l.ai orqali BiRNN (Bidirectional Recurrent Neural Network)ni MovieLens datasetida train qilgandim.
Kecha shuni o'zbek tilidagi dataset uchun train qilishga harakat qildim va menimcha natijalar yomon emas. Kommentariyalar uchun sentiment analysis.
Rasmlarda ko'rishingiz mumkin natijalarni.
Kodni ozgina tozalab olay bu yerda ham ulashaman.

Dataset:
https://huggingface.co/datasets/behbudiy/uzbek-sentiment-analysis




Agar kuchayib ketib deep learning bo'yicha intervyu oladigan bo'lsam, birinchi savolim 'dot product' haqida bo'ladi.
Javobdan tushunvolish mumkin CNN va asosan transformerlarni rostan yaxshi tushunganmi yoki yodlaganmi.


LinkedInda ozarbayjonlik DS/ML/AI injenerlarning ba'zilari bilan connectionlarim bor va ular bilan hafta oralab 'Paper Reading club'lar tashkil qilamiz. Aniqrog'i ular tashkil qilishadi va qo'shilmoqchi bo'lganlarga suhbatga link berishadi.
Va ozarbayjonliklar aynan ozar tili bo'yicha har xil qiziq loyihalar qilishadi (bizdagi deylik Tahrirchiga o'xshagan).
Suratda ular qanday qilib ozar tilidagi ma'lumotlarni to'plaganliklari haqida diagramma.(kimgadir foydali bo'lib qolar).

Nima demoqchiman:
Low resource languages ya'ni kam ma'lumotli tillar bilan NLP maxsulotlarni yaratish har doim ham kerakmas yoki foydasiz degan fikrdan yiroq bo'lish kerak. Har holda ko'p ML injenerlar tayyor va katta dataset bilan ishlashni xohlashsa kerak. Lekin low resourse (masalan, turkiy tillar) tillar bilan ishlash birinchidan til rivoji uchun foydali.
Ikkinchidan, deylik, o'qish faoliyatingizni keyinchalik davom ettirmoqchi bo'lsangiz (MS yoki PhD) akademiya yoki professorlar sizdan faqatgina olamshumul ish qilganizni kutishmaydi. Aksincha, bunday loyihalar qilganingiz ularga yoqib tushishi ehtimoli baland. Ayniqsa sizning data gathering va preprocessingdagi tajribangiz aniq ustun tomoningizdan bo'ladi.

Показано 20 последних публикаций.