Ko'pchilik bilsa kerak MLda qaysi konfiguratsiya yaxshi ishlashini deylik ko'p holatlarda eksperiment orqali bilib olamiz deyiladi. Masalan, ma'lum model uchun Adam optimizer yaxshimi yoki RMSprop'mi.
Ha agarda kichikroq model, uncha katta bo'lmagan epochlar soni bo'lsa eksperiment qilib ko'rsak katta narsaga tasir qilmaydi.
Lekin katta model, katta dataset va yaxshigina vaqt oladigan train loop'lar uchun kerakli konfiguratsiyani eksperiment orqali bilish qimmatga tushadi - har holda bepul emas.
Shuning uchun ham muammoga yechimni eksperiment qilmasdan nazariy jihatdan topish ham alohida o'rinli.
Yaqinda intervyuda menga bir savol berilgandi:
- Batch size'ni 2marta oshirdik. Shunda hyperparametrlarni nima qilishimiz kerak? Oshirishimiz kerakmi, kamaytirishimiz kerakmi yoki o'zgarishsiz qoldirishimiz kerakmi.
Siz ham javob berishga harakat qilib ko'ring.
P.S - skrinshot esa bugungi eksperimentimdan. Ozgina adashganimda GPU RAM to'lib qolardi va hamma ishni boshidan boshlashimga to'g'ri kelardi.
Ha agarda kichikroq model, uncha katta bo'lmagan epochlar soni bo'lsa eksperiment qilib ko'rsak katta narsaga tasir qilmaydi.
Lekin katta model, katta dataset va yaxshigina vaqt oladigan train loop'lar uchun kerakli konfiguratsiyani eksperiment orqali bilish qimmatga tushadi - har holda bepul emas.
Shuning uchun ham muammoga yechimni eksperiment qilmasdan nazariy jihatdan topish ham alohida o'rinli.
Yaqinda intervyuda menga bir savol berilgandi:
- Batch size'ni 2marta oshirdik. Shunda hyperparametrlarni nima qilishimiz kerak? Oshirishimiz kerakmi, kamaytirishimiz kerakmi yoki o'zgarishsiz qoldirishimiz kerakmi.
Siz ham javob berishga harakat qilib ko'ring.
P.S - skrinshot esa bugungi eksperimentimdan. Ozgina adashganimda GPU RAM to'lib qolardi va hamma ishni boshidan boshlashimga to'g'ri kelardi.