KT 에이블스쿨 AI트랙 2기 10주차(9.26-9.29) 🎞

이번주에는 미니프로젝트 3차를 4일동안하고 30일 하루만 언어지능 딥러닝을 배우는 날이었다.  

 

📁 프로젝트 개요

매 회 동일한 코너(코너이름,출연진 등)이 반복되는 시리즈 영상물을 분석하고 코너 구간을 분류하는 모델 제작

 

🗂 Dataset

코미디빅리그 방송

train : 220206.mp4(51분 56초) ,220220.mp4(55분 53초) | test : 220320.mp4(53분)

 

✂️ 데이터 전처리 과정

1. 코너 제목이 나타나고 사라지는 시간을 기준으로 클래스 별 나눠서 저장 ( 두분사망토론,결혼해두목,코빅엔터,사이코러스 )
2. 전처리 전략
   • 제한된 학습 이미지 데이터 증강을 위해 Image augmentation 기법 사용 (회전,좌우이동,상하이동,반시계방향각도,좌우반전)
   • 이미지를 코너 별 제목 부분만 잘라내서 학습
   • 원본 데이터만 이용했을 때 학습

⭐️ 발전하기.. 🥹

1. 이미지 전처리 과정

• 글 판별 같은 경우에는 rgb로 구분하는 것이 아닌 grayscale을 사용해서 구분해야한다 → ( grayscale + threshold(경계값 부분을 명확하게 하기 위해서) )
• ⇒ 이진화(Binarization)
• 선명하게 표현 ⇒ 대상 픽셍을 강조하는 커널을 만들고 filter2D를 사용하여 이미지에 커널 적용. 중앙 픽셀을 부각하는 커널을 만들어 이미지의 경계선에서 대비가 더욱 두드러짐
• 코미디 빅리그 로고를 포함해서 넣는 이유 : 로고명이 색상이 변경할 수 도 있기 때문에 좀 더 넓게 보는 것이 좋다

2. 모델 과정

• Model Scaling : 모델을 늘려서 성능을 끌어올리는 방법
• 1. Width Scaling( Filter + )
  2. Depth Scaling( Layer+ )
  3. Input resolution+ ( 해상도를 높여서 넣는 방법 )
• relu 함수보다는 swish 함수( f(x) = x * sigma(x) ) 사용 → 깊은 모델일수록 과적합되기 때문에
• ResNet : Layer가 깊은 모델이 오히려 성능이 좋지 않음 → Residual Learning(잔여학습)을 이용해서 해결
• VGG16
• efficientNet : compound scaling

3. 성능 평가

• f1_score 값 구하기 ( scroe = fl_score(test_generator,labels,pred,average = None )