한이음 ICT멘토링 프로젝트 수행계획서

• 프로젝트 정보

프로젝트명	실시간 특정 객체 모자이크 처리 프로그램
기술분야	□ 이동통신 □ 네트워크	■ 방송·스마트미디어 □ 전파·위성	□ 기반SW·컴퓨팅 ■ SW	□ 디지털콘텐츠 □ 정보보호	□ 융합서비스 □ ICT 디바이스
주제영역	□ 건강 □ 생산성 □ 생활 □ 안전 ■ 엔터테인먼트
성과목표	□ 특허출원 □ 논문발표 □ 앱등록 □ 프로그램등록 □ 기술이전 □ 실용화 ■ 공모전(공모전명 ) □ 기타( )
수행예상기간	2019. 03. 01. ~ 2019. 11. 30.
프로젝트소개 및 제안배경	방송에서는 상표 또는 담배, 잔인한 장면 등 모자이크 처리를 원하는 특정 부분이 존재합니다. 기존의 방식에는 두 가지가 있습니다. 첫 번째로는 실제로 특정 부분을 불투명 테이프나 가리개 등으로 가리고 촬영하는 방식, 두 번째로는 편집자가 촬영된 영상에서 원하는 부분을 찾고 모자이크로 편집하는 방식이 있습니다. 이런 기존방식은 시간이 오래 걸리고 사람이 미처 확인하지 못한 부분으로 문제가 생길 수 있습니다. 저희 팀은 이러한 문제점을 해결하기 위해 딥러닝 기술 중 하나인 객체 탐지 알고리즘을 활용하고자 합니다. 이 기술의 이점을 활용한다면 사람이 놓칠 수 있는 부분의 캐치와 편집 작업을 빠른 속도로 처리 할 수 있습니다. 저희들은 프로젝트 주제로, 자동으로 원하는 객체를 찾아 블러 처리하는 프로그램을 만들고자 합니다.
주요기능	딥러닝 객체 탐지 알고리즘을 이용해 원하는 객체를 찾아냄. 찾아낸 객체를 모자이크 등으로 블러처리. (상표, 칼, 담배, 얼굴 등) 특정 인물을 찾아서 그 사람만 모자이크 예외처리. (뉴스에서 아나운서를 제외하고 모자이크)
적용기술	딥러닝 기반의 객체탐지 학습시켜놓은 신경망 모델을 이용하여 원하는 객체를 탐지 영상처리 openCV를 이용한 블러 처리
예상결과물
기대효과 및 활용분야	영상 편집 시간 단축 편집자가 수작업으로 처리하는 것이 아니라 알고리즘이 알아서 처리하기 때문에 번거로운 과정 단축 상표 노출 방지 TV 예능 프로그램 등에서 의도치 않게 노출되는 상표들을 자동으로 블러 처리 유해 매체 차단 흉기, 담배 등의 유해 매체들을 블러 처리

• 프로젝트 수행계획

 

1. 프로젝트 개요

 

가. 프로젝트 소개

• 제안 배경

 

ㅇ 방송에서는 상표 또는 담배, 잔인한 장면 등 모자이크 처리를 원하는 특정 부분이 존재합니다. 기존의 방식에는 두 가지가 있습니다. 첫 번째로는 실제로 특정 부분을 불투명 테이프나 가리개 등으로 가리고 촬영하는 방식, 두 번째로는 편집자가 촬영된 영상에서 원하는 부분을 찾고 모자이크로 편집하는 방식이 있습니다. 이런 기존방식은 시간이 오래 걸리고 사람이 미처 확인하지 못한 부분으로 문제가 생길 수 있습니다.

 

• 목표

 

ㅇ 실시간 방송에서 부적합한 담배나 칼(유해물질) 또는 사람 얼굴, 상표 등 필요에 따른 모자이크 처리

 

ㅇ 편집자가 별도의 수작업을 할 필요 없이 자동으로 편집

ㅇ 특정 사람의 얼굴을 모자이크 처리에서 제외

ㅇ 실시간으로 모자이크 처리

 

나. 추진배경 및 필요성

 

ㅇ 기존의 방식은 편집자가 편집 프로그램을 사용해 직접 모자이크를 하는 방식이므로 실시간 방송에서는 모자이크 처리가 어려움

 

ㅇ 딥러닝 기반의 객체인식 알고리즘을 적용하면 실시간 방송에서 적용이 가능

 

ㅇ 편집하는 과정이 생략되므로 시간이 단축

 

ㅇ 블러처리 기술에 이해가 깊지 않은 일반 개인 방송 크리에이터들에게 기술에 대한 이해 없이도 손쉽게 사용 가능

2. 프로젝트 내용

 

가. 주요 기능

구분	기능	설명
SW	객체 탐지	학습시켜놓은 신경망 모델을 이용하여 블러 처리할 객체를 탐지
	영상 처리	openCV를 사용한 탐지한 객체를 블러 처리
TX1 board	임베디드 환경	임베디드 환경에서의 학습모델 동작 확인
Camera	실시간 영상 수집	실시간으로 딥러닝 모델에 영상을 제공

 

나. 적용 기술

 

ㅇ 딥러닝 기반의 객체 탐지 알고리즘

 

ㅇ 영상 처리기술을 이용한 블러 처리

 

ㅇ 특정 객체 추적 알고리즘

 

다. 필요기자재(기자재/장비)

품목	활용계획
Jetson TX1	임베디드 환경에서의 테스트
Camera	입력 이미지 촬영
Usb hub	카메라 등 USB로 연결할 디바이스 활용
HDMI 케이블	모니터 연결에 필요
Cloud Server	Linux(Ubuntu) 가상 서버에서 개발

 

마. 성과목표

성과목표	□ 특허출원 □ 논문발표 □ 앱등록 □ 프로그램등록 □ 기술이전 □ 실용화 ■ 공모전(공모전명 ) □ 기타( )

 

ㅇ 딥러닝 객체탐지 알고리즘의 이해

 

ㅇ 인공 신경망의 동작원리 이해

 

ㅇ 임베디드 환경에서의 딥러닝 학습 모델 최적화 이해

3. 프로젝트 수행방법

 

가. 멘티(참여학생) 업무분장

번호	이름	대학	학과	학년	역할	담당업무
1	구창모	인천대학교	임베디드시스템 공학과	4	팀장	영상 처리 기능 구현
2	박남석	인천대학교	임베디드시스템 공학과	4	팀원	객체 추적 알고리즘 분석 및 구현
3	박성현	인천대학교	임베디드시스템 공학과	4	팀원	객체 탐지 알고리즘 분석 및 구현
4	박건우	인천대학교	임베디드시스템 공학과	4	팀원	데이터 수집 및 전처리, UI 구현

 

나. 프로젝트 추진일정

구분	추진내용	추진일정
		2월	3월	4월	5월	6월	7월	8월	9월	10월	11월
계획	프로젝트 아이디어 계획 및 수정
분석	딥러닝 기반 객체 탐지 알고리즘 분석
	영상 처리 기법 분석
설계	객체 탐지 알고리즘을 활용한 모델 설계
개발	객체 탐지 알고리즘을 활용한 모델 개발
	영상 처리 모델 개발
	임베디드 환경
테스트	완성된 모델 테스트(+임베디드 환경)
종료	개발 모델 최적화 및 마무리
오프라인 미팅계획	오프라인 회의

 

다. 의사소통방법

 

ㅇ 오프라인 미팅(멘토 : 월 1회/멘티 : 상시)

 

ㅇ 온라인 소통(상시)

 

라. 프로젝트 Ground Rule (기본원칙)

 

ㅇ 최소 월 1회 오프라인 미팅

 

ㅇ 개발 현황 보고 및 피드백(상시)

• 기대효과 및 활용분야

 

1. 기대효과

 

가. 작품의 기대효과

 

ㅇ 이전 방송계에서 실시간으로 송출하는 영상에서 사용하였던 기술은 영상 속 인물 전체의 얼굴을 블러 처리. 이전에는 수작업으로 처리하였던 상표 및 유해매체들을 딥러닝 기술을 활용하여 수작업이 아닌 기계의 능동적인 처리.

 

ㅇ 블러 처리에 대한 기술에 이해가 깊지 않은 일반 개인 방송 크리에이터들에게 기술에 대한 이해 없이 손쉽게 사용 가능. 이로 인해 방송매체법에 대한 피해를 방지.

 

나. 참여 멘티의 교육적 기대효과

 

ㅇ 대학과정에서 학습해 온 영상 공학을 활용.

 

ㅇ 머신 러닝을 넘어서 딥러닝에 이르는 깊이 있는 학습.

 

2. 활용분야

 

ㅇ Live 영상을 송출하는 방송계.

 

ㅇ 늘어나는 개인 방송 크리에이터들의 활용 가능.