시각장애인을 위한 또 다른 눈 Smart Eyes

1. 과제의 개요

사회적 이슈

한국의 시각장애인은 보건복지부 자료에 따르면 2021년 05월 기준 등록장애인 수 전체 약 2,645,000명 중 252,000명으로 약 9.25%를 차지한다. 최근 노화로 인한 시각장애와 다양한 지병으로 인한 후천적 시각 장애는 시각장애인 인원수 증가의 요인이기도 하다.

낯선 환경에서의 독립보행은 시각장애인에게 있어 가장 큰 어려움 중 하나이다. 현재 시각장애인에게 도움을 주기 위해 다양한 방침이 제시되고 있지만 실제로는 관리가 미흡하여 오히려 독이 되는 경우도 있다. 실제 한 사례로 시각장애인의 보행 안정을 위해 점자블록이 설치되어 있으나 관리가 되지 않아 역으로 이들의 안전을 위협하고 있다고 한다.

시각장애인 편의 시설

사실상 시각장애인에게 식료품을 사러 가는 것은 “도전”에 가까운 일이다. 위 내용과 같이 가는 길도 험난할 뿐더러 마트나 편의점에 도착해도 본인이 찾는 물건의 위치도 혼자의 힘으로는 알 수 없기 때문이며, 실제로 시각장애인 중 편의점의 외부가 전부 유리문인 편의점은 입구조차 찾기 어려워 헤맨 경험이 있다고 한다. 또한, 시각장애인도 저렴한 상품과 유통기간이 여유 있게 남은 상품을 구입하고 싶은 것은 당연하지만, 실제로 매번 점원에게 도움을 받아 장을 보는 것은 현실적으로 어렵기도 하고 점원이 불친절할 때를 비롯해 안내견을 동반할 때는 출입이 어려운 경우도 종종 있는 것으로 알려져있다.

시각장애인의 경제성

시각 장애인의 취업률은 12.5%로 장애유형 중 낮은 비율을 차지하고 있으며, 경제활동이 낮은 시각 장애인들에게 고가의 제품을 구매하기에는 부담스럽다. 따라서 본 연구의 결과물과 비슷한 제품에 비해 비교적 저렴한 가격으로 제품화 한다면, 구매 부담을 줄이고 접근성을 높여 보고자 한다.

시각장애인의 성범죄 피해사례

피해자가 장애인인 성폭력 사건이 최근 3년간 하루 평균 2.2건으로 발생한 것으로 집계되었다. 특히 피해는 20대 이하의 청년, 청소년 장애인에게 집중되어있으며, 피해자가 20대(783건/30.3%)와 미성년자(58건/23.9%)인 경우가 절반이 넘는 54.2%로 집계되었다.

따라서, 시각장애인에게 필요한 복지는 타인이게 도움을 전적으로 받는 것이 아닌 스스로 주체적인 삶을 살 수 있는 환경이 되는 것으로 생각하며, 이에 도움을 주기 위한 도구의 연구와 위에 기술된 문제점 및 환경을 분석하여 시각장애인 또는 저시력자(이하 시각장애인)들 에게 보다 나은 삶의 질 향상을 목표로 연구하게 되었다.

2. 과제개발 주요과정

2-1. Smart Eyes 시스템 개념 설

시각장애인의 일상생활에 도움을 주기 위한 모델로 사용자의 음성을 인식하고, 상황에 따른 내용을 음성으로 출력하는 인터페이스와 입력된 음성 명령 또는 CAM으로 부터 실시간 인식된 객채의 탐지, 바코드, QR 코드 해석, 문자 해석, 안면 인식 등의 기능적 구현을 위해 [그림 2]와 같이 설계하였다.

설계된 시스템은 상황인지를 위한 FHD 카메라 모듈과 음성 명령 및 음성 출력을 위한 무선 이어폰(Bluetooth), 상황인지와 모델링을 통한 Ai(ML; Machine Learning) 과정을 거쳐 적절한 상황에 맞는 음성 안내를 수행한다. 머신러닝을 위한 고 기능의 프로세서 파워를 효율적으로 사용하고, 대규모 작업 처리가 가능한 임베디드 환경에서 수행할 수 있도록 최적화 하였으며, 본 연구에서는 “텍스트 음성 인식”, “객체 및 장애물 인식”, “안면인식(지인, 범죄자)”, “QR 코드 인식”, “BAR 코드 인식” 등으로 축소하여 상황에 따른 모델링 ML 기능을 수행할 수 있도록 설계하였다.

2-2. 하드웨어 설계

연구된 Smart Eyes는 주요 환경적 이슈를 측정하기 위해 FHD 카메라를 이용하며, 카메라는 안경, 모자, 브로치 형태로 변경하여 착용할 수 있으며, 본 연구에서는 안경에 착용하여 테스트 하였다. 또한 임베디드 시스템 환경에서 원활한 동작을 수행하고 장시간 운용할 수 있도록 1000mAh 배터리를 장착하였고, 무선 충전 모듈 등을 탑재하여 충전이 원활하도록 설계하였다.

운용 환경에서 배터리의 테스트 결과 Full load시 약 3시간 가량 사용할 수 있었으며, Full load는 연속적 카메라의 사용, 음성 출력과 입력 등의 연산 처리 부하를 최대치로 동작 시킨 결과의 내용이며, 일반적인 상황에서는 약 6시간을 사용할 수 있는 것으로 테스트 되었다.

또한, 외형의 경우 본 연구에서는 목걸이 형태로 제작하였으나 브로치 형태, 카메라와 결합된 형태, 밸트 장착 형태 등으로 변경하여 장착할 수 있으며, 제작된 외형은 약 65mm X 100mm X 25mm(WxHxD)이며, 무게는 약 150g이다. 다소 부담스러운 크기일 수 있으나 현재는 목업 디자인이며, 보다 작게 제작가능하다.

[그림 4]와 같이 무선 충전 기술을 사용하였으며, 자기장의 유도 원리를 이용하여 송신기에서 수신기를 거쳐 배터리를 충전하는 방식이다. 따라서 무선 충전 스테이션은 아답터를 거쳐 인입된 5.0V 3.0A를 무선 충전 코일에서 자기유도를 하며, 제품 본체 하부에 부착된 수신 코일에서 전력을 전달 받으며, 무선 충전의 효율은 약 85%의 효율로 측정되었다.

3. 과제의 기술내용

Processor의 내부 모듈은 [그림 5]와 같이 크게 “CAM Image Processing”, “Voice Detector”, “Voice TTS”, “Database Cat.”, “Main Process”로 구성되며 “CAM Image Processing” 에서는 상황 감지, 객체 감지 등과 같은 FHD 캠과 관련된 작업을 수행하고, “Voice Detector”에서는 등록 사용자의 음성 인식과 위험 요소 인식 등을 수행하며, “Voice TTS”는 검색된 데이터를 텍스트로 변환하고 이를 음성으로 출력하는 작업을 수행한다. 또한 “Database Cat.”는 등록된 정보를 검색할 수 있는 카테고리로 이벤트에 할당된 작업에 대한 전반적인 비교, ML 등의 Ai 처리 지원 등의 작업을 진행한다. 마지막으로 “Main Process”는 Audio Decoder, Machine learning, Common Controller, Emergency Call 등을 수행하여 상황으로 부터 사용자의 안전에 위협이 되는 요소를 판별하여 신고/응급 구조 요청 등의 작업을 수행할 수 있도록 구성하였다.

외부 모듈로는 “Data.go.kr”에서 성범죄자 검색 및 등록과 QR/BAR 코드의 검색지원(https://gsl.koreannet.or.kr)을 수행하고, “Test site”는 자체 재작된 데이터베이스로, 음식 조리 레시피, 위험 영역 관리 등으로 구성되어 사용자로 부터 내려진 명령에 따라 “Data.go.kr”에서 데이터를 검색하거나 “Test site”에서 검색하는 형태로 수행된다.

3-1. 시간 안내 및 사진촬영 알고리즘(TTS, DB, Human Object tracking)

본 연구에서 모든 명령은 음성으로 진행되며, [그림 6]은 사진 저장과 시간 안내 기능을 표현한 흐름도이다. 따라서, 사용자가 “사진 찍어줘”라는 지정된 명령을 음성으로 전달하면 카메라가 동작하고 시야에 있는 대상을 추적/인식하여 “SavePictures” 디렉토리에 저장하게 된다.

시간 안내 기능은 시각장애인에게 현재의 시간을 안내하는 기능으로 RTP의 시간을 가져와 현재의 시간을 음성으로 안내하여 시간을 판단 할 수 있도록 한 기능이다.

일반인들에게 별거 아닌 기능들이지만, 시각장애인이 휴대폰이나 카메라로는 원하는 장면을 담기는 어렵다. 하지만, 말 한마디에 바라보고 있는 방향을 저장하고, 현재의 시간 등을 알려주어 비 장애인들이 누리고 있는 일반적인 상황을 직접 활용할 수 있는 것에 경계를 허물 수 있을 것으로 기대한다.

3-2. QR / BAR 코드 알고리즘(QR/BAR Code detect, DB)

[그림 7]은 블루투스 이어폰을 통해 입력 받은 명령(“QR/BAR 코드 읽어줘”)을 카메라(시야각)로 부터 읽은 QR 또는 BAR 코드를 인식하여 정보를 해석하고 TTS로 출력하는 기능을 담고 있다. QR코드는 앞서 기술한 바와 같이 특정 데이터베이스(Test site)에 접속하여 레시피를 읽거나 향후 추가될 여러 기능에 대한 정보를 추출하고 음성으로 알려주며, BAR Code의 경우 제품의 코드를 읽어 BAR Code 제품 등록 정보 사이트(https://gsl.koreannet.or.kr)에서 인식된 코드를 검색하여 이에 해당하는 정보를 추출하여 음성으로 안내하게 된다. 예를 들어 특정 제품의 바코드를 인식하고 이 제품에 대한 정보를 제품 정보 사이트에서 읽어와 제품명, 가격 등을 음성으로 안내한다.

#1. QR/BAR Code 인식 시나리오

#1-1. Smart Eyes “QR/BAR Code 읽어줘” 음성 명령

#1-2. Response : “네, 알겠어요.”

#1-3. Search QR/BAR Code information : 상품의 정보가 담긴 데이터 셋을 가져와 가공처리

#1-4. 가공된 데이터를 TTS로 안내

3-3. 친구 저장 알고리즘(Human face detection, TTS, DB)

[그림 9]의 친구 저장은 등록한 친구, 지인, 가족 등을 저장하여 대상이 시야에 있는 경우 음성으로 알려 줄 수 있도록 하는 기능이다. 친구 저장 알고리즘은 친구 뿐만 아니라 비등록 대상의 경우 특정 위험 요소(성 범죄와 같은)가 있는 대상일 경우 음성으로 안내하여 위험을 회피할 수 있도록 하는 기능을 포함하고 있다.

대상을 저장할 때 추적된 객체의 요소 수가 1명을 초과 하는 경우 특정 대상을 구분할 수 없으므로, 등록시 1인 등록을 원칙으로 하며, 등록시 대상의 카테고리 구분(“친구”, “지인”, “가족”, “범죄자” 등)하여 저장하며, 범죄자를 제외한 카테고리는 이름을 함께 지정하여 저장하게 된다.

친구가 등록되어 객체가 탐지 될 경우 “등록된 친구 ‘홍길동’이 앞에 있어요”라는 문구를 음성으로 안내하며, 등록된 객체 모두 한번에 탐지 될 경우 대표 이름 1명만 출력하도록 하였다. 또한, 친구 대신 임의 등록한 범죄자 또는 국가 DB를 통해 탐지된 대상이 있는 경우 음성으로 알리며, 미리 대처할 수 있도록 하였다.

#2. 안면 인식 동작 시나리오.

#2-1. 등록할 대상 전면에서 카메라가 객체 탐색(등록 대상 1인)

#2-2. 인식된 등록 대상을 ML 처리

#2-3. 등록 대상의 정보를 DB에 저장

#2-4. 등록된 대상이 감지되는 경우 DB에서 대상 정보 추출

#2-5A. 추출된 정보를 TTS로 안내

#2-5B. 범죄자가 감지되는 경우 TTS로 주의 안내

4. 연구결과

급속한 고령화로 인해 후천적 시각장애가 많이 발생하면서 등록장애인 수가 급증하고 있다. 하지만 여전히 부족한 편의 시설과 독립적으로 활동하기에 불편함을 느끼고 있는 시각장애인들을 위해 편리성과 안전성 보장을 위한 제품이 출시되어야 한다고 생각하여 연구하게 되었다.

특히 장애인이 비장애인에 비해 범죄에 취약한 건 사실이며, 시각장애인은 상대방의 얼굴도 알 수 없을 뿐더러 앞이 보이지 않는 상태에서 일방적으로 당할 수 밖에 없기 때문이다. 따라서, 본 연구의 결과인 “Smart Eyes”를 활용한다면 위와 같은 취약점을 보완할 수 있을 것으로 사료된다.

향후 시각장애인을 위한 추가적인 기능을 탑재하는 기능으로 텍스트 문자를 카메라로 읽어 해당 부분을 음성으로 알리며, 이와 더불어 제스처 기능, 위험 알림(주변), 능동상황 알림, 객체 추척 및 탐지 등의 기능을 추가할 예정이다.

5. 활용방안 및 효과

시각장애인들이 인도를 활보할 때 점자블록 위에 있는 장애물에 의해 안전사고를 당하는 사례가 빈번히 일어나고 있다. 심지어 점자블록을 따라가다 보면 맨홀 뚜껑이 있는 경우도 있다. 만약 공사에 의해 맨홀 뚜껑이 열려있을 경우 시각장애인이 점자블록에 의지하여 이동을 한다면 인명사고로까지 이어질 수 있다. 이에 객체 및 장애물 인식 알고리즘을 탑재한다면, 점자블록 위에 있는 장애물 혹은 인도에 있는 볼라드 등 위험요소들의 리스크를 줄여 줄 수 있을 것으로 사료된다.

장애는 특별한 사람들에게만 해당되지 않는다. 언제 어떤 사람에게나 장애가 발생할 수 있고, 장애인과 비장애인 모두 안전한 사회를 이루기 위해서는 우리 모두의 노력이 필요하다. 따라서 본 연구를 통해 시각장애인들에게 그동안 누리지 못했던 우리에게는 당연했던 것들에 조금 더 가까워질 수 있도록 하는 것이 본 연구의 모티브이다.

캡스톤 디자인 결과물