시각 센서와 불가시 정보의 시각화
〈화상정보처리〉 수업 노트
인간의 눈은 약 380nm에서 780nm 사이 파장의 전자기파를 볼 수 있다. 이 대역을 가시광선이라고 하고, 그 외의 파장 영역은 인간의 눈으로는 정보를 획득할 수 없다.
하지만 시각 센서를 활용하여 가시광선 이외의 영역을 화상화하면, 인간이 직접 볼 수 없는 정보를 시각적으로 표현할 수 있다.
광 센서
광 센서(光センサ)는 빛을 전기 신호로 변환하는 소자로 그 동작 원리에 따라 여러 종류가 있다.
포토레지스터는 입사하는 빛의 강도가 증가할수록 전기 저항이 낮아지는 특성을 가진다. 포토다이오드는 충분한 에너지를 가진 광자가 다이오드에 입사하였을 때 전류가 흐르는 방식으로 동작한다.
이 외에도 포토트랜지스터, 광전지, 그리고 광전 효과로 방출된 전자를 증폭함으로써 높은 감도를 실현하는 광전자 증배관(PMT; Photomultiplier Tube) 등이 있다.
포토다이오드의 구조
포토다이오드는 P형 반도체와 N형 반도체를 접합하여 구성된다. P형 반도체에서는 양전하를 가지는 정공(hole)이, N형 반도체에서는 음전하를 가지는 자유 전자(free electron)가 각각 캐리어로서 역할한다. 역바이어스 상태에서 빛이 접합부에 입사하면 전자-정공 쌍이 생성되어 전류가 흐른다. 장파장의 빛은 비교적 깊은 영역까지 침투하는 반면, 단파장의 빛은 접합부 가까운 표면 근방에서 흡수되는 특성을 보인다.
CCD 이미지 센서
CCD(Charge Coupled Device)는 1970년 AT&T 벨 연구소의 윌러드 S. 보일(Willard S. Boyle)과 조지 E. 스미스(George E. Smith)가 개발한 소자이다. 두 연구자는 이 업적으로 2009년 노벨 물리학상을 수상하였다. CCD는 전하를 버킷 릴레이 방식으로 외부로 전송하는 구조를 가지며, 지연선이나 이미지 센서에 응용된다.
CCD 이미지 센서는 다수의 포토다이오드를 배열한 집합체로, 소자에 따라서는 자외선에서 근적외선까지 넓은 파장 대역을 수광할 수 있으며, 고감도, 저잡음 특성을 갖는다. 다만 데이터를 버킷 릴레이 방식으로 전송하는 구조상 복수의 입력 전압(예: +15V, −7.5V, +5V)이 필요하다는 특성이 있다.
2차원 CCD 이미지 센서의 동작 원리
2차원 CCD 이미지 센서는 먼저 트랜스퍼 게이트를 닫고 각 소자에 전하를 축적한다. 이후 트랜스퍼 게이트를 열어 각 소자의 전하를 수직 전송용 CCD로 일제히 이동시킨 뒤 게이트를 다시 닫아 다음 전하 축적을 준비한다.
수직 전송용 CCD 하단의 1라인 분량의 전하를 수평 전송용 CCD로 이동시키고, 수평 전송용 CCD에서 순차적으로 데이터를 취출한다. 1라인 취출이 완료되면 다음 라인을 수평 전송용 CCD로 이동시키는 과정을 반복하며, 전체 라인 취출이 끝나면 다시 전하 축적 단계로 돌아간다.
CMOS 이미지 센서
CMOS(Complementary Metal-Oxide-Semiconductor) 이미지 센서는 포토다이오드, 증폭기, 스위치의 집합체로 구성된다. CCD에 비해 저잡음, 저소비전력의 특성을 가지며 제조 비용이 낮다는 장점이 있다. 현재의 스마트폰 카메라를 비롯한 대다수의 촬상 소자는 CMOS 방식을 채택하고 있다.
회색조 이미지 센서로부터 컬러 화상 정보 획득하기
회색조, 모노크롬 이미지 센서를 컬러화하는데 있어서는, 각 센서에 대해서 특정 색 성분만을 수광하도록 하는 전략을 사용한다. 이 방식으로는 대표적으로 1-CCD 방식과 3-CCD 방식이 있다.
1-CCD 방식은 하나의 2D-CCD 위에 컬러 필터를 배치하여 각 화소가 특정 색 성분만을 수광하도록 한다. 가장 널리 사용되는 것은 베이어 배열(Bayer pattern)인데, R:G:B = 1:2:1의 비율로 컬러 필터를 배치한다. 보색계 필터를 사용하는 경우에는 시안(B·G 투과), 마젠타(B·R 투과), 옐로(G·R 투과)를 조합하여 R:G:B = 2:3:2의 비율로 구성하기도 한다.
3-CCD 방식은 프리즘을 통해 입사광을 R, G, B 세 성분으로 분리한 뒤 각각을 별도의 CCD로 수광하는 방식이다. 1-CCD에서 각 센서별로 색상을 필터링하는 것과 다르게, 각 CCD가 전체 스펙트럼의 빛을 수광한 뒤 프리즘에서 분리된 특정 색 성분만을 처리하기 때문에, 색 재현성이 뛰어나고 화질이 우수하다. 다만 구조가 복잡하고 부피가 커서, 사용에 큰 비용이 요구된다.
CCD 칩을 응용하기: 광학식 마우스
광학식 마우스는 마우스 패드의 표면을 마이크로렌즈로 확대하고, 비스듬히 비치는 빛을 조사하여 표면의 미세한 요철이나 무늬를 선명하게 포착한다. 이를 CCD 칩으로 디지털화(약 800cpi)하여 마우스의 이동량을 검출, 초당 약 2,000 프레임의 속도로 연속 취득한 화상을 비교하여 이동 방향과 거리를 산출한다.
눈에 보이지 않는 세계의 가시화
가시광선 이외의 전자기파를 촬상 기술(撮像技術; Imaging Technology)로 화상화하면, 인간의 눈으로는 지각할 수 없는 정보를 시각적으로 표현할 수 있다.
자외선의 화상화에는 다이아몬드 박막, GaAsP 포토다이오드, CCD 이미지 센서 등이 사용된다. 자외선은 단파장이어서, 표면 근방에서 흡수되는 특성을 이용하여 표면의 미세한 결함이나 오염을 감지하는 데 활용된다.
근적외선의 화상화에는 InGaAs 이미지 센서나 InSb 이미지 센서처럼 단체로 영상화가 가능한 소자 외에, 가시광 차단 필터를 조합한 PIN 포토다이오드, 애벌런시 포토다이오드(APD), Si-CCD 등도 이용된다. Si CCD는 원래 가시광선에 감도를 가지지만 근적외선에도 어느 정도의 감도를 보이므로, 가시광 차단 필터를 덧붙임으로써 근적외선 전용 카메라로 활용할 수 있다. 같은 원리로 자외선 전용 촬상도 가능하다.
열적외선과 플랑크 복사 법칙
열적외선은 물체가 온도에 따라 방사하는 적외선으로, 이를 화상화하면 온도 분포를 가시적으로 확인할 수 있다.
막스 플랑크의 복사 법칙에 따르면, 완전 흑체가 방사하는 적외선의 양은 온도만으로 결정되며, 그 분광 방사 휘도 $B(\lambda)$는 다음과 같이 표현된다.
\[B(\lambda) = \frac{2hc^2}{\lambda^5} \cdot \frac{1}{e^{\frac{hc}{\lambda kT}} - 1}\]슈테판-볼츠만 법칙에 따르면 온도가 높을수록 더 많은 에너지를 방사하며, 빈의 변위 법칙에 따르면 온도가 높을수록 방사 스펙트럼의 피크 파장이 짧아진다. 별의 색깔이 표면 온도를 반영하는 것도 이 원리에 따른다.
열적외선 화상화에는 HgCdTe 이미지 센서, 볼로미터(Bolometer), 서모파일 어레이(Thermopile Array) 등이 사용된다.
볼로미터는 백금(Pt)이나 니켈(Ni) 저항체의 온도 의존적인 저항 변화를 이용하는 적외선 검지 소자이다. 서모파일은 입사 에너지에 따른 열기전력(熱起電力)을 발생시키는 에너지 적분형 적외선 센서이다. 열적외선 영상 촬상에는 게르마늄(Ge) 렌즈가 사용되는데, 게르마늄이 적외선에 대해 높은 투과율을 가지기 때문이다.
적외선은 열을 가지는 모든 물체로부터 방사됨을 이용하여 피사체의 온도 분포를 화상으로 나타낼 수 있다. 이 기술을 적외선 서모그래피라고 한다. 천문 분야에서는 태양 플레어 관측에, 공업 분야에서는 기기의 고장 발견 및 모니터링에, 소방·경찰 분야에서는 감식에 활용된다. 건축·환경 분야의 환경 모니터링이나 열섬 현상 분석, 의료 분야의 염증 모니터링, 행정·외교 분야의 입국 심사 시 감염증 발견, 나아가 군사 목적에 이르기까지 응용되고 있다. 덴소의 차량 에어컨용 매트릭스 IR 센서나 파나소닉의 룸에어컨 탑재 센서와 같이 소비자 제품에도 원리가 응용되어 있다.
그 밖의 불가시 정보 가시화
공기 흐름의 가시화: 슐리렌 촬상법
슐리렌 촬상법(Schlieren imaging)은 빛의 굴절을 이용하여 공기 밀도의 차이를 가시화하는 기법이다. 밀도가 다른 공기층을 통과하는 광선은 굴절이 발생하고, 이 굴절 정도의 차이를 광학계로 포착함으로써 온도 차이나 압력 차이에 의한 기류를 촬상할 수 있다. 충격파나 열대류, 가스 방출 등을 관측하는 데 활용된다.
음성의 화상화: 사운드 스펙트로그램
음성 신호는 시간-주파수 평면 위에 그 에너지 분포를 시각화할 수 있다. 음압 파형에 창 함수(窓函数)를 적용한 뒤 이산 푸리에 변환(DFT) 또는 고속 푸리에 변환(FFT)을 통해 진폭 특성을 산출하고, 이 창을 시간 방향으로 이동시키며 반복 연산함으로써 사운드 스펙트로그램을 얻는다. 스펙트로그램에서는 가로축이 시간, 세로축이 주파수, 밝기가 에너지(진폭)를 나타낸다.
스펙트로그램으로부터 포르만트(formant)를 분석할 수 있다. 포르만트는 음성의 공명 주파수 성분으로, 제1포르만트(기음)를 기반으로 제2, 제3, 제4포르만트(배음) 순으로 나타나며, 이들의 패턴이 음소마다 고유한 형태를 가져 음성의 내용과 음색을 구별하는 단서가 된다.
초음파 진단 장치
초음파 진단 장치는 프로브에서 초음파를 조사하고, 인체 조직의 경계면이나 조밀도 차이에 따른 반사파를 수신하여 내부 구조를 화상화하는 기기이다. 가까운 조직에서는 빠른 응답이, 먼 조직에서는 늦은 응답이 돌아오는 시간 차를 이용하여 깊이 방향의 정보를 재구성한다. 뼈 등 탄성 반사가 강한 구조물은 밝게 나타나며, 그 너머에는 음향 음영(acoustic shadow)이 생겨 관찰이 어려워진다.
초음파 화상에는 크게 세 가지 표시 방식이 있다. A모드는 반사 시간을 가로축에, 반사 강도를 세로축에 나타내는 일차원 표시 방식이다. M모드는 경과 시간을 가로축에, 반사 시간(거리)을 세로축에 배치하고 반사 강도를 휘도로 표시하여 구조물의 시간적 변화를 파악하는 데 사용된다. B모드는 빔의 방향을 각도로, 반사 시간을 반경으로, 반사 강도를 휘도로 표시하는 이차원 단면 화상으로, 가장 일반적으로 사용되는 표시 방식이다.
초음파 화상화 원리는 어군 탐지기(魚群探知機)와 같은 수중 탐사에도 동일하게 응용된다. 항공기 탑재 레이저를 이용한 ALB(Airborne Laser Bathymetry)는 녹색 레이저 광이 수중을 침투하는 특성을 이용하여 수심이 얕은 해저 지형을 항공 탐사하는 기술이다.
거리 정보의 가시화
평행하게 배치된 두 카메라의 시차(視差)나 근적외광의 반사 시간을 바탕으로 피사체까지의 거리를 추정하여 가시화할 수 있다. 마이크로소프트의 KINECT나 인텔의 RealSense를 사용하면 RGB 화상과 함께 깊이 정보를 포함한 RGB-D 화상을 취득할 수 있다.
비슷하게 LiDAR는 레이저 광의 왕복 시간을 측정하여 고정밀 3차원 거리 정보를 취득한다. 주로 자율 주행 차량이 주변 정보를 획득하는 수단으로 채택되거나 건조물의 높이 조사 등에 활용된다.
OCT: 광 간섭 단층 촬상
OCT(Optical Coherence Tomography; 광 간섭 단층계)는 근적외광을 광원으로 사용하여, 참조광과 안저로부터의 반사광 사이의 간섭을 계측함으로써 눈의 내부 구조를 비침습적으로 고해상도로 취득한다. 안구에 접촉하지 않고 망막의 층 구조를 삼차원적으로 파악할 수 있다는 점이 특징으로, 안과 임상에서 황반 질환이나 시신경 이상의 진단에 널리 활용된다.