Journal Search Engine

View PDF Download PDF Export Citation Korean Bibliography PMC Previewer
The Journal of The Korea Institute of Intelligent Transport Systems Vol.17 No.4 pp.138-149
DOI : https://doi.org/10.12815/kits.2018.17.4.138

Impulsive Noise Mitigation Scheme Based on Deep Learning

Young Ghyu Sun*, Yu Min Hwang**, Issac Sim**, Jin Young Kim***
*Dept. of Wireless Communications Eng., Univ. of Kwangwoon
**Couthor: Kwangwoon University School of Radio Science and Engineering
***Corresponding author: Professor, Department of Electronic Convergence Engineering, Kwangwoon University

Corresponding author : Jin Young Kim, jinyoung@kw.ac.kr
20180627 │ 20180723 │ 20180810

Abstract


In this paper, we propose a system model which effectively mitigates impulsive noise that degrades the performance of power line communication. Recently, deep learning have shown effective performance improvement in various fields. In order to mitigate effective impulsive noise, we applied a convolution neural network which is one of deep learning algorithm to conventional system. Also, we used a successive interference cancellation scheme to mitigate impulsive noise generated from multi-users. We simulate the proposed model which can be applied to the power line communication in the Section V. The performance of the proposed system model is verified through bit error probability versus SNR graph. In addition, we compare ZF and MMSE successive interference cancellation scheme, successive interference cancellation with optimal ordering, and successive interference cancellation without optimal ordering. Then we confirm which schemes have better performance.



딥 러닝 기반의 임펄스 잡음 완화 기법

선 영 규*, 황 유 민**, 심 이 삭**, 김 진 영***
*주저자 : 광운대학교 전파공학과 석박사통합과정
**공저자 : 광운대학교 전파공학과 석박사통합과정
***교신저자 : 광운대학교 전자융합공학과 교수

초록


본 논문은 전력선 통신의 성능을 하락시키는 임펄스 잡음을 효과적으로 완화하는 시스템 모델을 제안한다. 최근 딥 러닝이 다양한 분야에 적용되어 효과적인 성능개선을 보이고 있 다. 효과적인 임펄스 잡음 완화를 위해 딥 러닝 알고리즘 중 하나인 컨볼루션 뉴럴 네트워크 를 기존의 시스템에 적용한다. 또한 다수의 사용자가 존재할 경우를 고려하여 연속적 간섭 제거 기법을 사용하여 다수의 사용자로부터 발생하는 임펄스 잡음을 완화시킨다. 제안한 시 스템 모델을 전력선 통신에 적용하여 시뮬레이션을 하였고 비트 오류 확률 대 SNR 그래프 를 통해 제안한 시스템 모델의 성능을 확인한다. 또한, 연속적 간섭 제거 기법 중 ZF와 MMSE 연속적 간섭 제거 기법, 최적의 순서를 가지는 연속적 간섭 제거 기법과 최적의 순서 를 가지지 않는 연속적 간섭 제거 기법을 각각 비교하여 어떠한 기법이 더 우수한 성능을 가 지는지를 확인한다.



    National Research Foundation of Korea
    NRF-2016R1D1A1B03933872

    Ⅰ. 서 론

    오래도록 방치되어 있는 전력 인프라를 4차 산업혁명을 맞이한 시대에 맞게 바꾸어 보려고 전력 회사, 정 부 기관, 대학교 그리고 표준화 기관 등이 노력해오고 있다. 기존의 전력망과 달리 최근의 전력망은 인구의 증가와 다양한 기기의 개발로 인한 전기기기 사용의 증가, 사람의 생활패턴변화 등으로 전력 수요가 급증했 다. 이러한 현상으로 비추어 볼 때 전력 시스템의 신뢰성 확보와 효율적인 작동이 고려되면서 ‘스마트 그리 드’가 나오게 되었다. 스마트 그리드는 진보된 정보 통신 기술을 이용하여 신뢰성과 유연성을 높이고 전력망 을 효율적으로 작동시키며 추가적으로 전기 설비 인프라를 구축해야하는 상황을 줄이는 것으로 목적으로 한 다(Prasanna et al., 2009). 또한, 지능형 전력망인 스마트 그리드는 다양한 정보 통신 기술의 응용분야에 적용 할 수 있고 소비자와 전력 공급업체 간의 전력 사용량을 실시간으로 상호 교환할 수 있도록 기존의 전력망 을 지원한다. 스마트 그리드의 구현을 위해 여러 정보 통신 기술의 적용이 고려되고 있으며 그 중 하나로 전 력선 통신 기술이 있다. 전력선 통신은 기존의 설치된 전력선망을 이용하여 데이터를 송수신하는 기술로 기 존의 전력선망을 이용하기 때문에 통신 선로의 설치가 불필요하여 추가 설치비용이 적다는 장점이 있지만 높은 부하 간섭과 잡음, 제한된 전송 능력, 가변하는 신호 감쇠 및 임피던스 특성, 주파수 선택적 특성이라는 단점을 가지고 있다.

    전력선 통신 기술의 단점 중 하나는 전력선과 연결되어 있는 전기 장치의 무작위적인 on/off 패턴과 임피 던스 불일치로 인해 발생하는 임펄스 잡음이다. 임펄스 잡음의 전력 스펙트럼 밀도는 배경 잡음의 스펙트럼 보다 50dB 정도 높게 나타날 수 있다. 따라서 데이터 전송 중에 데이터 심볼의 손실을 가지고 올 수 있다. 전력선 통신의 안정적인 동작을 위해서는 임펄스 잡음을 효율적으로 완화해야한다는 점을 고려해야한다.

    딥 러닝 기술은 과적합의 문제와 긴 학습 시간으로 인해 탁월한 성능을 보임에도 현실에 적용하기에는 실 용적이지 않은 것으로 간주되었으나 하드웨어 기술의 발전과 효율적인 학습 알고리즘의 개발로 드랍 아웃, 프리트레이닝 등 과적합 문제를 해결할 수 있는 알고리즘이 개발되면서 최근 각광받고 있으면서 다양한 분 야에 적용되어 효과적인 성능개선을 보이고 있다. 통신 분야에서도 딥 러닝 기술을 적용하여 통신 성능을 개 선하는 연구가 활발히 진행 되고 있으며(Ha and Song, 2018; Li et al., 2017) 전력선 통신에 딥 러닝 기술이 이용된 사례가 흔하지 않다. 본 논문에서 전력선 통신의 문제점을 해결하고자 딥 러닝 알고리즘을 적용하여 임펄스 잡음 신호를 효율적으로 완화시키는 시스템 모델을 제안한다. 본 논문에서 이용하는 딥 러닝 알고리 즘은 컨볼루션 뉴럴 네트워크로 이미지 및 영상 인식 분야에서 탁월한 성능을 보여주고 있으며 입력되는 데 이터의 특징을 추출하여 결과를 예측한다. 임펄스 잡음이 추가된 신호의 경우 임펄스 잡음의 특징이 나타나 므로 컨볼루션 뉴럴 네트워크를 이용하여 임펄스 잡음을 예측할 수 있다.

    본 논문은 다음과 같이 구성되어있다. 2장에서는 임펄스 잡음 모델을 소개하고 3장에서는 딥 러닝 알고리 즘에 대해 설명한다. 4장에서는 제안하는 시스템 모델에 대해 설명하고 5장에서는 시뮬레이션 결과를 제시 한다. 마지막으로 결론을 6장에서 제공한다.

    Ⅱ. 임펄스 잡음 채널 모델

    <Fig. 1>에 전력선 통신의 채널의 다양한 잡음 모델이 나타나있다. 임펄스 응답 h(t)와 함께 신호 s(t)는 전 력선 채널을 통해 전송되고 채널을 통과하는 신호에 다양한 잡음이 추가된다. 그러고 나면 수신된 신호 r(t) 는 수신기에 도달한다. 전력선 통신에서 채널 잡음은 배경 잡음, 협 대역 잡음, 주된 주파수 (50 ~ 60Hz)의 비동기 또는 동기식 주기성 임펄스 잡음, 비동기 비주기성 임펄스 잡음 이렇게 5가지로 분류 할 수 있다.

    이들 중 일부 잡음은 백색 가우시안 잡음과 유사한 특성을 갖는 경우가 거의 없어 수신기에서 쉽게 분석 할 수가 없다. 배경, 협 대역, 주기적성 비동기 잡음은 일반적으로 초와 분 또는 때때로 몇 시간 동안 고정되어 있기 때문에 배경 잡음으로 요약될 수 있지만 비동기성 임펄스 잡음과 주기성 동기성 임펄스 잡음은 마이크로 초에서 밀리 초 동안 급속히 변하여 배경 잡음으로 요약할 수 없다. 따라서 임펄스 잡음 모델을 설정해야한다.

    임펄스 잡음 모델을 수립하기 위해 Middleton의 Class A 잡음 방식을 고려한다(Cortes et al., 2016). Class A 잡음 모델의 경우 관찰된 프로세스는 두 개의 독립적인 구성 요소로 가정한다.(1)

    z ( t ) = z G ( t ) + z p ( t ) .
    (1)

    첫 번째 항, zG(t),은 고정 배경 잡음인 가우시안 잡음 성분이다. 두 번째 항, zp(t),은 간섭의 임펄스 잡음 성분이며 다음과 같이 나타낼 수 있습니다(Cortes et al., 2016).(2)

    z p ( t ) = l U l ( t , θ ) ,
    (2)

    여기서 Ul은 간섭 발생원로부터의 l번째 파형을 나타내고, θ는 파형의 스케일과 구조를 묘사하는 랜덤 파 라미터들의 집합을 나타낸다. 관찰자의 입장에서 이러한 독립적인 임펄스 사건의 도착 시간은 포아송 프로 세스에 의해 결정되는 것으로 가정된다. 게다가 이 파형들은 시간 영역에서 중복될 때 비간섭적으로 추가된 다. 이러한 가정 하에서, Class A 잡음의 확률 밀도 함수는 다음과 같이 주어진다(Cortes et al., 2016).(4)

    f z ( z ) = m = 0 α m 2 π σ m 2 e z 2 2 σ m 2 ,
    (3)

    α m = e A A m m ! ,
    (4)

    여기서 m은 임펄스 잡음 발생의 수를 나타내고 A는 임펄스 지수라고 불리며, 이는 발생하는 임펄스 잡음 의 평균 비율과 일반적인 임펄스의 평균 지속 시간의 곱입니다.

    식 (3)에서, 분산 σ m 2 은 다음과 같이 정의된다(Cortes et al., 2016).(5)

    α m 2 = ( σ g 2 + σ i 2 ) ( m / A ) + Γ 1 + Γ .
    (5)

    파라미터 σ g 2 σ i 2 는 각각 배경 잡음의 전력과 임펄스 잡음의 전력을 나타낸다. 파라미터 Γ는 배경 잡음 대 임펄스 잡음 비율이다.

    Ⅲ. 딥 러닝 알고리즘

    1. 컨볼루션 뉴럴 네트워크

    컨볼루션 뉴럴 네트워크는 어느 정도의 시프트 및 왜곡 불변성을 보장하기 위해 기존의 다층 퍼셉트론과 다르다(LeCun and Bengio, 1995). 컨볼루션 뉴럴 네트워크는 지역수신필드, 공유 가중치, 공간적과 시간적 서 브 샘플링 이 세 가지 아키텍처 아이디어를 결합한다. <Fig. 2> Nair et al.(2010)에서 전형적인 컨볼루션 뉴럴 네트워크 아키텍처를 생각해 보자.

    컨볼루션 뉴럴 네트워크는 각 단계가 여러 개의 층으로 구성된 훈련 가능한 다단계 아키텍처이다 (Bhandare et al., 2016). 각 단계의 입력 및 출력은 특징 지도라고 하는 배열 집합이다. 출력 단계는 입력의 모든 위치에서 추출된 특징을 나타낸다. 각 단계는 일반적으로 컨볼루션 계층, 비선형성 및 풀링 계층으로 구성된다. 하나 또는 여러 개의 완전 연결된 층이 몇몇의 컨볼루션과 풀링 계층 뒤에 있다.

    1) 컨볼루션 계층

    이 계층은 컨볼루션 뉴럴 네트워크의 핵심 구성 요소입니다(Bhandare et al., 2016). 계층의 매개 변수는 입 력의 전체 깊이를 통해 확장되고 학습 가능한 커널 또는 필터로 구성된다. 이 계층의 각 유닛은 이전 계층의 작은 이웃에 위치한 유닛 세트로부터 입력을 받는다. 그러한 이웃은 이전 계층에서 뉴런의 수용 영역으로 불 린다. 순방향 통과 동안 각 필터는 지도를 생성하는 입력과 컨벌루션 연산된다. 다중 필터로부터 생성된 다 수의 특징 지도들이 쌓일 때, 이들은 컨볼루션 계층의 출력을 형성한다. 특징 지도를 생성하는 가중치 벡터 가 공유되어 모델의 복잡성을 줄인다.

    2) 비선현성 계층

    이 계층은 다양한 활성화 함수를 적용하는 뉴런 층이다(Bhandare et al., 2016). 이 함수들은 다중 계층 네트 워크에 적절한 비선형성을 도입한 것이다. 활성화 함수는 일반적으로 sigmoid, tanh, ReLU 등이 있다. 다른 함수들과 비교할 때, Rectangular Linear Units (ReLU)을 사용할 때 뉴럴 네트워크가 몇 배 더 빠르게 훈련되 기 때문에 주로 ReLU 함수를 사용한다.

    3) 풀링 계층

    컨볼루션 계층 다음에는 컨볼루션 계층에서 작은 직사각형 블록을 가져 와서 블록을 서브 샘플링하여 블 록의 단일 최대 출력을 생성하는 풀링 계층이 있을 수 있다(Boureau et al., 2010). 풀링 계층은 점진적으로 표 현의 공간 크기를 줄여 계산할 매개 변수를 줄인다. 또한 과적합을 제어한다.

    4) 완전 연결된 계층

    이전 계층의 모든 뉴런을 가져 와서 현재 계층의 모든 단일 뉴런에 연결하여 전역 의미 정보를 생성함으 로써 높은 수준의 추론을 수행하는 하나 이상의 완전 연결 계층이 있을 수 있다(Bhandare et al., 2016).

    2. 손실함수

    달성하려는 목적에 따라 적절한 손실 함수를 선택하는 것이 중요하다. 이번 파트에서는 손실 함수로 사용 되는 대표적인 4가지 함수를 소개한다(Gu et al., 2017).

    1) Hinge 손실함수

    Hinge 손실 함수는 일반적으로 서포트 벡터 머신과 같은 큰 여백 분류기를 학습하는데 사용된다. Hinge 손실 함수는 다음과 같이 정의할 수 있다(Gu et al., 2017).(6)

    L h i n g e = 1 N i = 1 N j = 1 k [ max(0,1- δ ( y ( i ) , j ) w T x i ) ] p ,
    (6)

    여기서 w는 분류기의 가중치 벡터이고 y ( i ) [ 1 , , K ] 는 K 클래스 사이에 올바른 클래스 레이블을 나타낸 다. 만약 y ( i ) = j 이면 δ ( y ( i ) , j ) = 1 이고 그렇지 않으면 δ ( y ( i ) , j ) = 1 이다. p=1인 경우 Hinge 손실함수, p=2인 경우 제곱된 Hinge 손실함수라고 한다. 제곱된 Hinge 손실함수는 미분가능하고 Hinge 손실함수와 비교하여 마진을 위반하는 점에서 더 큰 손실이 부과된다.

    2) 소프트맥스 손실함수

    소프트맥스 손실 함수는 소프트맥스와 다항적 로지스틱 함수의 결합으로 이루어지며 일반적으로 사용되 는 손실함수이다. 훈련 셋이 { ( x ( i ) , y ( i ) ) ; i 1 , , N , y ( i ) 1 , , K } 로 주어진다. 여기서 x(i)는 i번째 입력 y(i)는 K 클래스 중 타깃 클래스 레이블이다. i번째 입력의 j번째 클래스의 예측은 다음과 같은 소프트맥스 함수로 표현할 수 있다(Gu et al., 2017).(7)

    p j ( i ) = e z j ( i ) / l = 1 K e z j ( i ) ,
    (7)

    여기서 z j ( i ) 는 대게 조밀하게 연결된 계층의 활성화를 나타내며 다음과 같이 쓸 수 있다.(8)

    z j ( i ) = w j T a ( i ) + b j .
    (8)

    소프트맥스는 예측을 음수가 아닌 값으로 변환하고 정규화하여 클래스에 대한 확률 분포를 얻는다. 이러 한 확률적인 예측은 다항적 로지스틱 손실을 계산하기 위해 사용한다. 소프트맥스 손실 함수는 다음과 같이 표현할 수 있다(Gu et al., 2017).(9)

    L s o f t m a x = 1 N [ i = 1 N j = 1 K 1 { y ( i ) = j } log p j ( i ) ] .
    (9)

    최근 소프트맥스 손실 함수를 응용하여 다양한 소프트맥스 손실 함수가 개발되고 있다. 본 논문에서 손실 함수로 소프트맥스 손실 함수를 사용한다.

    3) 대조적 손실함수

    대조적 손실 함수는 일반적으로 Siamese 네트워크를 훈련시키는데 사용되며 이는 일치 또는 일치하지 않 음으로 레이블된 데이터 인스턴스 쌍으로부터 유사성 척도를 학습하기 위한 약한 지도 학습 기법이다.

    i번째 데이터의 쌍이 ( x α ( i ) , x β ( i ) ) 로 주어진다면 이에 대응하는 l번째(l∈[1,…,L]) 출력 쌍은 ( z α ( i , l ) , z β ( i , l ) ) 이다. 대조적 손실 함수는 다음과 같이 표현할 수 있다(Gu et al., 2017).(10)

    L c o n t r a s t i v e = 1 2 N i 1 = N ( y ) d ( i , L ) + ( 1 y ) max ( m d ( i , L ) , 0 ) ,
    (10)

    여기서 d ( i , L ) = z α ( i , L ) z β ( i , L ) 2 2 이고 m은 일치하지 않는 쌍에 영향을 미치는 마진 파라미터이다. 만약 ( x α ( i ) , x β ( i ) ) 이 일치하는 쌍이면 y=1이고 그렇지 않으면 y=0이다.

    소프트맥스 손실 함수와 마찬가지로 대조적 손실 함수도 이를 응용하여 다양한 대조적 손실 함수가 개발 되고 있다.

    4) 트리플렛 손실함수

    트리플렛 손실 함수는 인스턴스가 3개인 경우에 사용하는 손실 함수이다. 트리플렛 유닛 ( x a ( i ) , x p ( i ) , x n ( i ) ) 은 보통 앵커 인스턴스 x a ( i ) 와 포지티브 인스턴스 x p ( i ) 와 네거티브 인스턴스 x n ( i ) 으로 이루어져있다. 트리플렛 유닛의 특징 표현이 ( z a ( i ) , z p ( i ) , z n ( i ) ) 이라 한다면 트리플렛 손실 함수는 다음과 같이 표현할 수 있다(Gu et al., 2017).(11)

    L t r i p l e t = 1 N i = 1 N max{ d ( a , p ) ( i ) d ( a , n ) ( i ) + m , 0 } ,
    (11)

    여기서 d ( a , p ) ( i ) = z a ( i ) z p ( i ) 2 2 이고 d ( a , n ) ( i ) = z a ( i ) z n ( i ) 2 2 이다. 트리플렛 손실 함수의 목적은 앵커 인스턴스와 포지티브 인스턴스와의 거리를 최소화하고 네거티브 인스턴스와 앵커 인스턴스의 거리를 최대화하는 것 이다. 그러나 무작위로 선택된 앵커 샘플은 몇몇의 특별한 경우에서 잘못 판단할지도 모른다. 예를 들어 d ( n , p ) ( i ) < d ( a , p ) ( i ) < d ( a , n ) ( i ) 일 경우, 트리플렛 손실 함수는 계속 0을 유지할 것이다.

    3. 최적화 방법

    1) 가중치 초기화

    컨볼루션 뉴럴 네트워크는 많은 양의 매개 변수를 가지며 그 손실 함수는 학습을 어렵게 만드는 비볼록함 수이다. 학습에서 빠른 수렴을 달성하고 기울기 소멸 문제를 피하기 위해 적절한 네트워크 초기화가 가장 중 요한 전제 조건 중 하나이다(Mishkin and Matas, 2016). 바이어스 파라미터는 0으로 초기화 할 수 있지만 동 일한 계층의 숨겨진 유닛 사이의 대칭성을 깨기 위해 가중치 파라미터를 조심스럽게 초기화해야한다. 네트 워크가 올바르게 초기화되지 않은 경우, 예를 들어 각 계층의 입력이 k로 조정된다면, 최종 출력은 원래의 입력 kL로 될 것이다, 여기서 L은 계층의 수이다. 이 경우, k>1의 값은 매우 큰 출력 계층 값을 유도하며, k<1의 값은 감소하는 출력 값과 그래디언트를 유도한다. Mishkin and Matas(2016)에서 표준 편차 0.01과 평균 0을 가지는 가우시안 분포로부터 네트워크의 가중치를 초기화하고 완전 연결된 계층뿐만 아니라 두 번째, 네 번째와 다섯 번째 컨벌루션 계층의 바이어스 조건을 모두 상수로 설정한다. 본 논문에서도 다음과 같은 가중치 초기화 방법을 사용한다.

    2) 확률적인 그레디언트 하강법

    역전파 알고리즘은 파라미터를 갱신하기 위해 그래디언트 하강법을 사용하는 기본 학습 방법이다. 많은 그래디언트 하강법 최적화 알고리즘이 제안되었다(Kingma and Ba, 2015). 일반적인 그레디언트 하강 알고리 즘은 θ t + 1 = θ t η θ E [ L ( θ t ) ] 를 통해 표현되는 손실 함수 L(θ)에서 파라미터 θ를 갱신한다. 여기서 E [ L ( θ t ) ] 는 모든 훈련 데이터 셋에서 L(θ)의 기댓값이고 η는 학습 비율이다. E [ L ( θ t ) ] 을 계산하는 것 대신 확률적인 그레디언트 하강법은 훈련 데이터 셋으로부터 무작위로 선택한 예 ( x ( t ) , y ( t ) ) 를 기준으로 그레디언 트를 예측한다(Wijnhoven and With, 2010).(12)

    θ t + 1 = θ t η t θ L ( θ t ; x ( t ) , y ( t ) )
    (12)

    실제로 확률적인 그레디언트 하강법의 각 파라미터 갱신은 단일 예와 달리 미니 배치와 관련하여 계산된 다. 이는 파라미터 갱신의 분산을 줄이는데 도움이 될 수 있으며 보다 안정적인 수렴으로 이어질 수 있다. 수렴 속도는 학습 속도 η에 의해 제어된다. 그러나 미니 배치 확률적인 그레디언트 하강법은 양호한 수렴을 보장하지 못하고 해결해야 할 몇 가지 문제가 여전히 있다. 첫째, 적절한 학습 속도를 선택하는 것은 쉽지 않다. 하나의 일반적인 방법은 초기 단계에서 안정적인 수렴을 제공하는 일정한 학습 속도를 사용하는 것이 고 그 후 수렴 속도가 느려지게 학습 속도를 줄이는 것이다. 또한, 훈련 중 학습 속도를 조정하기 위한 다양 한 학습 속도 스케줄 방식이 개발되어 지고 있다.

    확률적 그레디언트 하강법은 수렴을 유발하지 않을 수도 있다. 성능이 향상되지 않을 때 학습과정이 종료 될 수 있다. 과다 훈련에 대한 보편적인 해결책은 조기 정지(Yao et al., 2007)를 사용하는 것인데, 여기서 최 적화는 학습 중 유효성 검증 셋의 성능을 기반으로 중단된다. 학습 과정의 지속 기간을 제어하기 위해 다양 한 중지 기준을 고려할 수 있다. 예를 들어, 훈련은 고정된 수의 에포크에 대해, 또는 사전정의 된 학습 오류 에 도달 할 때까지 수행 될 수 있다(Prechelt, 2012). 정지 전략은 주의 깊게 수행되어야한다. 적당한 정지 전 략은 네트워크 일반화 능력이 향상되고 과적합을 회피하는 학습 과정을 계속해야한다.

    3) 배치 정규화

    데이터 정규화는 일반적으로 데이터 전처리의 첫 번째 단계이다. 전역 데이터 정규화는 모든 데이터를 평 균 0과 단위 분산을 가지게 변환시킨다(Ioffea and Szegedy, 2015). 그러나 데이터가 네트워크를 통해 흐를수 록 내부 계층에 대한 입력의 분포가 변경될 것이고 네트워크의 학습 용량과 정확성을 잃어버리게 된다. (Ioffea and Szegedy, 2015)에서 이러한 현상을 부분적으로 완화하기 위해 배치 정규화라고 불리는 효율적인 방법을 제안한다. 평균과 분산의 추정치가 전체 훈련 세트보다는 각 미니 배치 이후에 계산되는 계층 입력의 평균과 분산을 고정하는 정규화 단계에 의해 소위 공변량 이동 문제를 달성한다. 정규화 할 계층이 d차원 입 력, 즉 x = [ x 1 , x 2 , , x d ] T 를 갖는다고 가정한다. 먼저 k 번째 차원을 다음과 같이 정규화한다(Ioffea and Szegedy, 2015).(13)

    x k ^ = ( x k μ B ) / δ B 2 + ,
    (13)

    여기서 μB δ B 2 는 각각 미니 배치의 평균과 분산이고 є는 상수이다. 표현 능력을 높이기 위해 정규화 입 력 x k ^ 는 다음과 같이 변환된다(Ioffea and Szegedy, 2015).(14)

    y k = B N γ , β ( x k ) = γ x k ^ + β ,
    (14)

    여기서 γβ는 학습된 파라미터들이다. 배치 정규화는 전역 데이터 정규화와 비교할 때 많은 장점이 있 다. 첫째, 내부 공변량 이동을 줄인다. 둘째, 배치 정규화는 파라미터의 크기 또는 초기 값에 대한 그래디언 트의 의존성을 줄여 네트워크를 통한 그래디언트 흐름에 유익한 영향을 준다. 이를 통해 발산의 위험 없이 높은 학습 속도를 사용할 수 있다. 더욱이, 배치 정규화는 모델을 일반화하여 드롭 아웃의 필요성을 줄인다. 마지막으로, 배치 정규화는 포화된 모델에 달라붙지 않고 포화 비선형 활성화 함수를 사용할 수 있게 한다.

    Ⅳ. 제안하는 시스템 모델

    기존에 존재하는 임펄스 잡음 완화 기법들은 통신 성능 개선이 있었으나 크게 효과적이지 못하였다. 이러한 문제점을 해결하기 위해 현재 다양한 분야에서 효과적인 성능 개선을 보이는 딥 러닝 알고리즘과 다수의 사용 자로 인해 발생하는 간섭문제를 해결하기 위한 연속적 간섭 제거(SIC : Successive Interference cancelation) 기법 을 적용하여 효과적으로 통신 성능을 개선하려 한다. 본 논문에서 제안하는 시스템 모델은 <Fig. 3>에 표현되 어 있는 바와 같이 수신단에 딥 러닝 알고리즘을 적용시켜 임펄스 잡음을 완화시킨다. 수신기를 통해 임펄스 잡음이 추가된 신호가 수신된다. 수신된 신호가 딥 러닝 블록으로 들어가게 되면 딥 러닝 블록에서 신호가 입력되면 해당 신호의 임펄스 잡음이 예측되게 학습시킨 컨볼루션 뉴럴 네트워크를 예측된 임펄스 잡음이 나 와 딥 러닝 블록의 입력된 신호에서 예측된 임펄스 잡음을 뺀다. 이러한 과정을 거처 딥 러닝 블록을 나오게 된 신호는 임펄스 잡음이 완화된 신호가 되어 임펄스 잡음으로 인해 통신성능을 저하를 방지할 수 있게 된다. 또한, 다수의 사용자가 존재할 수 있기 때문에 연속적 간섭 제거 기법을 이용하여 다수의 사용자로부터 오는 간섭을 최소화한다.

    1. 딥 러닝 알고리즘 구조

    일반적인 컨볼루션 뉴럴 네트워크는 컨볼루션 계층과 풀링 계층이 많아질수록 더 좋은 성능을 가진다 (Zhang et al., 2017). 하지만 계층이 많아질수록 처리해야 될 연산량도 많아지므로 시간지연 없이 전송이 되 어야하는 통신의 특성을 고려하여 최소의 연상량으로 효과적인 성능을 보이는 컨볼루션 뉴럴 네트워크를 구 성해야한다. 적용되는 시스템에 따라 최적의 컨볼루션 뉴럴 네트워크의 구조가 다르며 최적의 컨볼루션 뉴 럴 네트워크의 구조는 경험적 및 실험적인 방법을 통해 찾을 수밖에 없다. 본 논문에서 이용하는 알고리즘은 컨볼루션 뉴럴 네트워크이고 구조는 <Fig. 4>와 같다.

    컨볼루션 계층과 풀링 계층을 2번 반복하여 사용하며 손실함수로서 소프트맥스 손실함수를 사용한다. 수 신된 신호와 그에 해당되는 임펄스 잡음의 데이터 셋을 가지고 있다면 컨볼루션 뉴럴 네트워크를 학습시킬 수 있다. 이렇게 학습된 컨볼루션 뉴럴 네트워크가 시스템에 적용되어 임펄스 잡음을 완화시킨다. 보다 정확 한 임펄스 잡음을 예측하기 위해서는 많은 데이터와 반복적인 학습을 통해 최적의 가중치를 찾아야한다. 하 지만 현실적으로 임펄스 잡음의 데이터를 확보하는 것은 힘들다. 컨볼루션 뉴럴 네트워크를 학습시키기 위 해 이용되는 데이터 셋은 직접 만든 데이터 셋이다. 직접 만든 데이터 셋은 현실에서 발생할 수 있는 임펄스 잡음의 모든 경우를 포함할 수 있으며 컨볼루션 뉴럴 네트워크의 경우 데이터의 특징을 추출하며 추출된 특 징을 기반으로 결과를 예측한다. 직접 만든 데이터 셋과 실제 임펄스 잡음의 데이터 셋의 특징은 유사성을 가지므로 직접 만든 데이터 셋으로 학습시킨 컨볼루션 뉴럴 네트워크에 실제 환경에서의 신호가 입력으로 들어와도 특징을 추출하여 해당 신호의 임펄스 잡음을 예측한다.

    2. 연속적 간섭 제거 기법

    만약 ZF(Zero-forcing) 또는 MMSE(Minimum Mean Square Error) 디코딩 프로세스가 완료되면 연속적 간섭 제거 기법을 사용하여 다른 사용자로부터 오는 간섭을 최소화할 수 있다(Kumar and Kumar, 2011). 수신기에 서 다수의 사용자로 인해 본래 수신되어야 할 수신 신호이외의 신호가 수신된다. 수신 신호에서 본래의 수신 신호이외의 신호의 영향을 줄이기 위해 제거해야 될 신호를 추정한다. 종래의 연속적 간섭 제거에서는 수신 신호로부터 그 효과를 제거 할 필요가 있는 추정 신호를 무작위하게 선택한다. 그런데 처음 무작위한 선택이 잘못되고 오류가 발생하면 다음 결정도 잘못되어 오류가 확산될 수 있다. 이러한 오류 확산 문제를 해결하기 위해 최적의 순서를 갖는 연속적 간섭 제거 기법을 채택하였다. 추정 신호를 선택하기 위해서, 수신기에서 더 높은 신호 대 임펄스 잡음비에서 오는 전송 신호를 찾아 선택하여 이 신호를 디코딩한다. 그 다음, 디코 딩된 신호를 수신된 신호에서 제거한다. 그리고 이 절차는 마지막 하나의 신호가 남아있을 때까지 반복된다. 최적의 순서로 연속적 간섭 제거를 실행하는 것은 먼저 디코딩된 신호의 신뢰성이 다른 신호보다 낮은 오류 확률을 갖도록 보장하게 한다. 이로 인해 잘못된 선택의 기회가 줄어들어 잘못된 간섭이 제거된다. 따라서 최적의 순서를 갖는 연속적 간섭 제거는 종래의 연속적 간섭 제거보다 낮은 오차율을 제공한다.

    Ⅴ. 시뮬레이션 결과

    제안된 시스템 모델을 <Table 1>에 표시된 환경 전력선 통신에 적용하여 시뮬레이션을 진행하였다.

    <Fig. 5> 연속적 간섭 제거 기법만을 적용한 경우의 시뮬레이션 결과이며 <Fig. 6>은 연속적 간섭 제거 기 법과 딥 러닝 알고리즘을 적용한 경우의 시뮬레이션 결과이다. 시뮬레이션 결과는 비트 오류 확률 대 SNR 성능을 보여준다. <Fig. 5>에서 연속적 간섭 제거 기법에서는 ZF 연속적 간섭 제거 기법보다는 MMSE 연속 적 간섭 제거 기법이 같은 비트 오류 확률에 대해 약 2~3dB 정도 우수하다는 것을 알 수 있으며 최적의 순 서를 가지는 연속적 간섭 제거 기법이 연속적 간섭 제거 기법보다 SNR이 증가함에 이득을 제공한다는 것을 확인할 수 있다. <Fig. 6>에서는 <Fig. 5>과 달리 딥 러닝 알고리즘을 적용한 것으로 비트 오류 확률 대 SNR 성능이 모든 경우에서 월등히 좋아졌다는 것을 확인할 수 있다. Kim(2011)에서는 수신측에서 수신한 신호의 크기가 미리 결정된 기준보다 높은 경우 신호의 크기를 잘라버리는 클립핑(clipping) 기법을 사용하여 임펄스 잡음을 완화시키는 방법을 제안하여 전력선 통신 환경에서 시뮬레이션을 진행하였다. Kim(2011)의 결과와 비교하면 본 논문에서 제안한 시스템 모델이 같은 비트 오류 확률에 대해 약 5~20dB정도 우수하다는 것을 확인할 수 있다. 그러므로 딥 러닝 알고리즘이 적용이 전력선 통신에서 임펄스 잡음을 완화하는데 강력하며 다수의 사용자가 있을 경우 최적의 순서를 가지는 MMSE 연속적 간섭 제거 기법 다른 사용자로부터 오는 간섭을 최소화하는데 우수하다는 것을 증명하였다.

    Ⅵ. 결 론

    본 논문에서는 임펄스 잡음 모델과 딥 러닝 알고리즘에 대해 설명하고 전력선 통신에서 발생하는 임펄스 잡음을 완화하기 위해 연속적 간섭 제거 기법을 사용하고 있는 시스템에 더욱 임펄스 잡음을 완화시키기 위 해 딥 러닝 알고리즘을 적용한 시스템 모델을 제안하였다. 제안한 시스템 모델을 전력선 통신에서 시뮬레이 션을 진행하였고 결과를 비트 오류 확률 대 SNR 그래프로 나타내어 비트 오류 성능이 우수해진다는 것을 확인하였다. 또한, 다수의 사용자가 존재할 경우 임펄스 잡음 완화를 위해 연속적 간섭 제거 기법을 사용하 며 ZF와 MMSE 연속적 간섭 제거 기법을 비교하여 MMSE 연속적 간섭 제거 기법이 더 우수한 비트 오류 성능을 가진다는 것을 증명하였으며 연속적 간섭 제거 기법과 최적의 순서를 가지는 연속적 간섭 제거 기법 을 비교하여 최적의 순서를 가지는 연속적 간섭 제거 기법이 더 우수한 비트 오류 성능을 가지는 것을 시뮬 레이션 결과를 통해 확인하였다. 그러므로 최적의 순서를 가지는 MMSE 연속 간섭 제거 기법을 사용하며 딥 러닝 알고리즘을 적용시킨 시스템 모델이 임펄스 잡음을 효과적으로 완화시켰다. 그러나 현실에서의 구현 관점에서는 현재로서는 한계점이 있다. 제안한 시스템 모델을 실제로 구현하기 위해서는 딥 러닝 블록에서 의 많은 연산량을 시간지연 없이 처리할 수 있는 초고속 처리장치 및 딥 러닝 모델의 많은 파라미터를 저장 하고 있을 저장장치가 필요하다. 하지만 현재의 하드웨어 기술로 저장장치는 구현 가능할지 모르나 시간지 연 없이 처리할 수 있는 초고속 처리장치를 구현하는 것은 한계가 있어 현실적으로 당장의 적용은 무리이며 향후 하드웨어의 기술이 발전된다면 구현이 가능해질 것이다. 그러므로 현실의 적용을 위해 적은 연산량으 로 임펄스 잡음을 효과적으로 제거할 수 있는 딥 러닝 알고리즘의 연구가 진행될 계획이다.

    ACKNOWLEDGEMENTS

    본 연구는 한국연구재단 이공학 개인기초연구지원사업(NRF-2016R1D1A1B03933872)의 일환으로 수행되었음.

    Figure

    KITS-17-138_F1.gif

    Impulse noise channel model

    KITS-17-138_F2.gif

    Example of convolution neural network.

    KITS-17-138_F3.gif

    Proposed system model

    KITS-17-138_F4.gif

    CNN structure applied

    KITS-17-138_F5.gif

    Results of applying successive interference cancellation

    KITS-17-138_F6.gif

    Results of applying SIC and deep learning

    Table

    Simulation parameters.

    Reference

    1. BhandareA. , BhideM. , GokhaleP. and ChandavarkarR. (2016), “ Applications of convolutional neural networks ,” International Journal of Computer Science and Information Technologies, vol. 7, no. 5, pp.2206-2215.
    2. BoureauY. , PonceJ. and LeCunY. (2010), “ A theoretical analysis of feature pooling in visual recognition ,” in Proc. ICML, Haifa, Israel.
    3. CortesJ. A. , SanzA. , EstopinanP. and GarciaJ. I. (2016), “ On the suitability of the middleton class A noise model for narrowband PLC ,” in Proc. IEEE International Symposium on Power Line Communications and Its Applications(IEEE ISPLC ’2016), Bottrop, Germany, pp.58-63.
    4. GuJ. , WangZ. , KuenJ. , MaL. , ShahroudyA. , ShuaiB. , LiuT. , WangX. , WangL. , WangG. Cai J. and Chen T.(2017), Recent advances in convolutional neural networks, arXiv:1512.07108.
    5. HaC. B. and SongH. K. (2018), “ Signal detection scheme based on adaptive ensemble deep learning model ,” IEEE Access, vol. 6, pp.21342-23149.
    6. HochreiterS. and SchmidhuberJ. (1997), “ Long short-term memory ,” Neural Computation, vol. 9no. 8, pp.1735-1780.
    7. IoffeaS. and SzegedyC. (2015), “ Batch normalization: Accelerating deep network training by reducing internal covariate shift ,” Journal of Machine Learning Research(JMLR), pp.448-456.
    8. KimY. C. , BaeJ. N. and KimJ. Y. (2011), “ Novel noise reduction scheme for power line communication systems with smart grid applications ,” in Proc. 2011 IEEE International Conference on Consumer Electronics(ICCE), Las Vegas, USA.
    9. KingmaD. and BaJ. (2015), “ Adam: A method for stochastic optimization ,” in Proc. the International Conference on Learning Representations (ICLR), San Diego, CA.
    10. KumarN. S. and KumarK. R. S (2011), “ Performance analysis and comparison of zero-forcing SIC and MMSE SIC for MIMO receivers using BPSK and 16-QAM modulation methods ,” International Journal of Computer Science Engineering & Technology(IJCSET), vol. 1, no. 8, pp.530-533.
    11. LeCunY. and BengioY. (1995), Convolutional networks for images, speech, and time series, The handbook of brain theory and neural networks3361.10.
    12. LiY. , ChenM. , YangY. , ZhouM. and WnagC. (2017), “ Convolutional recurrent neural network-based channel equalization: an experimental study ,” in Proc. 2017 23rd Asis-Pacific Conference on Communications(APCC), Perth, Australia.
    13. MishkinD. and MatasJ. (2016), “ All you need is a good init ,” in Proc. the International Conference on Learning Representations (ICLR), San Juan, Puerto Rico.
    14. Nair, Vinod , and Hinton G. E.(2010), “ Rectified linear units improve restricted boltzmann machines ,” in Proc. the 27th International Conference on Machine Learning (ICML-10), Haifa, Israel.
    15. PrasannaG. N. S. , LakshmiA. , SumanthS. , SimhaV. , BapatJ. and KoomullilG. (2009), “ Data Communication over the Smart Grid ,” in Proc. IEEE International Symposium on Power Line Communications and Its Applications ISPLC ’2009, Dresden, Germany, pp.273-279.
    16. PrecheltL. (2012), Neural Networks: Tricks of the Trade - Second Edition, Springer, pp.53-67.
    17. WijnhovenR. G. J. , and P. H. N.(2010), “ Fast training of object detection using stochastic gradient descent ,” in Proc. International Conference on Pattern Recognition (ICPR), Istanbul, Turkey, pp.424-427.
    18. YaoY. , RosascoL. and CaponnettoA. (2007), “ On early stopping in gradient descent learning ,” Constructive Approximation, vol. 26, no. 2, pp.289-315.
    19. ZhangX. , ZhangJ. and ZhangY. (2017), “ Pedestrain detection using 19-layer deep convolution neural network ,” in Proc. 2017 4th International Conference on Information Science and Control Engineering(ICISCE), Changsha, China.

    저자소개

    Footnote