정보란 무엇인가?

셰논의 정보와 ET 제임스의 열적 정보에 대하여

제1절 프롤로그

우리는 일상적으로 헨드폰을 사용하고 TV를 시청하고 있지만 정보이론에 대해 정확히 아는 사람은 그리 많지 않다. 더욱이 현대인의 통신과 정보전달에 막대한 기여를 했다는 사실을 아는 사람은 정말 흔치않다. 그만큼 정보 이론이라는 것이 지극히 전문적인 영역으로 인식되어 있고 일반적으로 쉬운 접근이 어렵기 때문일 수 있다. 하지만 정보 전달이 우리의 생활에 영향을 미치는 광범위한 정도를 생각한다면 최소한 정보전달의 방법과 원리를 파악하는 것은 매우 상식적인 일이 될 수 있다. 사실 어느정도 정보이론은 이미 우리 삶에 깊숙히 녹아있다. 예를들어 우리가 수학에서 다루는 2진법의 연산들과 그 적용은 가장 간단한 형태의 정보이론의 시작이라고 할 수 있다.

한발 더 나아가 그러한 정보전달에 일정한 원리가 있다는 사실을 알게 되면 놀라운 세상과 만날 수 있다. 특히 그러한 정보전달의 원리가 물리학의 법칙을 따른다는 점을 접할때 더욱 그렇다. 우리가 흔히 알고 있는 단순한 물리학의 법칙들, 즉 에너지 보전의 법칙이나 열역학적 법칙과 같은 것이 정보전달의 원리에도 같은 방식으로 적용된다는 점을 알게되면 세상은 달리보일 수도 있다. 보이지 않는 정보라는 것이 물질세계를 지배하는 법칙으로 부터 유도될 수 있다는 것을 깨닭게 될 때 우리는 문뜩 세상과 나 자신의 경계를 허무는 신비한 경험을 하게 된다. 더 나아가 그러한 정보이론이 적용되는 영역이 양자역학의 세계로 확장되었을 때 마주하게 되는 현상들을 접하게 된다면 가히 새로운 세상을 만나게 된다.

그러한 논의를 위해 본서의 첫 장에서는 정보의 기본적 정량화 방법에 대하여 설명하고 그것이 어떻게 물리 법칙과 연결되는지를 이야기하고자 한다. 이는 일찍히 미국 통신연구소에 유명한 과학자 샤논의 통신이론으로 부터 얻어진 결과들을 통해 전달될 수 있다. 또한 그의 정보 이론 법칙들이 물리학에서 이야가하는 열역학과 통계법칙과 연결될 수 있음을 논의하고자 한다.

제2절 정보를 어떻게 정의 할 수 있을까?

80년대 이후 우리의 삶을 지배하게 된 여러가지 요소 중 빼놓을 수 없는 것이 있다면 정보일 것이다. 우리는 매일 전화 통화를 하고 영상을 본다. 우리 주변에 존재하는 다양한 매체에서 흘러나오는 여러가지 형태의 정보는 우리의 생활에 지대한 영향을 미친다. 날씨에 대한 정보가 전달되었다면 그에 따라 우리는 옷을 갈아입을 것이고 교통정보를 듣게된다면 우리는 그에 따라 행선지를 변경하게 된다. 이토록 현대사화에서 정보라는 것은 우리의 삶의 변화에 지대한 영향을 미치는 무형의 원동력이라 할 수 있다. 하지만 그러한 정보의 정의에 대하여 깊이 생각해 본 사람이 의외로 많지 않다. 또한 평소 우리의 정보에 대한 인지가 약하다는 사실은 때로 의아스럽기까지 하다.

이는 정보라는 것이 단지 우리의 일상과 가깝기 때문만 아니라 우리의 모든 것을 지배하는 하나의 법칙이라는 사실을 알게 될 때 더욱 놀랍다. 이는 마치 우리에게 산소의 존재와도 같다. 우리는 매 순간 숨을 쉬지 않고는 살아갈 수 없지만 대부분의 경우 산소의 존재에 대해 고민을 하지 않는 것과 같다. 우리는 때때로 높은 산에 올라간다거나 빠른 속도로 달리게 될 때 산소의 부재를 느끼고 그 존재를 잠시 생각하게 된다. 하지만 평소에 다른 외적인 조건이 주어지지 않는다면 전혀 의식하지도 못하고 쉽게 지나치게 된다. 정보도 마찬가지다.

정보가 우리 삶에 아주 가까이 있으며 매 순간 우리에게 영향을 미치고 있음은 새삼 따로 강조할 필요가 없다. 교통신호를 잘못 읽게 되는 경우 대형사고로 이어질 수 있음은 굳이 언급할 필요조차 없고 비가 오는지에 대한 정보를 통해 우리는 우산을 들고 문밖을 나서야 할지를 결정하게 된다. 현대 사회를 사는 우리들의 손에 쥐어진 스마트폰은 우리의 일상생활에 필요한 다양한 정보뿐 아니라 금융, 통신, 건강, 사회, 교육과 같은 모든 필요한 정보를 제공하여 우리의 삶을 지배한다. 마치 인간이 숨을 쉬며 생명을 지속하는 것과 같이 우리는 끊임없는 정보의 교환을 통해 일상의 모든 활동을 지속한다. 그러한 정보를 우리는 과연 충분히 자각하고 있을까? 교환되는 정보의 양과 질이 어떻게 정량화될 수 있는지 알고 있을까?

정보에 대해 현대인이 가끔씩 좀 더 정확하게 인지하게 되는 때는 우리가 사용하는 헨드폰의 통신요금을 지불할 때 정도가 아닐까 싶다. 물론 최근엔 데이터 통신의 일상화로 인해 많은 사람들이 데이터 량에 대한 지식을 상식적으로 좀 더 잘 알고 있지만 그 데이터 량의 가격이 어떠한 방식으로 결정되는지를 아는 사람은 그리 많지 않다. 또한 그러한 데이터 량이라는 것이 어떻게 정보라고 하는 추상적인 양에서부터 추산될 수 있는지는 그리 잘 알려져 있지 않다. 이는 마치 한 번의 호흡으로 얼마만큼의 산소를 섭취할 수 있는지에 대한 최대산소섭취량을 아는 것과 비슷한 일이 될 것이다. 우리는 매일 호흡을 하고 있지만 그러한 호흡을 통해 얼마만큼의 산소를 섭취하게 되는지 혹은 그러한 작용에 얼마만큼의 에너지가 필요한지는 잘 따지지 않기 때문이다. 여기서는 그러한 정보의 정의가 어떻게 주어지는지에 대하여 좀 더 자세히 논하고 더 나가 그러한 정보라는 것이 생성되고 전달되는 과정이 어떻게 물리법칙을 따르는 지에 대하여 이야기하고자 한다.

일반적으로 정보는 단순한 사전적 지식들과는 확연히 차별화된다. 하나의 사실을 기술하는 지식이나 명제가 정보로서 의미를 갖기 위해서는 그 지식의 가치를 판단할 수 있어야 한다. "내일 비가 온다"라고 하는 하나의 사실은 매일 비가 오는 장마철의 열대지역에서는 그리 큰 정보를 가진 사실적 지식이 아닐 수 있지만 일 년 내내 건조한 기후에 살고 있는 사람에게 그러한 사실은 매우 큰 가치를 가진 정보일 수 있다. 매일 일어나는 일이기 때문이다. "내일 아침엔 해가 뜬다"라고 하는 이야기를 듣는다면 태어나서 한 번도 해가 뜨지 않는 하루를 살아보지 않은 모든 사람들은 그 이야기가 전혀 의미가 없는 내용이다. 그러한 정보가 지구인에겐 아무런 가치 없는 정보일 수 있지만 해가 뜨지 않는 어느 행성에서 방금 도착한 우주인에게는 어쩌면 매우 중요한 정보일 수 있다.

이렇듯 정보라는 것은 일반적으로 "놀라움의 정도"를 통해 그 가치를 갖는다. 자주 발생하지 않는 어떠한 사건이 일어나게 된다는 사실이 전달된다면 많이 놀라게되는데 이는 정보가 전달 되었기 때문이다. 또한 그러한 예측을 알게 된다면 전달된 사실은 큰 가치를 갖는 정보가 된다. 같은 의미에서 대부분의 사람들은 모르는 어떠한 사실을 혼자만 알게 된 다면 이때에도 대부분의 사람은 알지 못하는 큰 가치의 정보를 획득하게 된다. 그러한 상황은 주어진 지식이 정보로서 큰 가치를 가지게 되는 예가 된다. 이는 그 사실을 모르고 있는 대부분의 사람들에게 주어진 사실을 깨우쳐 줄 수 있는 놀라움의 정도가 매우 크기 때문이라고 할 수 있다.

제3절 정보를 정량화하는 엔트로피

그러한 놀라움의 정도를 정량화하는 기본적인 양은 확률이다. 확률이라는 것은 모든 발생할 수 있는 가능성 중에서 우리가 기대하는 사건의 횟수의 비율로서 정의된다. 즉 동전의 앞면이 나올 기대치를 생각해 본다면 그 가능성은 1/2이 되는 것을 의미한다. 확률을 통해 우리는 어떤 사실 혹은 발생한 사건이 얼마나 놀라운 일인지를 가늠할 수 있다.

길을 가나 만난 어떤 사람의 생일이 오늘일 확률은 1/365일 정도로 드물게 일어나는 일이지만 그 사람의 성별이 남자인지 여자인지는 별다른 정보가 주어지지 않는 경우라도 1/2의 확률로 맞출 수 있다. 그러한 확률값을 통해 어떠한 사실에 대한 확인이 사람을 놀라게 하는 정도를 말 할 수 있고 이를 통해 정보량을 정량화하는 일이 가능하다. 일반적인 경우 드물게 일어나는 사건일 수록 그 놀라운 정도는 크며 이는 높은 정보량을 함의한다고 말할 수 있다.

우리는 종종 쉽게 예측하기 힘든 다음 날의 날씨를 기상관측소의 일기예보에서 확률적인 방식으로 예측을 하는 일을 접하곤 한다. "내일 비가 올 확률은 30%입니다"라는 식의 정보가 전달되기도 한다. 이는 예측이 70%의 확률로 틀리 수 도 있음을 의미하기도 하지만 비가 0.3의 확률로 오기 때문에 비가 온다면 놀라운 일이라는 의미로 해석된다. 그렇듯 확률이라는 것은 일어난 사건의 빈도를 나타낼 뿐 아니라 그 사건의 놀라운 정도를 나타내기도 한다. 그러한 확률로 표현된 놀라운 정도는 주어진 사실이 담고 있는 실질적인 정보의 양을 나타내는 척도가 되는데 일반적으로는 확률의 역수(놀라운 정도)에 비례하여 정보량이 주어진다.

- 정보는 증가하는 양

그러한 추상적 성질을 가진 정보라는 양이 가져야 할 추가적인 특성은 또 있다. 정보양은 주어진 여러 정보가 합해졌을 때 더 큰 정보양을 나타내는 값이 되어야 한다. 다시말해 정보라는 것은 두 가지 완전히 다른 정보가 더하여 전해지면 그 총 정보량은 그에 따라 증가한다. 누군가의 키와 몸무게가 주어지고 거기에 더하여 나이가 함께 주어진다면 그 사람에 대한 통합적 정보의 크기는 증가하게 된다. 더 많은 정보가 주어지는 경우 우리가 알고자 하는 대상에 대한 이해도는 그에 비례하여 증가하게 됨을 알 수 있다. 이를 정보의 가산성이라고 한다.

정보의 양을 단순한 확률의 역수로 치환하는 경우라면 확률이 항상 양수의 값으로 주어지기 때문에 정보의 단순합은 증가함수가 된다. 하지만 확률의 변화에 따른 총 정보량의 증가는 좀 더 복잡한 양상을 띈다. 즉 두 서로 다른 확률에 의하여 얻어지는 최종 확률은 독립사건인 경우 일반적으로 단순히 확률의 합이 아니라 주어진 확률의 곱으로 주어진다. 물론 두 사건이 독립사건일때만 그렇다. 즉 전혀 관련이 없는 두 사건에 대한 확률이 주어졌을 때 최종적으로 주어지는 확률은 두 확률의 곱이된다.

검은 공과 흰색 공을 10개씩 준비하여 10개의 검은 공과 흰색 공에 1부터 10의 숫자를 각각 기입한 다음 모든 공을 주머니에 넣고 공 하나를 꺼낸다. 이때 주어진 공이 5일 확률은 1/10이다. 하지만 그 공이 흰색 5일 확률은 1/20이며 이는 1/10*1/2에 해당하는 값이다. 그렇게 독립사건의 총 확률은 곱의 형태로 주어진다. 이와 관련하여 위 사건의 대한 정보량은 증가해야 한다. 확률에 반비례하는 형태로 주어지면서도 그 크기가 합의 형태로 바뀌어야 하는데 그러한 성질을 만족하는 함수는 로그함수로 주어진다. 이는 Log(ab)= Log(a)+Log(b)의 형태로 주어지는 성질에서 기인한다. 이를 통해 정보량이라는 것은 확률에 반비례하는 성질을 가지면서도 증가함수의 형태를 띄어야 하기 때문에 로그양으로 정의된다.

한발 더 낳아가 주어진 정보량은 모든 가능한 확률에대하여 동일하게 정의 되어야 한다. 그렇기 때문에 적당한 정보량이라는 것은 주어진 확률에 마이너스 로그를 취한 양을 모든 확률에 대하여 평균을 취해 주었을 때 비로서 얻어진다. 즉 가능한 사건의 결과에 대한 확률을 통해 정보량을 구할 수 있다. 그러한 양 -확률에 마이너스 로그값에 평균-은 확률에 반비례하면서도 독립사건에 대한 가산성을 가진 엔트로피라고 하는 값이 되고 H(vec{p})= -\sum_i p_i Log(p_i)와 같이 정의된다. 이는 정보의 양을 정의하는 값이 된다. 이후에 논의 되겠지만 그러한 엔트로피의 형식으로 정의된 정보량이 다양한 방식으로 유용한 의미를 가진다는 사실은 매우 놀랍다.

-셰논의 잡음없는 통신 부호화의 조건과 통신 체널의 용량

위에서 정의된 엔트로피는 단순히 정보를 정량화하는 양을 넘어 우리의 일상에 매우 깊은 연관이 있다. 위 엔트로피로 졍량화된 정보량은 우리가 매일 사용하는 데이터나 통화의 통신비를 결정한다는 사실은 매우 흥미롭다. 엔트로피는 정보의 양으로서 정의되지만 셰논(Claud Shennon)에의해 통신 이론에 적용 될 수 있다는 사실이 알려졌다. 그의 이론은 일정량의 전신정보의 가치를 수치화하는 과정에서 도출되는데 그 결과는 매우 보편적이라 큰 파급력을 갖게 되었다. 그의 통신이론은 일정한 크기의 메세지를 특정정도의 확률로 오류가 있는 통신체널을 이용하여 전송하였을 때 아무런 잡음없이 안전하게 전송될 수 있는 부호열의 길이를 계산하는 방법에 관한 것인데 이는 위 정보량에 해당하는 엔트로피로 주어진다. 이는 마치 최적화된 정보교환에 대한 기본 단위라는 것이 임의적이지 않고 이미 주어진 환경 내에서 하나의 법칙으로 정해저 있다는 사실에 대한 기술이며 그러한 법칙의 발견은 매우 놀랄만 하다고 할 수 있다. ====상술필요====

- 구분 불가능한 동일입자 가설과 Gibb의 엔트로피

셰논의 엔트로피를 통한 정보량에 대한 정량화는 사실 물리학에서 이미 심도깊게 논의된 바 있다. 이는 소위 말하는 동입입자 가정을 통한 양자기체의 상태수에 대한 개념에서 나오는 데 이를 보즈 아인슈타인 통계라고 한다. 레이저 이론의 근간이 된 보즈 아이슈타인 통계는 인도의 천제 물리학자였던 보즈의 동일입자의 통계적 가정에 대한 증명을 아인슈탄인이 확인하면서 유명해 졌는데 그의 증명은 이후에 아인슈타인의 광량자 조건에 대한 발견 이후 레이저 이론을 완성시키는데 결정적인 역할을 하게 된다.

제4절 물리학에서 발견한 정보 - 볼쯔만과 상태수

비엔나외곽에 중앙현중원 (central cemetery)에는 서양문화에 근간이 되었던 유명인들의 무덤이 즐비하게 있다. 거기에는 요한스트라우스나 슈베르트 그리고 베토벤의 무덤은 비엔나의 화려했던 문화의 생산지임을 말해주고 있다. 그 한 켠에 통계물리학의 아버지라 불리울 수 있는 볼쯔만의 무덤이 자리잡고 있고 그의 비석엔 통계물리의 근간이 되는 유명한 상태수 공식이 큼지막히 적혀져 있다.

볼쯔만의 상태수 공식의 발견은 가히 통계적 방법으로 찾아낸 물리법칙의 중심이자 정보이론의 시작이라고 할 수 있다. 그의 엔트로피 법칙은 통계적인 방법으로만 접근할 수 있는 미시세계의 거동을 통해 어떻게 거시적인 물리현상이 도출될 수 있는지를 말해준다. 그는 미시세계 입자의 존재 방식이 거시적으로 들어나는 물리 변수에 영향을 미치게 되는지를 발견하였고 이는 가히 인간문명에 위대한 발견이라고 말하지 않을 수 없다. 즉, 온도 에너지 압력과 같은 우리 생활의 일상적인 중요한 물리 변수들이 사실은 미시세계에 존재하는 입자들의 운동으로 말미암아 나타나는 현상이라는 것이다. 또한 그러한 운동에 대한 상세한 분석을 통해 모든 물리 변수들을 유도해 낼 수 있다는 것이다. 그러한 발견은 확률적인 현상을 통해 접근할 수 있는 현상을 통해 어떻게 자연법칙을 이끌어 낼 수 있는지를 알려준다. 이를 통해 볼쯔만은 통계물리학을 뉴튼의 고전역학이나 맥스웰의 전자기학과 마찬가지로 중요한 물리분야의 하나의 체계로 완성시켰다.

=== 상태수와 파티션함수 그리고 물리법칙===

그러한 볼쯔만의 통계물리학 법칙이 현재 우리들의 삶에 지대한 영향을 미치는 정보이론의 근간이 된다는 것을 접할 때 매우 놀라지 않을 수 없다. 샤논에 의해 정립된 정보이론의 기본 법칙들이 보즈아이슈타인 통계에서 유도된 상태수의 최적화 법칙과 일치한다는 점은 믿기 어려운 필연적 우연처럼 보인다. 그 모든 것이 엔트로피라는 양으로 정량화되고 정보이론적인 방식으로 사용될 수 있다는 점은 지금 우리가 살아가고 있는 정보화 시대가 지극히 당연한 자연법칙의 한 단면일 수 있음을 시사한다.

=== 입자의 존재 방식과 정보이론===

제5절 고전통계를 뛰어 넘어 양자정보의 시대로

- 양자역학은 자연현상을 설명하는 근간에 통계적인 방식을 배제할 수 없음을 기본가정으로 한다. 즉 원자의 존재방식을 설명하는데 있어 결정론적 방식이 아닌 확률론적 방식의 설명만이 가능하다는 것이다. 양자역학의 그러한 구조는 오래동안 물리학자들을 고민하게 만들었다. 하지만 최근 20~30년간 이루어진 검증을 통해 확인 하게 된 바는 그러한 물리상태의 확률적 존재 방식은 매우 근본적이며 다른 여타의 결정론적 이론이 개입할 수 없다는 점을 명확히 하였다.

- 양자정보의 시대 : 양자통신, 양자센싱, 양자컴퓨팅

제6절 에필로그

본 양자정보 산책에서 다룰 내용은 불확정성원리, 양자전송, 얽힘상태의 측정, 거시계에서의 양자현상, 양자정보와 인공지능 등이다.