앤드류 응의 머신러닝(8-2): 신경 세포와 뇌

   온라인 강의 플랫폼 코세라의 창립자인 앤드류 응 (Andrew Ng) 교수는 인공지능 업계의 거장입니다. 그가 스탠퍼드 대학에서 머신 러닝 입문자에게 한 강의를 그대로 코세라 온라인 강의 (Coursera.org)에서 무료로 배울 수 있습니다. 이 강의는 머신러닝 입문자들의 필수코스입니다. 인공지능과 머신러닝을 혼자 공부하면서 자연스럽게 만나게 되는 강의입니다. 

Neural Networks : Representation

인공 신경망 : 표현

Motivations (동기 부여)

Neurons and the Brain otheses (신경 세포와 뇌)    

   Neural Networks are a pretty old algorithm that was originally motivated by the goal of having machines that can mimic the brain. Now in this class, of course I'm teaching Neural Networks to you because they work really well for different machine learning problems and not, certainly not because they're logically motivated. In this video, I'd like to give you some of the background on Neural Networks. So that we can get a sense of what we can expect them to do. Both in the sense of applying them to modern day machinery problems, as well as for those of you that might be interested in maybe the big AI dream of someday building truly intelligent machines. Also, how Neural Networks might pertain to that.

   신경망은 사람의 뇌를 모방할 수 있는 기계를 만들기 위한 아주 오래된 알고리즘입니다. 신경망은 어려운 머신 러닝 문제에서 잘 작동하지만 논리적이지 않습니다. 이번 강의에서 신경망의 배경에 대해 설명합니다. 오늘날의 기계적인 문제를 신경망이 어떻게 해결하는지와 언젠가 지적인 기계를 구현할 거대한  AI 꿈이 어떻게 가능한 지에 대한 감각을 익힐 것입니다.  

   

   The origins of Neural Networks was as algorithms that try to mimic the brain and those a sense that if we want to build learning systems while why not mimic perhaps the most amazing learning machine we know about, which is perhaps the brain. Neural Networks came to be very widely used throughout the 1980's and 1990's and for various reasons as popularity diminished in the late 90's. But more recently, Neural Networks have had a major recent resurgence.

   One of the reasons for this resurgence is that Neural Networks are computationally some what more expensive algorithm and so, it was only, you know, maybe somewhat more recently that computers became fast enough to really run large scale Neural Networks and because of that as well as a few other technical reasons which we'll talk about later, modern Neural Networks today are the state of the art technique for many applications.

   So, when you think about mimicking the brain, well, the one, the human brain does so a amaging things, right? The brain can learn to see process images and to hear, learn to process our sense of touch. We can, you know, learn to do math, learn to do calculus, and the brain does so many different and amazing things. It seems like if you want to mimic the brain it seems like you have to write lots of different pieces of software to mimic all of these different fascinating, amazing things that the brain tell us, but does is this fascinating hypothesis that the way the brain does all of these different things is not worth like a thousand different programs, but instead, the way the brain does it is worth just a single learning algorithm. 

   신경망은 인간의 뇌를 모방하기 위한 알고리즘입니다.  뇌는 쉽게 모방할 수 없지만 가장 놀라운 학습 기계입니다.  신경망은 1980년대와 1990년대에 폭넓게 사용되다가 여러 가지 이유로 90년대 후반에 인기가 사그라들었습니다. 그러나 최근에 신경망은 다시 큰 인기를 얻었습니다.   

   

   인공 신경망이 다시 인기를 끈 이유 중 하나는 컴퓨터 성능의 비약적인 발전입니다. 대규모 신경망을 충분히 실행할 수 있을 만큼 컴퓨터의 성능이 개선되었습니다. 나중에 다룰 몇 가지 기술의 발전도 한 몫했습니다. 오늘날의 신경망은 많은 응용 분야에서 활용하는  최첨단 기술입니다. 

   뇌를 모방하는 것을 생각할 때 인간의 뇌는 정말 놀라운 것입니다. 뇌는 이미지를 보는 법, 듣는 법, 그리고 촉각을 처리하는 방법을 학습합니다. 사람이 수학을 학습하고 미적분을 학습합니다. 뇌는 정말 다양하고 많은 놀라운 것들을 학습합니다. 뇌를 모방하는 가설 중에 하나는 뇌가 하는 모든 매력적이고 놀라운  것들을  수많은 소프트웨어로 구현하는 것입니다. 하지만 수천 개의 프로그램을 구현하는 것보다 더 가치 있는 것은 뇌가 학습하는 방식을 모방하는 단 하나의 학습 알고리즘을 구현하는 것입니다.

   This is just a hypothesis but let me share with you some of the evidence for this. This part of the brain, that little red part of the brain, is your auditory cortex and the way you're understanding my voice now is your ear is taking the sound signal and routing the sound signal to your auditory cortex and that's what's allowing you to understand my words. 

   이것은 단지 가설이지만 몇 가지 증거가 있습니다. 뇌의 작고 붉은 부분은 청각피질입니다. 소리를 들을 수 있는 이유는 귀로 들리는 소리 신호를 청각 피질로 전달하고 청각 피질은 소리로 전달된 단어들을 이해할 수 있기 때문입니다.   

   

   Neuroscientists have done the following fascinating experiments where you cut the wire from the ears to the auditory cortex and you re-wire, in this case an animal's brain, so that the signal from the eyes to the optic nerve eventually gets routed to the auditory cortex. If you do this it turns out, the auditory cortex will learn to see. And this is in every single sense of the word see as we know it. So, if you do this to the animals, the animals can perform visual discrimination task and as they can look at images and make appropriate 

decisions based on the images and they're doing it with that piece of brain tissue.

   신경학자들은 흥미로운 실험을 했습니다. 귀와 청각 피질을 연결하는 선을 자르고 눈에서 시신경으로 가는 신호를 청각 피질로 전달하였습니다. 놀랍게도 청각 피질이 보는 법을 학습했습니다. 문자 그대로 청각피질로 볼 수 있었습니다. 실험을 진행한 동물들은 시각적 차이를 이해하고 이미지를 보고 적절한 판단을 했습니다.  

   Here's another example. That red piece of brain tissue is your somatosensory cortex. That's how you process your sense of touch. If you do a similar re-wiring process then the somatosensory cortex will learn to see. Because of this and other similar experiments, these are called neuro-rewiring experiments.

   또 다른 실험도 있습니다. 뇌의 붉은색 부분은 촉각을 담당하는 감각 피질입니다.  손과 몸에서 감각 피질로 연결하는 선을 끊고 눈과 시신경을 연결하는 선을 감각 피질로 연결합니다. 감각 피질은 보는 법을 학습합니다. 이것을 신경 재배선 실험이라고 합니다. 

   There's this sense that if the same piece of physical brain tissue can process sight or sound or touch then maybe there is one learning algorithm that can process sight or sound or touch. And instead of needing to implement a thousand different programs or a thousand different algorithms to do, you know, the thousand wonderful things that the brain does, maybe what we need to do is figure out some approximation or to whatever the brain's learning algorithm is and implement that and that the brain learned by itself how to process these different types of data. To a surprisingly large extent, it seems as if we can plug in almost any sensor to almost any part of the brain and so, within the reason, the brain will learn to deal with it. 

   하나의 뇌조직이 시각, 청각 그리고 촉각을 처리할 수 있다면, 시각, 청각 또는 촉각을 처리할 수 있는 하나의 학습 알고리즘이 있다고 추측할 수 있습니다. 뇌가 하는 수천 개의 작업을 수행하는 수천 개의 프로그램이나 수천 개의 알고리즘을 구현하는 것 대신에 뇌가 학습하는 방법을 알아내는 것입니다. 그리고 뇌가 다양한 종류의 데이터를 스스로 처리하는 방법을 구현합니다. 놀랍게도 사람은 거의 모든 센서를 뇌의 거의 모든 부분에 연결할 수 있는 것처럼 보입니다. 이유는 뇌는 데이터를 처리하는 법을 학습하기 때문입니다. 

   Here are a few more examples. On the upper left is an example of learning to see with your tongue. The way it works is--this is actually a system called BrainPort undergoing FDA trials now to help blind people see--but the way it works is, you strap a grayscale camera to your forehead, facing forward, that takes the low resolution grayscale image of what's in front of you and you then run a wire to an array of electrodes that you place on your tongue so that each pixel gets mapped to a location on your tongue where maybe a high voltage corresponds to a dark pixel and a low voltage corresponds to a bright pixel and, even as it does today, with this sort of system you and I will be able to learn to see, you know, in tens of minutes with our tongues. 

   Here's a second example of human echo location or human sonar. So there are two ways you can do this. You can either snap your fingers, or click your tongue. I can't do that very well. But there are blind people today that are actually being trained in schools to do this and learn to interpret the pattern of sounds bouncing off your environment - that's sonar. So, if after you search on YouTube, there are actually videos of this amazing kid who tragically because of cancer had his eyeballs removed, so this is a kid with no eyeballs. But by snapping his fingers, he can walk around and never hit anything. He can ride a skateboard. He can shoot a basketball into a hoop and this is a kid with no eyeballs.

   Third example is the Haptic Belt where if you have a strap around your waist, ring up buzzers and always have the northmost one buzzing. You can give a human a direction sense similar to maybe how birds can, you know, sense where north is. 

      And, some of the bizarre example, but if you plug a third eye into a frog, the frog will learn to use that eye as well.

   몇 가지 사례가 있습니다. 왼쪽 상단의 그림은 혀로 보는 법을 배우는 사례입니다. 이것은 시각 장애인들이 볼 수 있도록 FDA 시험을 진행 중인 BrainPort  시스템입니다. 작동방식은 흑백 카메라를 이마에 묶습니다. 그가 앞을 향해 걸어가면 흑백 카메라는 앞에 보이는 것을 저해상도 흑백 이미지를 찍습니다. 혀에 놓인 전극의 배열에 선을 연결하여 각 픽셀이 혀의 위치에 매핑되게 합니다. 높은 전압은 어두운 픽셀이고 낮은 전압은 밝은 픽셀입니다. 여러분들은 이런 종류의 시스템을 활용해 수십 분 안에 혀로 보는 법을 학습할 수 있습니다.  

   우측 상단의 그림은 인간 반향 위치 측정기 또는 인간 소나의 사례입니다. 두 가지 방법이 있습니다. 손가락으로 딸깍하는 소리를 내거나 혀를 차는 것입니다. 오늘날의 시각 장애인들은 실제로 학교에서 이것을 배웁니다. 소나처럼 주변에서 반사되는 소리의 패턴을 해석하는 법을 학습합니다. 그래서 유튜브에서 암으로 인해 안구를 제거한 한 아이의 영상을 검색해 보세요. 눈이 없는 아이는 손가락을 딸깍하는 소리를 내면서 걸어 다닐 수 있고, 농구공을 농구대에 쏠 수 있습니다. 

   세 번째 그림은 가장 북쪽을 가리키는 부저가 울리는 허리에 묶는 촉각 벨트(Haptic Belt) 사례입니다.  햅틱 벨트는 새가 북쪽이 어디에 있는 지를 감지 하는 것과 비슷한 방향 감각을 줍니다. 

   네 번째 그림은 기이한 사례입니다. 세 번째 눈을 개구리에게 이식하면 개구리는 그 눈을 사용하는 법을 학습합니다.  

   So, it's pretty amazing to what extent is as if you can plug in almost any sensor to the brain and the brain's learning algorithm will just figure out how to learn from that data and deal with that data. And there's a sense that if we can figure out what the brain's learning algorithm is, and, you know, implement it or implement some approximation to that algorithm on a computer, maybe that would be our best shot at, you know, making real progress towards the AI, the artificial intelligence dream of someday building truly intelligent machines. Now, of course, I'm not teaching Neural Networks, you know, just because they might give us a window into this far-off AI dream, even though I'm personally, that's one of the things that I personally work on in my research life. 

   따라서, 거의 모든 센서를 뇌에 연결할 수 있고 뇌의 학습 알고리즘은 데이터를 학습하고 처리하는 방법을 가지고 있습니다. 정말 놀라운 일입니다. 뇌의 학습 알고리즘을 밝혀내고 컴퓨터로 비슷하게 구현할 수 있다면 엄청난 기회가 될 것입니다.  언젠가 진정한 지능형 기계인 인공지능을 만드는 것도 가능할 것입니다.  신경망은 먼 미래에 인공지능의 꿈을 들여다볼 수 있는 창입니다. 인공지능은 개인적으로 연구 중인 주제입니다. 

   But the main reason I'm teaching Neural Networks in this class is because it's actually a very effective state of the art technique for modern day machine learning applications. So, in the next few videos, we'll start diving into the technical details of Neural Networks so that you can apply them to modern-day machine learning applications and get them to work well on problems. But for me, you know, one of the reasons the excite me is that maybe they give us this window into what we might do if we're also thinking of what algorithms might someday be able to learn in a manner similar to humankind.

   이 과정에서 신경망을 가르치는 이유는 오늘날의 머신러닝 애플리케이션에 매우 효과적인 최첨단 기술이기 때문입니다. 다음 강의부터 신경망의 기술적인 세부 사항을 설명하면서 현대 머신 러닝 애플리케이션에  적용하는 것을 다룰 것입니다. 신경망은 언젠가 인류와 유사한 방식으로 학습하는 알고리즘의 방향성을 제시합니다. 

앤드류 응의 머신러닝 동영상 강의

정리하며

   신경망은 원래 사람의 뇌를 모방할 수 있는 기계를 만들기 위한 아주 오래된 알고리즘입니다. 신경망은 어려운 머신 러닝 문제에서 잘 작동하지만 논리적이지 않습니다. 인공 신경망이 최근 다시 인기를 끈 이유 중에 하나는 최근 컴퓨터 성능의 비약적인 발전되었기 때문입니다. 

   뇌를 모방하는 가설 중에 하나는 뇌가 하는 모든 매력적이고 놀라운  것들을 모방하기 위해 수많은 소프트웨어가 필요하다는 것입니다. 하지만 또 다른 가설은 뇌가 배우는 방식을 모방하는 단 하나의 학습 알고리즘을 만드는 것입니다. 어느 것이 정답일까요? 신경 재배선 실험이라는 것이 있습니다. 뇌는 청각을 담당하는 영역이나 촉각을 담당하는 영역에 시각 정보를 보내면 보는 법을 배웁니다. 즉, 물리적으로 같은 뇌가 시각, 청각, 촉각을 처리할 수 있다는 것은 하나의 학습 알고리즘이 있다는 것으로 생각할 수 있습니다. 뇌가 하는 수천수만의 작업을 위한 개별 프로그램을 구현할 것이 아니라 뇌가 학습하는 방법을 모방하는 단 하나의 알고리즘이 구현한다면, 인공 지능의 미래도 멀리 있지 않습니다. 

  실제로 뇌는 거의 모든 센서와 직접 연결이 가능하고 뇌의 학습 알고리즘은 데이터를 학습하여 처리할 수 있습니다. 뇌는 쉽게 모방할 수 없지만 가장 놀라운 학습 기계입니다.