BAM, CBAM은 특허화 되어 있을까?
이것만 넣으면 인식 성능이 좋아진다고?
안녕하세요 특허개미 입니다.
오늘은 이미지 인식의 차원을 한단계 끌어올려 너도 쓰고 나도 쓰던 BAM(Bottleneck Attention Module), CBAM(Convolutional Block Attention Module)이 어떻게 특허화 되어있는지 그래서 사실은 특허 침해가 되어 아무나 쓸 수 없었던 것인지 알아 보겠습니다.
1. BAM, CBAM 이란 무엇인가.
오늘 이야기 할 것은 인공지능(AI, 딥러닝 등이라고도 하는) 기술 중에서 네트워크 구조에 관련한 기술이 어떻게 특허화되는지에 관한 것입니다.
그래서 BAM, CBAM에 관해서는 간략하게 설명하겠습니다.
보다 상세한 내용은 링크를 참조 해주세요. 해당 논문의 저자가 작성한 설명입니다.
BAM and CBAM: self-attention modules for CNN – Lunit Tech Blog
<그림1 - BAM이 추가된 CNN 아키텍처 (Jonchan Park, “BAM: Bottleneck Attention Module”)>간략하게 설명하자면, CBAM은 이미지 인식을 위한 CNN(convolutional neural network)에 data의 어느 부분에 집중 해야 하는지 알려주는 모듈을 부가한 신경망 입니다.
이를 위한 모듈들은 channel attention module 및 spatial attention module 입니다.
channel attention module은 무엇에 집중 하여야 하는지, spatial attention module은 어디에 집중하여야 하는지 알려주는 모듈입니다.
<그림2 - BAM의 연산 과정 (Jonchan Park, “BAM: Bottleneck Attention Module”)>BAM은 이 두 모듈을 병렬로 하여 feature extraction과정에서 병렬로 연산을 수행하고 합쳐 입력과 같은 3D attention map을 생성하게 됩니다.
<그림3 - CBAM 개념도 (Sanghyun Woo, “CBAM: Convolutional Block Attention Module”)>CBAM은 이 두 모듈을 직렬로 연결하여 feature를 channel attention module로 연산하고, 출력을 spatial attention module로 연산하게 됩니다. (순서는 실험적으로 결정)
CBAM, BAM은 간단한 모듈을 추가하여 약간의 연산량 증가로 CNN의 인식 성능을 크게 향상시킬 수 있습니다. 특히 CBAM은 많은 논문에서 인용될 정도로 널리 사용되고 있습니다.
자 그러면 이 기술들은 특허화 되어 있을까요?
2. BAM, CBAM 특허를 찾아보자.
특허를 검색하는 방법에는 여러가지가 있지만, 이번은 인명 정보가 있으니 논문의 저자를 발명자로 하여 검색해 보겠습니다.
<그림 4 - Wips on 검색화면>논문의 저자인 우상현님과 박종찬님을 발명자로 하여 검색하면 한국에서 1 건이 검색됩니다. (각각 검색하면 몇건이 더 나오지만 BAM과는 관련이 없음)
삼성전자와 한국과학기술원에서 공동으로 출원한 건이네요.
<그림 5 - 발명자 검색 결과>해당 특허의 내용과 현재 상태에 대해서 살펴 보겠습니다.
3. 한국특허출원 10-2018-0035359호 : 합성곱 신경망을 위한 주의집중 값 계산 방법(이하 359호 특허)
3.1. 특허문헌의 해석 방법
제목을 보아하니 맞게 찾은 것 같습니다. 그러면 특허 문헌은 어떻게 해석해야 할까요?
다음 시간에 보다 상세히 알아보고 이번 시간에는 간략하게 설명하겠습니다.
특허 명세서는 특허권의 권리범위를 나타내며 발명의 요점이 포함된 특허청구범위와 그외의 기술 설명 부분으로 구성되어 있습니다. 간략히 특허청구항을 살펴 보고 도면, 상세한 설명을 살펴봐서 출원번호 KR10-2018-0035359건이 우리가 찾는 BAM이 맞는지 확인해 보겠습니다.
3.2. 359호 특허의 상세 내용
<그림 6 - 359호 특허 청구항 1 항>359호 특허의 청구항입니다. 앞서 살펴 본 바와 같이 청구항 1 항은 발명의 요점만을 간략히 나타낸 것이 일반적입니다.
청구항을 살펴 보면 컨벌루션 레이어로부터 중간 특징 맵(컨벌루션 레이어의 출력이 되겠죠)을 획득하고, 중간 특징 맵의 채널 주의집중 값(Channel attention)과 공간 주의집중 값(Spatial attention)을 계산하고, 이들 주의집중 값을 기초로 3D 주의집중 맵을 생성하여 정제된 특징 맵을 생성하는 과정을 구성으로 가지고 있습니다.
채널 주의집중 값과 공간 주의집중 값부터 뭔가 이름이 낯익죠. 하지만 특허 청구항의 단어들은 특허문헌의 작성자가 정의해서 쓰는 경우가 있기 때문에, 우리가 아는 그 Attention module이 맞는지 확인해 볼 필요가 있습니다.
- 채널 주의집중 값
<그림 7 - 359호 특허 청구항 2항>채널 주의집중 값에 대해서 359호 특허에서는 컨벌루션 레이어의 출력에 전역 평균 풀링(Global Average Pooling, GAP)를 수행하고, 이 결과를 MLP로 처리하고, MLP의 출력에 대하여 배치 정규화(batch normalization)을 수행하여 생성되는 값이라고 정의하고 있습니다.
<그림 8 - BAM의 연산 과정 (Jonchan Park, “BAM: Bottleneck Attention Module”)>논문에서 설명하는 그대로죠. 이건 같은 것으로 봐도 되겠네요.
- 공간 주의집중 값
<그림 9 - 359호 특허 청구항 5항>공간 주의집중 값에 대해서는 제 1 컨벌루션을 수행하여 제 1 채널 감소 특징 맵을 생성(1*1 크기의 필터 사용), 확장 컨벌루션을 수행하여 확장된 특징맵 생성, 확장된 특징 맵에 대하여 제 2 컨벌루션을 생성하고, 배치 정규화를 수행하여 생성되는 값이라고 정의하고 있습니다.
<그림 10 - BAM의 연산 과정 (Jonchan Park, “BAM: Bottleneck Attention Module”)>이것 역시 논문과 동일하네요.
이정도 보았으면 359호 특허는 BAM에 관련한 것이라고 볼 수 있겠습니다. 일단 작성된 청구범위를 보면 CNN 사이에 BAM이 삽입되는 것을 나타낸 권리범위를 가지는 것으로 보입니다. 해당 건은 CBAM 보다는 BAM 내용을 담고 있다고 볼 수 있습니다. 상세한 설명의 내용 상으로 그렇게 한정될 수 있는 기재가 있습니다.
<그림 11 - 359호 특허 발명의 상세한 설명 101 문단>그리고.. 사실 359호 특허의 도면 10을 보면 논문과 동일한 개요도가 있습니다.
<그림 12 - 359호 특허 도면 10>왜 쓸데 없이 청구범위 살펴봤는지 궁금하시다면 권리범위부터 보고싶은 변리사 직업병이라고 이해해 주시기 바랍니다.
그러면 이제 우리는 BAM 같은거 못쓰는거냐 ? 라는 궁금증이 생기죠.
359호 특허의 현재 상태를 알아 보고 독점권을 행사할 수 있는 상태인지 보죠.
3.2. 359호 특허의 현재 상태
특허가 독점권으로 권리를 행사 하려면 특허청에 제출된 “특허출원” 상태 만으로는 부족하고, 특허청의 심사를 통과하여 “특허등록”이 되어야 합니다. 뭔가 제품을 홍보하면서 “특허출원” 되었다는 문구를 쓰는 경우에는 아 서류 제출했구나 라고 생각하시면되고, “특허등록” 되었다는 문구가 있다면 아 서류합격 했구나 라고 생각하시면됩니다. 심사 과정에 대해서는 다음 시간에 알아 보기로 하고 “특허등록”이 되어야 “독점권”을 행사할 수 있다는 사실만 기억하고 359호 특허를 살펴 보겠습니다.
<그림 13 - 359호 특허 서지사항>이 그림은 특허의 서지사항이라 부르는 특허의 지문과 같은 것입니다. 해당 특허를 출원한 출원인에 대한 정보, 발명자 정보, 출원일자 등 특허와 관련한 기본 정보들을 담고 있습니다.
빨간 박스 부분을 보면 359호 특허의 출원인은 삼성전자와 한국과학기술원임을 알 수 있습니다. 파란색 박스 부분을 보면 출원번호는 10-2018-0035359호 임을 알 수 있습니다. 출원번호에서 10은 특허임을 나타내는 숫자, 2018은 출원 연도, 0035359는 고유 번호(연도별로 0000001 부터 시작)입니다. 출원일자는 2018년 3월 27일인 것을 확인할 수 있습니다. 초록색 부분을 보면 심사청구일자 없음을 확인할 수 있습니다. 특허 등록을 받기 위한 심사를 신청하지 않았다는 의미 입니다(신청된 건만 심사, 출원일로부터 3년 까지(359호 특허의 경우 2021년 3월 27일) 심사를 신청하지 않은 경우 출원은 취하 간주됨).
이 특허 출원은 특허등록을 위한 심사를 신청하지 않은 것 같은데, 그렇다면 취하로 소멸되었을 수 있으니(즉, 등록 되지 않음) 자세히 살펴 보죠.
<그림 14 - 359호 특허의 현재 상태 정보>특허청에서 제공하는 검색 DB인 kipris에서 359호 특허의 상태를 살펴 보면 “취하(심사 미청구)” 라고 되어 있는 것을 볼 수 있습니다.
즉, 이 특허는 특허청에 심사를 신청하지 않은 상태로 출원일로부터 3년이 경과 하였으므로 취하되었고, 취하가 되고도 시간이 많이 지나 다시 등록이 될 일은 없는 것으로 보입니다. 그냥 포기했다는 것이지 AI 모델이 특허로 등록 받을 수 없다는 의미는 아닙니다.
보통 삼성전자와 같은 대기업은 특허를 출원하고 활용 가능성을 따져 심사를 신청할지 말지를 결정하게 됩니다. 심사 신청 비용은 출원보다 비싸거든요. 아마 이 특허는 삼성전자에서는 그렇게 중요하지 않다고 보았을 가능성이 있습니다. 기술적으로 중요하지 않다고 본 것이라는 의미는 아닙니다. SW 관련 기술이므로 침해를 입증하기 쉽지 않아 권리 행사가 어렵다거나, 오픈소스 라이선스와 관련하여 권리 행사가 어려울 수 있다거나 등 여러 요소들을 고려하여 판단합니다. (보통은 예산도 결정의 요소지만 삼성전자는 예산의 제한이 있을까요?)
4. 그래서 BAM, CBAM 특허 때문에 못쓰나요?
그래서, BAM은 특허로 출원되어 있지만 이 특허는 특허등록되지 않고 소멸하였으므로 한국에서 BAM과 관련한 359호 특허의 특허침해가 문제될 일은 없어보입니다.
등록이 되었으면 어땠을까 싶은 아쉬움은 있지만 지나고 보면 아쉬운 결정은 보통 그때의 최선이였죠.
지금까지 특허개미였습니다.
저자 소개: 이호준 변리사는 샤오미, 바이두 등 국내외 유명 대기업, 뷰노 등 AI스타트업의 사건을 처리한 경험을 가지고 있습니다. 이호준 변리사는 빅뱅벤처스의 이사로 인공지능과 관련한 기업들의 투자 심사를 수행하고 있습니다. 업무 문의는 hjlee@abcip.co.kr 로 부탁드립니다.
