제7회 세밀한 시각적 분류 워크샵 발표
2020년 5월 20일(수) 구글 AI 리서치 블로그
세밀한 시각적 분류는 밀접하게 관련된 물체의 이미지, 예를 들어 황제 나비(Danaus plexippus)와 총독 (Limenitis archippus)을 구별하는 문제를 나타냅니다. 2011년 첫 FGVC 워크숍 당시에는 아주 세분화된 데이터셋이 거의 없었으며 이용 가능한 데이터 (예 : 해당 워크숍에서 출시된 200 종의 조류 종의 CUB 데이터셋)는 주요 분류 알고리즘에 엄청난 도전을 제기했습니다. 2020 년으로 넘어가면서 컴퓨터 비전 환경은 놀라운 변화를 겪고 있습니다. 딥러닝 기반 방법은 CUB-200-2011 정확도가 17%에서 90 %로 급상승하는 데 도움이 되었으며, 세밀한 데이터셋은 미술관, 의류 소매점 및 카사바 농장과 같은 다양한 기관에서 데이터를 가져와 급증했습니다.
이 분야의 발전을 지원하기 위해 2020년 6월 19일 가상 모임으로 열리는 FGVC7(Fine-Grained Visual Categorization) 7차 워크숍을 후원하고 공동으로 조직하게 되었습니다. 컴퓨터 비전 및 패턴 인식(CVPR)에 관한 IEEE 컨퍼런스에 대하여 우리는 과일나무 질병 예측부터 패션 속성에 이르기까지 올해의 세계적 수준의 세밀한 과제를 강조하게 되어 기쁘게 생각하며 전 세계 컴퓨터 비전 연구원들을 워크숍에 초대합니다.
[그림 1] CVPR 2020의 FGVC 워크숍은 야생 동물 카메라 함정, 식물 병리학, 조류, 식물 표본, 의류 및 박물관 유물을 포함하여 하위 범주에 중점을 둡니다.FGVC 과제의 실제 영향
각 FGVC 워크샵 주기는 더욱 까다로운 데이터셋에 대한 세분화된 인식의 한계를 넓히는 것 외에도 연구자와 실무자 간의 새로운 협업을 촉진할 수 있는 기회를 제공합니다. FGVC 워크숍의 일부 노력은 실제 사용자의 손을 만들었습니다.
2018 FGVC 워크숍은 덴마크 균류 학회(Danish Mycological Society)에서 제공한 1,500 개의 버섯 종에 대한 데이터로 곰팡이 분류 챌린지(Fungi Challenge)를 주최했습니다. 대회가 끝나면 리더 보드는 체코 공과대학(Czech Technical University)과 서 보헤미아 대학(the University of West Bohemia)의 팀이 차지했습니다.
그 후 이 병리학자들은 체코 연구원들에게 코펜하겐을 방문하여 추가 협력을 모색하고 생물 다양성에서 공동 머신러닝 연구를 위한 새로운 워크플로를 현장 검사할 수 있도록 초대했습니다. 그 결과 공동으로 작성된 컨퍼런스 논문, Android 및 iOS 용 버섯 인식 앱 및 TensorFlow Hub에 공개된 오픈 액세스 모델이 탄생했습니다.
[그림 2] [그림 2 - 설명] 버섯 인식을 위한 Svampeatlas 앱은 FGVC 2018 곰팡이 분류 챌린지에서 분리된 덴마크-체코어 협업의 결과입니다. 기본 모델이 TF Hub에 게시되었습니다. 덴마크 균류 학회의 승인하에 사용된 이미지.
위에서 언급한 2019년의 iCassava Disease Challenge는 FGVC 팀이 실제 세계로 진출하려는 노력의 또 다른 예입니다. 이 도전에서 가나의 Google 연구원은 Makerere University 및 National Crops Resources Research Institute (NaCRRI)와 협력하여 5개의 카사바 질병 범주에 대한 주석이 달린 데이터셋을 생성했습니다.
[그림 3] 2019 iCassava 챌린지에 나타난 카사바 잎 질병의 예.그 팀들은 현지 농부들과 함께 우간다의 현장에서 새로운 모델을 검증하고 있으며, 이 모델은 곧 TFHub에 게시될 예정입니다.
올해의 도전
FGVC7에는 6 가지 과제가 있는데, 그중 4개는 과거 제품의 속편을 나타내고 2개는 새로운 것입니다.
iWildCam에서 과제는 카메라 트랩 이미지에서 다른 동물 종을 식별하는 것입니다. 2018년과 2019년의 전신과 마찬가지로 올해의 경쟁은 생물학자가 야생에서 동물을 연구하기 위해 사용하는 정적 모션 트리거 카메라의 데이터를 사용합니다. 참가자들은 장치 모델, 이미지 품질, 지역 환경, 조명 조건 및 종 분포의 차이를 나타내는 해당 지역 내의 카메라 배치에 대한 일반화에 중점을 어렵게 맞추어 전 세계의 다양한 지역을 다루는 모델을 만들기 위해 경쟁하고 있습니다.
그 이미지 자체를 넘어서 정보를 사용하여 종 분류 성능을 획기적으로 향상할 수 있는 것으로 나타났습니다. 또한 생태계는 다양한 방식(예 : 카메라 트랩, 시민 과학자, 원격 감지)으로 모니터링할 수 있기 때문에 각각의 강점과 한계가 있기 때문에 이러한 보완적인 양식을 접목하기 위한 기술 탐구를 용이하게 하는 것이 중요합니다. 이를 위해 대회는 각 카메라 트랩 위치에 대한 일련의 원격 감지 이미지와 카메라 트랩 데이터의 종에 대한 iNaturalist competition datasets의 이미지를 제공합니다.
[그림 4] [그림 4 - 설명] 야생 동물 카메라 트랩에서 캡처한 iWildcam (왼쪽)과 기존 카메라로 캡처한 iNaturalist (오른쪽)의 이미지 품질을 나란히 비교합니다. 이미지는 2020 iWildCam Challenge의 이미지이며 2017 년과 2018 년의 iNaturalist competition dataset입니다.
현재 2년 차인 헤르바륨 도전(Herbarium Challenge)은 식물 종의 식별을 수반하며 길고 긴 꼬리의 허브류 표본을 식별하고 있습니다. 뉴욕 식물원 (NYBG)과 공동으로 개발한 이 과제는 32,000종 이상의 식물 종을 나타내는 1백만 개가 넘는 이미지를 특징으로 합니다. 작년의 과제는 680종에 대한 46,000개의 표본에 근거한 것입니다. 역사적인 식물 표본 수집에서 종을 인식할 수 있게 되면 식물 학자들이 지구의 식물 수명 변화를 더 잘 이해하는 데 도움이 될 뿐만 아니라 이전에 설명되지 않은 새로운 종을 식별할 수 있는 독특한 기회를 제공합니다.
[그림 5] 2020년 헤르바륨 도전에 사용된 종들의 표본 예. 뉴욕 식물원의 허가하에 사용된 이미지.올해 iMat Fashion 챌린지에서 참가자들은 의류 인스턴스 분류(instance segmentation) 및 세분화된 속성 분류를 수행하기 위해 경쟁합니다. 이번 대회의 목표는 패션과 컴퓨터 비전 커뮤니티의 힘을 합쳐 세분화해 예술의 상태를 추진하는 것입니다. 이 과제는 세 번째 되풀이에서 지난 몇 년 동안 제공되는 크기와 세부 수준이 모두 높아졌습니다.
마지막 속편은 iMet이며 참가자들은 예술 작품에 대한 세분화된 속성 분류를 위한 알고리즘을 구축해야 합니다. 메트로폴리탄 미술관(Metropolitan Museum of Art)과 협력하여 개발된 이 데이터셋은 2019 년판 이후 크게 성장했으며 Met의 컬렉션 내의 여러 객체 분류, 예술가, 제목, 기간, 날짜, 미디어, 문화, 크기, 증명, 지리적 위치 및 기타 관련 박물관 객체를 포함한 주제 전문가가 생성한 다양한 새로운 카탈로그 정보로 성장했습니다.
반 주도 조류들(Semi-Supervised Aves)은 올해 워크샵의 새로운 과제 중 하나입니다. iNaturalist의 조류 데이터는 과거 FGVC 과제에서 두드러지게 나타났지만, 이 과제는 반주도 학습(Semi-Supervised learning) 형태인 부분적으로 레이블이 지정된 데이터에서 학습하는 문제에 중점을 둡니다. 데이터셋은 클래스 간의 세분화된 유사성, 클래스의 불균형, 레이블이 지정된 데이터와 레이블이 없는 데이터 간의 도메인 불일치와 같은 현실적인 설정에서 발생하는 몇 가지 문제를 노출하도록 설계되었습니다.
일련의 과제를 해결하는 것은 식물 병리학(Plant Pathology)입니다. 이 도전에서, 참가자들은 전문가가 주석을 붙인 질병 표본의 참조 데이터셋을 사용하여 사과의 잎 질병을 발견하려고 시도합니다. 이 특별한 도전은 FGVC 커뮤니티에 새로운 것이지만, 작년의 FGVC에서 처음으로 iCassava인 식물병과 관련된 두 번째 도전입니다.
참가 초대
이 대회의 결과는 FGVC7 워크숍에서 최고의 성과를 거둔 팀을 발표할 것입니다. 연구원, 실무자 및 도메인 전문가가 FGVC 워크숍에 참여하여 세밀한 이미지 인식의 최첨단 기술에 대해 자세히 알아보십시오. 세분화된 시각적 분류를 위한 커뮤니티의 최첨단 알고리즘 개발을 장려하고 글로벌 영향으로 새로운 협업을 장려합니다.
감사의 말
우리는 FGVC7 조직위원회의 동료들과 친구들에게 이 중요한 영역을 발전시키기 위해 함께 노력해 주셔서 감사합니다. Google에서는 Hartwig Adam, Kiat Chuan Tan, Arvi Gjoka, Kimberly Wilber, Sara Beery, Mikhail Sirotenko, Denis Brulé, Timnit Gebru, Ernest Mwebaze, Wojciech Sirko, Maggie Demkin에게 감사의 말씀을 전합니다.
원본 제목: 제7회 세밀한 시각적 분류 워크삽 발표(Announcing the 7th Fine-Grained Visual Categorization Workshop)
게시자 : Christine Kaeser-Chen, 소프트웨어 엔지니어 및 Google Research의 방문 교수진 Serge Belongie
원본 링크: https://ai.googleblog.com/2020/05/announcing-7th-fine-grained-visual.html
FGVC7 웹사이트: https://sites.google.com/view/fgvc7
CVPR 2000 웹사이트: http://cvpr2020.thecvf.com
FGVC5 Fungi Classification Challenge : https://sites.google.com/view/fgvc5/competitions/fgvcx/fungi
Bohemian Visual Recognition Alliance의 mushroom-identification 모델: https://tfhub.dev/bohemian-visual-recognition-alliance
A New Workflow for Collaborative Machine Learning Research in Biodiversity 블로그: https://ai.googleblog.com/2019/10/a-new-workflow-for-collaborative.html
WACV 2020 papers : http://openaccess.thecvf.com/content_WACV_2020/html/Sulc_Fungi_Recognition_A_Practical_Use_Case_WACV_2020_paper.html
TensorFlow Hub : https://tfhub.dev
iCassava 2019 웹사이트: https://sites.google.com/view/fgvc6/competitions/icassava-2019
AI & Data Science Research at Makerere University: http://www.air.ug
iWildCam 2020 웹사이트: https://sites.google.com/view/fgvc7/competitions/iwildcam2020
Recognition in Terra Incognita 논문: https://arxiv.org/abs/1807.04975
Presence-Only Geographical Priors for Fine-Grained Image Classification 논문: http://www.vision.caltech.edu/~macaodha/projects/geopriors/
Geo-Aware Networks for Fine-Grained Recognition 논문: https://arxiv.org/abs/1906.01737
Context R-CNN: Long Term Temporal Context for Per-Camera Object Detection 논문: https://arxiv.org/abs/1912.03538
iNaturalist 2019 Competition : https://github.com/visipedia/inat_comp
NYBG(New York Botanical Garden) Herbarium 2020 : https://sites.google.com/view/fgvc7/competitions/herbarium2020
iMat Fashion 2020 : https://sites.google.com/view/fgvc7/competitions/imatfashion2020
iMet 2020: https://sites.google.com/view/fgvc7/competitions/imet2020
FGVC7 Competitions: https://sites.google.com/view/fgvc7/competitions
iNaturalist: https://www.inaturalist.org
Plant Pathology Challenge: https://sites.google.com/view/fgvc7/competitions/plantpathology
이 블로그는 2020년 5월 20일(수), Google AI 리서치 블로그 기사를 영한 번역한 것입니다. 또한 이 번역 글은 정보 공유 목적으로만 작성했으므로 어떠한 상업용으로 사용할 수 없으며, 원본 저작물 모두 구글에게 저작권이 있음을 알려 드립니다. (First Draft Version)
