[서비스] 허깅페이스 (HuggingFace)
인경신경망 알고리즘
합성곱 신경망(CNN, Convolutional Neural Network)
합성곱 신경망은 합성곱 연산을 사용하는 인공신경망(Artificial Neural Network, ANN) 중의 하나, 컨볼루션 신경망이라고도 부름
합성곱(convolution)이란 하나의 함수와 또 다른 함수를 반전 이동한 값을 곱한 다음, 구간에 대해 적분하여 새로운 함수를 구하는 연산자
출처 http://wiki.hash.kr/index.php/합성곱_신경망
순환 신경망(RNN, Recurrent Neural Network)
순환 신경망은 입력과 출력을 시퀀스 단위로 처리하는 시퀀스(Sequence) 모델
번역기를 예시로 들면, 입력은 번역하고자 하는 단어의 시퀀스인 문장 → 출력에 해당되는 번역된 문장 또한 단어의 시퀀스
이와 같이 시퀀스들을 처리하기 위해 고안된 모델들을 시퀀스 모델, 그 중 RNN은 가장 기본적인 인공 신경망 시퀀스 모델
트랜스포머(Transformer)
트랜스포머(Transformer)는 2017년 구글이 발표한 논문인 "Attention is all you need"에서 나온 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도, 논문의 이름처럼 어텐션(Attention)만으로 구현한 모델
이 모델은 RNN을 사용하지 않고, 인코더-디코더 구조를 설계하였음에도 번역 성능에서도 RNN보다 우수한 성능을 보여줌
허깅페이스(hugging face)
서비스
주요 기능
허깅페이스는 트랜스포머(ransformer)를 기반으로 하는 다양한 모델(transformer.models)과 학습 스크립트(transformer.Trainer)를 구현해 놓은 모듈(module)
transformers.models: 트랜스포머 기반의 다양한 모델을 pytorch, tensorflow 로 각각 구현해놓은 모듈, 각 모델별 tokenizer도 구현되어 있음
transformers.Trainer: 딥러닝 학습 및 평가에 필요한 optimizer, weight updt, learning rate schedul, ckpt, tensorbord, evaluation 등을 수행하는 모듈
학습 스크립트를 모듈화하여 편하게 사용할 수 있음
주요 기능에 바탕한 커뮤니티 ("Thousands of creators work as a community to solve Audio, Vision, and Language with AI.")
청각, 시각, 언어와 관련된 다양한 분야에 대한 인공지능 모델 개발을 위한 커뮤니티 형성 및 협력
유저에게 주는 가치, “We’re on a journey to advance and democratize NLP for everyone”
주요 기능의 측면
Pain point / 불편함: 원래는 파이토치(Pytorch)로 layer, model 등을 선언해주고 학습 스크립트도 전부 구현
Solution: 트랜스포머 모델 사용시 layer, model 등을 선언하거나 학습 스크립트를 구현해야하는 수고를 덜 수 있음.
'transformers' 패키지가 있고, 일반적인 파이토치 구현체의 layer.py, model.py이 transformer.models에, train.py 가 transformer.Trainer에 대응 → layer.py, model.py 는 transformer.models로, train.py 는 transformer.Trainer 로 대응
커뮤니티
유저간 상호작용 뿐만 아니라 자발적인 참여를 통해 주요 기능에 시너지를 더함 (Crowdsending)
유사 스타트업
출처: http://www.oss.kr/news/show/49b12f36-22bb-49e5-9456-53e6699355f4
익스플로전
익스플로전은 스페이시와 상용 주석 툴인 프로디지(Prodigy)의 개발사인 회사이다.
스페이시는 방대한 프로덕션 워크로드를 가볍게 처리할 수 있는 NLP 파이브러리로, BERT와 같은 사전 훈련된 트랜스포머 모델을 기반으로 한 파이프라인을 사용하며 50개 이상의 언어를 지원한다.
익스플로전은 유료 상품인 프로디지를 제공하는데, 이미지, 오디오, 비디오 주석을 위한 포괄적인 지원을 통해 풍부한 표현의 스크립팅 가능한 데이터 집합 주석을 가능하게 한다.
프로디지에는 분류, 전사, 바운딩 박스 및 기타 다양한 용도의 파이프라인 구축을 위한 레시피가 함께 제공되어 데이터 과학자는 더 효율적인 데이터 집합 주석을 할 수 있으며, 이로 인해 더 나은 모델을 만드는 데 따르는 비용이 줄어든다.
존 스노우 랩스
존 스노우 랩스는 오픈소스 NLP 프레임워크인 스파크(Spark) NLP를 관리하는 주체이다.
스파크 NLP는 명명된 개체 인식(NER), 정보 검출, 분류, 감정 분석 등 다양한 NLP 파이프라인에서 사용된다.
스파크 NLP는 대규모 딥러닝 모델(700개 이상)과 400개 이상의 파이프라인을 제공한다.
존 스노우 랩스는 의료 분야 전용인 유료 상품 2개와 의료 분야를 주 영역으로 하면서 다른 영역에서도 사용 가능한 유료 상품 1개를 제공한다.
스파크 NLP는 아파치 스파크의 확장성을 활용하여 용이한 분산 배포가 가능하다.
