brunch

매거진 데이터이야기

라이킷 2 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 무명 Dec 19. 2019

위키 이미지 받아오는 api 만들기

aws lambda, api gateway를 이용 + 삽질시 발견한 팁들

[목표]

서비스에 추가될 기능을 위한 api 개발

[삽질 팁]

1. lambda에서 requests 패키지 사용

써보신 분들은 느꼈겠지만 패키지를 import 하기가 번거롭다.

1.1 패키지를 zip으로 업로드

패키지가 많지 않았으므로 처음에는 이 방법으로 진행했다.

"pip install 패키지이름 -t 경로"

를 사용해 패키지를 원하는 경로에 저장하고 zip으로 업로드. 복수개의 패키지시에 모두 하나의 zip 파일로 만들어야 한다. 그리고 업로드 시에 디폴트 파일이 지워지는데 주의해야 함.

https://velog.io/@kykevin/20191209-TIL-AWS-Lambda-3-%EB%9E%8C%EB%8B%A4%EC%97%90%EC%84%9C-python-%ED%8C%A8%ED%82%A4%EC%A7%80-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0-a3k45e2w1e

20191209 TIL - AWS Lambda (3) - 람다에서 python 패키지 사용하기

콘다가 해주던 가상환경 관리....를 어떻게? 만약 내가 람다로 크롤링을 진행하는 함수를 작성하여 실행시켜야 한다고 가정해보자, 처음에 해야할 일은 너무나도 당연하게 가상환경 생성 - 필요한 패키지 설치이다. 하지만 람다는 이미 서버가 돌아가고있고, 돌아가고있는 내 로컬에 서버를 돌리는게 아니니 당연히 람다에서는 셀레늄 같은 패키지가 깔려있지 않다. 그럼 ...

velog.io

1.2 이렇게 boto를 이용해서 바로 사용할 수도 있음.

https://stackoverflow.com/questions/40741282/cannot-use-requests-module-on-aws-lambda

Cannot use Requests-Module on AWS Lambda

I need to do a rest-call within a python script, that runs once per day. I can't pack the "requests" package into my python-package using the AWS Lambdas. I get the error: "Unable to import module '

stackoverflow.com

https://velog.io/@city7310/boto3%EA%B0%80-%EC%9E%90%EA%B2%A9-%EC%A6%9D%EB%AA%85-%EC%A0%95%EB%B3%B4%EB%A5%BC-%EC%96%BB%EC%96%B4%EB%82%B4%EB%8A%94-%EA%B5%AC%EC%A1%B0

boto3가 자격 증명 정보를 얻어내는 구조

AWS의 모든 기능은 API화되어 있다. 이 API들은 페이스북 Graph API의 GraphQL같이 크게 특별한 것 없이, 대부분의 엔지니어에게 익숙한 HTTP API로 만들어져 있다. 이러한 API에 접근하기 위한 HTTP call들을 wrapping해서 Python용 SDK를 만든 것이 botocore고, 이를 더 high-level로 끌어올린 것이...

velog.io

2. lambda - api gateway 배포

레퍼런스가 많아서 어렵지 않다. 그런데 aws 서비스들도 업데이트가 자주 되다 보니 UI나 몇몇 기능들이 자주 바뀌는 듯.

https://blog.algopie.com/aws/aws-lambda%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%9C-api-%EC%84%9C%EB%B9%84%EC%8A%A4-%EB%B0%B0%ED%8F%AC-22-api-gateway/

AWS Lambda를 이용한 API 서비스 배포 (2/2) - API Gateway - Algopie's Blog

Amazon API Gateway는 어떤 규모에서든 개발자가 API를 손쉽게 생성, 게시, 유지 관리, 모니터링 및 보안할 수 있게 해주는 완전관리형 서비스입니다. API Gateway를 사용하면 기존 서비스를 위한 RESTful 엔드포인트 생성할 수 있습니다.

blog.algopie.com

https://docs.aws.amazon.com/ko_kr/apigateway/latest/developerguide/how-to-deploy-api-with-console.html

docs.aws.amazon.com

docs.aws.amazon.com

https://gun0912.tistory.com/63

[AWS]API Gateway - RESTful API만들기

AWS Lambda의 소개 및 서버없이 Restful API서버구성을 만드는 방법이 궁금하시다면 아래 블로그부터 확인하시고 이 글을 따라오시길 권장합니다. [IT/AWS] - [AWS]서버없이 Lambda와 API Gateway로 서버API 만들..

gun0912.tistory.com

https://aws.amazon.com/ko/getting-started/projects/build-serverless-web-app-lambda-apigateway-s3-dynamodb-cognito/module-4/

모듈 4 - Amazon API Gateway와 AWS Lambda를 사용하는 RESTful API

aws.amazon.com

https://grip.news/archives/1397

AWS, Lambda + API Gateway 를 이용한 RESETful API 개발 #1 - GRIP.News

Cloud 서비스를 제공하는 업체 대부분은 Cloud 환경 구축에 주 목적을 On-Premise 환경 그대로 가상화(Virtualization) 하는데 주력했다. 이는 IDC 를 사용하고 있는 고객을 흡수 하기 위한 유일한 선택이었고, 그들(기존 IDC에서 서비스를 운영하는 업체)은 베어메탈 형태로서는...

grip.news

3. api 엔드포인트 설정

"지리적으로 분산된 클라이언트에게는 엣지 최적화 API 엔드포인트가 최적입니다"

"리전 API 엔드포인트는 동일 리전의 클라이언트를 위한 것입니다. EC2 인스턴스를 실행하는 클라이언트가 동일 리전에서 API를 호출하거나 API가 수요가 큰 소수의 클라이언트에게 서비스를 제공하기 위한 것이라면 리전 API는 연결 오버헤드를 줄입니다."

https://docs.aws.amazon.com/ko_kr/apigateway/latest/developerguide/api-gateway-api-endpoint-types.html

docs.aws.amazon.com

docs.aws.amazon.com

4. api 문서화 도구들

문서화는 잘해놓는 게 좋다.

https://yuda.dev/182

api 문서화, 좋은 예시

0. api 자급자족할 때는 딱히 신경쓰지 않았는데, 간만에 다른 사람이 쓸지도 모르는 상황이 돼서, api 문서화를 찾아봤다. 1. swagger https://swagger.io/ 이전 회사에서 쓰던 api 문서화 프레임워크. 베트남..