"크롤링 위험한 거 아냐?"
CHAPTER 12. 숙박업소 및 채용 플랫폼 간 크롤링 소송 사례 분석
며칠 후 다시 형님과 만났다. 형님은 지난번에 늦었던 것이 미안하셨는지, 오늘은 형님이 먼저 작은 카페에서 차 한 잔을 마시고 계셨다.
강남의 작은 카페는 정갈한 나무 테이블과 흰 벽지로 꾸며져 있었다. 카페 창문 너머로는 봄날의 따뜻한 햇살이 들어와 창가 자리는 햇살을 가득 받을 수 있는 좋은 자리였다. 봄 꽃들의 향기가 살짝 섞인 공기가 코끝을 간지럽혔고, 그 속에서 커피 향기가 흘러나왔다.
카페 안은 부드러운 재즈 음악이 흘러나오며 조용하게 분위기를 조성하고 있었다. 주변을 둘러보니 손님들은 책을 읽거나 노트북을 열고 노트에 글을 쓰는 등 여유로운 시간을 보내고 있었다.
“뭐 마실래?”
“형님 전 오늘은 아메리카노요”
형님이 주문하러 간 사이, 난 카페 창밖을 내다봤다. 봄이 활짝 폈던 도심의 푸른 나무들이 시선을 사로잡았다. 햇빛이 나뭇잎을 빛나게 하고 살랑거리는 바람에 신선한 봄 공기가 카페로 스며들었다. 이런 아늑한 공간에서 가족과 함께 있었다면 더 좋았을 걸이란 아쉬움이 느껴져 가족이 그리워졌다.
나날이 따뜻해지는 계절에 어울리는 이런 카페를 찾는 형님의 안목은 정말로 역시 유통업계 대부답다. 역시 대단하다.
주문한 커피는 이내 내 앞에 놓여졌다. 커피의 향기가 어우러지며, 우리는 서로의 소식을 나누고 크롤링에 대한 이야기를 다시 시작했다.
“이 기사 봤어?”
형님은 스마트폰을 검색하시더니 기사 하나를 보여주셨다. 그건 크롤링 관련해서 합법이냐 불법이냐 논쟁이 있을 때 자주 등장하는 판결 사례였다.
“크롤링 관련해서 소송벌이고 있는 사례가 있는데?”라는 형님의 질문에, 나는 간단한 현황을 설명하며 카페 내부의 분위기에 맞게 천천히 낮은 목소리로 설명을 하기 시작했다. 형님은 호기심을 감추지 않고 내 이야기를 주의 깊게 듣기 시작했다.
“형님 일단 숙박업소 플랫폼 간 크롤링 사건을 아주 쉽게 설명드리면요, 형사소송과 민사소송으로 진행됐는데요. 일단 민사소송에서는 A업체에 올라온 숙박업소 정보 데이터를 B사가 10개월 동안 수집해 자사 플랫폼 영업에 이용한 것은 ‘B사가 크롤링한 데이터는 A사의 상당한 투자나 노력으로 만들어진 성과’로 인정돼서 ‘공정한 상거래 관행이나 경쟁질서에 반하는 방법으로 B사가 자사의 영업행위를 위한 무단으로 A사의 데이터를 사용한 것’으로 판결 났어요. 한마디로 부정경쟁방지법을 위반했다고 결론이 난 거죠. 그런데 형사재판에서는 A사가 서버 접속을 금지하는 등 기술적 조치를 취하지 않은 상황에서 크롤링으로 정보를 수집한 것은 정보통신망에 침입한 것으로 보기 어렵다”고 무죄 판결 났어요.
형님은 깊이 생각에 잠겨 보였다. 형님은 커피를 마시며 내 이야기에 집중하며 듣고 있었다. 난 형님의 호기심을 더 끌어들이기 위해 덧붙였다.
“2011년도에는 채용플랫폼 간 민사소송 건이 있었어요. C사가 D사에 올라온 채용정보를 크롤링해서 자사에 올라오지 않은 기업 구인정보를 수집해서 해당 기업에 연락해 자사에도 올리도록 했다는 것인데요.
여기서는 C사의 크롤링으로 인해 D사의 마케팅 비용이 증가하고 순익이 감소하는 경제직 이익이 침해당했다며 부정경쟁 행위로 판단한 사례예요. 한마디로 크롤링이 위법하다고 판결한 거죠.”
꽤 어려운 이야기일 수 있어 형님이 기사를 충분히 다시 읽어보실 시간을 드려야 했다. 그러면서도 나는 형님의 눈빛과 표정을 살펴가면서 설명하려 설명을 잠시 멈췄다. 형님이 기사를 읽으시며 생각을 하실 동안 나는 주변을 둘러봤다. 카페 내부는 아늑하게 조명이 밝히고, 우아한 재즈 음악이 흘러나오며 향긋한 커피 향이 공간을 가득 채우고 있었다. 봄이라 그런지 창문 밖으로는 싱그러운 녹색 식물들과 예쁜 꽃들이 보이는 인상적인 풍경이 펼쳐져 있었다.
형님이 이내 다시 말을 건네셨다.
“민사소송에서는 크롤링에 대해서 보수적으로 판단하는 것 같네?”
형님은 깊이 생각에 잠겨, 커피잔에 담긴 커피를 마시며 내 이야기를 깊이 생각한 듯 보였다. 난 형님의 호기심을 더 자극하기 위해 계속해서 설명을 이어나갔다.
“형님 그런데 잘 생각해 보면 그럴 수 있어요. 민사소송의 핵심 쟁점에 대해서 말이에요. 민사소송은 민간에서 발생하는 다툼으로 인하여 손해배상이 쟁점이라고 본다면, 기업 간 크롤링으로 인해 한 곳은 이득을 보고, 한 곳이 상대적으로 손해를 봤다면 손해배상 대상이 되지 않을까 하는 상식 선에서 생각할 수 있겠다는 거죠. 형사소송에서 중요한 쟁점은 국가가 형벌권을 행사할 수 있느냐의 문제인데, 요건 좀 다른 얘기 같아요. 앞서 숙박업소 플랫폼 판례에서 봤듯이 크롤링한 회사가 문제야라고 단정하기보다 권한 없는 자가 크롤링을 하지 못하도록 기술적 조치 등을 취했는가에 대해서 살펴본다는 거죠. 기술적 조치를 했음에도 크롤링을 했다면 형사처벌할 수 있다고 본 거라고 생각하지만, 기본적인 파이썬 언어로 누구나 크롤링할 수 있도록 했다면 그것은 형사처벌 대상이라기보다는 민사로 손해배상으로 풀어야 한다고 본 것 아닐까요”
“그럼 무조건 손해배상해야 하는 거 아냐?”
“일단 제가 그 간의 판례들을 보면서 생각을 정리한 것은 이래요. 경쟁사의 정보를 무단으로 가져와서 상업적으로 쓰는 행위 자체는 손해배상에 대한 책임이 있다고 봐야 할 것 같아요. 어쨌든 크롤링으로 경쟁 관계에 있는 회사의 데이터를 가져왔으니, 데이터를 가져온 출처가 E사라고 한다면, E사로 유입될 고객이 데이터를 크롤링해서 가져온 F사로 유입됐다고도 볼 수 있을 여지가 있으니까요. 상식적으로 생각해 보면요. 그런 측면이라면 불리한 것은 맞는 것 같아요”
형님은 내 이야기에 더 심도 있게 고민하고 있었다. 우리는 커피를 마시며 이야기를 나누고, 판례와 법적 쟁점에 대해 깊이 있게 토론하며 시간을 보냈다. 커피의 향긋한 향과 아늑한 분위기 속에서 우리는 크롤링과 관련된 논쟁에 대해 새로운 시각을 얻은 것처럼 느껴졌다.
“그럼 크롤링이 위험한 거 아냐?”
형님은 아직도 크롤링에 대한 의심과 걱정이 남아있는 듯했다. 내가 형님을 설득하기 위해 더욱 신중하고 확실한 설명이 필요했다. 커피를 한 모금 마시고, 그의 눈빛에 집중하여 말했다.
“형님, 크롤링이 위험한 측면도 있을 수 있지만, 그것만으로 크롤링을 무조건 나쁘다고 말할 수는 없어요. 어떤 기술이든 사용하는 방법과 목적에 따라 그 영향력이 달라지는 것이 사실이죠.”
“그건 그렇긴 하지만.... 크롤링은 여전히 논란이 있는 기술인 거 아냐...? 위험성이나 개인정보 침해 문제도 있고...”
“형님 너무 걱정하지 마세요. 크롤링은 세상 속에 널려있는 데이터들을 캐서 가공하는데 크롤링을 사용하면 되니까요! 어떤 기술이든 사용하는 사람에 따라 사람에게 이로운 기술이 될 수 있고, 사람을 해치는 도구가 될 수 있는 거잖아요”
형님은 겁을 먹으신 듯했다. 그럴 수 있다. 하지만 효용성에 대해서 잘 생각해봐야 한다. 그리고 내가 필요한 정보를 경쟁관계에 있는 업체로부터 빼오는 것이 아니라, 방대한 인터넷 속에 뿌려져 있는 원석과도 같은 데이터들을 수집해서 가공하고 그것을 활용할 수 있도록 하는데 크롤링을 사용한다면 그것은 오히려 새로운 비즈니스의 창출 기회가 되지 않을까.
형님은 여전히 의심을 눈초리를 거두지 못하고 미간을 찌푸린 채로 계셨다. 사실 '크롤링 분쟁'은 지금도 앞으로도 뜨거운 감자가 될 것으로 보이지만, 이런 이슈가 지속된다면 법적, 제도적 정비가 이뤄질 것이라 예상해 본다.
“맞아요, 형님. 그런 부분도 무시할 수 없지만, 크롤링이 가진 효용성과 장점을 고려해 보아도 좋아요. 크롤링을 사용하면 방대한 인터넷 데이터들을 빠르고 효율적으로 수집하고 가공할 수 있어요. 예를 들어, 기업들은 경쟁사의 웹사이트가 아니라 다른 분야에서 방대한 데이터들을 크롤링하여 소비자 동향을 파악하고 시장분석을 할 수 있어요. 이런 데이터를 활용하여 새로운 비즈니스 기회를 찾을 수도 있고, 고객에게 더 나은 서비스를 제공할 수도 있어요.”
나는 다양한 산업 분야에서 크롤링이 가지는 효용성과 잠재적인 가능성을 설명하며 형님의 불안한 마음을 달래고자 했다.
“또한, 크롤링은 연구나 학술 분야에서도 귀중한 도구가 될 수 있어요. 인터넷상의 다양한 자료들을 크롤링하여 통계나 패턴을 분석함으로써 새로운 지식을 발견하거나 문제를 해결할 수도 있어요. 이런 관점에서 크롤링은 새로운 연구나 혁신적인 기술 개발을 위한 중요한 도구로서 사용될 수 있어요.”
“그래도 불법적인 크롤링 사례들이 많은 것 같은데...”
“맞아요, 형님. 불법적인 크롤링은 분명히 문제가 있을 수 있어요. 하지만 이런 사례들이 점차 법적, 제도적으로 규제되고 있어요. 기업들과 개인들은 이제 크롤링을 할 때 법률적 쟁점을 고려하고 적법한 방법으로 활용하려고 노력하고 있어요. 또한, 기술의 발전과 함께 데이터보호 기술도 더욱 발전하고 있어서 개인정보 침해 등의 문제를 최소화할 수 있는 방법도 많아지고 있어요.”
나는 형님의 걱정을 이해하면서도 크롤링의 효용성과 잠재성에 대한 긍정적인 면도 강조하여 설명했다. 크롤링은 논란이 있지만, 그것을 적절하게 활용하면 새로운 비즈니스의 창출과 지식의 발견에 큰 도움이 될 수 있다는 점을 강조했다.
크롤링 시 주의사항
크롤링을 할 때 주의사항은 중요합니다. 합법적이고 윤리적인 방법으로 크롤링을 수행하기 위해서는 다음과 같은 주의사항을 염두에 두는 것이 좋습니다
사이트 접근 권한 확인: 크롤링을 수행하기 전에 반드시 해당 웹사이트의 이용약관과 로봇 배제 표준(Robots.txt)을 확인해야 합니다. 이용약관에서 크롤링이 허용되지 않거나 로봇 배제 표준에 따라 크롤링이 금지된 경우 해당 사이트에서 데이터를 수집하는 것은 불법적일 수 있습니다.
저작권 및 개인정보 보호: 크롤링을 통해 데이터를 수집할 때에는 저작권 및 개인정보 보호에 대한 법률을 준수해야 합니다. 다른 사람이 만든 콘텐츠를 무단으로 사용하거나 개인정보를 수집하여 사용하는 것은 불법적이고 무리한 행동입니다.
서버 부하 최소화: 크롤링은 대량의 데이터를 수집하므로 서버에 부하를 주는 요소가 될 수 있습니다. 서버를 과도하게 부하시키는 크롤링은 웹사이트 운영자에게 문제를 야기할 수 있으며, DOS 공격으로 오인될 수도 있습니다. 따라서 적절한 딜레이와 크롤링 빈도를 설정하여 서버에 부하를 최소화하는 것이 중요합니다.
존중과 예의: 크롤링은 웹사이트를 소유하거나 운영하는 사람들의 노력과 투자로 만들어진 데이터를 수집하는 것입니다. 따라서 크롤링을 할 때에는 웹사이트 운영자와 다른 사용자들을 존중하고 예의를 갖추어야 합니다. 과도한 요청이나 악의적인 크롤링 행위는 타인의 웹사이트를 손상시키고 인터넷 생태계에 악영향을 미칠 수 있습니다.
정책 및 법률 준수: 크롤링을 수행할 때에는 해당 국가의 관련 정책과 법률을 준수해야 합니다. 일부 국가에서는 크롤링에 대해 특정한 제한과 규제가 있을 수 있으며, 크롤링이 불법적인 경우 법적 책임을 지게 될 수 있습니다.
테스트와 모니터링: 크롤링을 수행하기 전에 작은 범위에서 테스트를 하고, 크롤링이 원활하게 진행되는지 모니터링하는 것이 좋습니다. 크롤링을 실행하는 동안 에러가 발생하거나 문제가 생기는 경우 적절한 대응을 할 수 있도록 준비해야 합니다.
이러한 주의사항을 염두에 두고 합법적이고 윤리적인 크롤링을 수행하는 것이 중요하며, 적절한 방법으로 데이터를 활용하고 가공하여 원활한 정보 검색과 연구, 비즈니스 분석 등에 활용하면 크롤링은 매우 유용한 도구가 될 수 있습니다.
*매주 월요일 <광화문덕의 수상한 일상코딩>이 연재됩니다.
*많은 관심과 격려, 응원 부탁드려요!
*구독, 댓글, 좋아요는 제게 큰 힘이 됩니다. 감사합니다.
*업무효율화 툴이자, 소상공인 사장님들의 든든한 지원 프로젝트 DXReport도 많이 사랑해 주세요.
*DXRepot : 뉴스 및 구글 자동 모니터 및 키워드 분석, 주식 종목 리포트 모니터, 네이버 블로그 분석 툴
*DXLawReport : 판례 검색 툴
*DXDicReport : 초중고 및 대학생, 직장인들의 영어단어 암기 돕기 위한 툴
