YOLO_003 bigdata.zip

Thanx to NIA

요즘 압축 기술이 참 많이 발전에서 ARJ, LZH, RAR, ALZ, ACE, CAB, Z, UUE 등 수많은 압축 파일 형식이 사라지고, zip과 7z이 시니어 프로그래머 사이의 표준으로 자리 잡았다. 데이터 무결성 검사 전에 zip 무결성 검사가 선행되어야 한다. 실무 필드가 아닌 이론에서 언급은 한 번도 못 봤기에 쓴다.

그래서 bigdata를 다룰 때 ZIP, 7z를 많이 이용하고 7z 가 오픈소스라 많은 회사에서 사실을 숨긴 채 7z의 7z와 zip을 가져다가 자기네 회사가 만든 것처럼 광고를 한다. 사실, 이건 1년 정도 계도 기간을 주고 그때도 오픈소스 사용 고지 제대로 안 하면, 바로 CTO와 대표를 사형시켜야 할 정도의 중대한 사안이다. 성공한 IT에서 조 단위의 돈이 오가고 사회에 끼치는 파급력을 계산했을 때, 꼭 법 개정이 이루어져야 하는 파트다. 내가 삼성전자 있을 때에도 라이선스 제대로 몰라서 부서장들이 물어준 금액은 기본 수십억부터 스타트다. 그렇게 많은 돈을 날려도 변화가 없는 것을 보면, 형사처벌 중 최고형만 한 사회를 변화시킬 수 있는 유일한 방법으로 보인다.

zip, 7z으로 압축된 파일은 정상적으로 zip 파일이 이동이 완료되었는지가 주요 포인트이다.

...

❌ [원천] 음식 404_Tra.zip

크기: 18.0GB

파일 수: 0개

상태: 불완전/손상

메시지: 잘못된 ZIP 파일 (불완전하거나 손상됨)

❌ [원천] 음식 405_Tra.zip

크기: 24.2GB

파일 수: 0개

상태: 불완전/손상

메시지: 잘못된 ZIP 파일 (불완전하거나 손상됨)

✅ [원천] 음식 501_Tra.zip

크기: 13.9GB

파일 수: 59025개

상태: 완료

메시지: 완료됨

✅ [원천] 음식 502_Tra.zip

크기: 13.4GB

파일 수: 53814개

상태: 완료

메시지: 완료됨

✅ [원천] 음식 503_Tra.zip

크기: 15.6GB

파일 수: 55868개

상태: 완료

메시지: 완료됨

======================================================================

검사 결과 요약:

✅ 완료된 파일: 56개

❌ 불완전/손상된 파일: 10개

� 전체 파일: 66개

⚠️ 불완전하거나 손상된 파일이 있습니다. 다시 다운로드하거나 확인이 필요합니다.

소스는

https://github.com/EXCorpDEV/repo_hajunho.slack.com/blob/master/ipynb/isCompelted_zipdownload.py