Feb 2025 캘리포니아 변호사시험 수기(3)
충격적인 시험 당일
들어가며
February 2025 캘리포니아 Bar 시험은 아주 엉망으로 진행됐다. 기존대로 했으면 됐지 않겠냐 싶지만, 캘리포니아 State Bar Association (이하 "State Bar"라고 한다)는 Feb 2025부터 시험 방식 등에 많은 변화를 시도했고 감당 못할 혼란으로 이어졌다. 앞으로 July 2025 Bar 시험은 다시 in person으로 회귀한다고 하지만 (링크), 언제 다시 remote가 시도될지 모르므로 아래 내용을 참고 차 기록해 둔다.
기존의 State Bar의 시험 방식
시험 개관
원래 캘리포니아 Bar 시험은 (1) MBE 문제를 NCBE에서 구매하고, (2) Essay 및 PT 문제는 State Bar에서 직접 출제하며, (3) State Bar에서 캘리포니아 각지에 시험장을 빌리고 수험생들이 각자의 노트북을 가지고 와서 CBT 방식으로 시험을 치러 왔다.
4지선다 객관식 MBE 문제는 수험생들이 각자 노트북으로 문제를 읽고 선지를 선택했다. Essay는 A4 1페이지 가량의 사실관계와 발문을 확인하면서 그 옆에 있는 답안 입력창에 사례 답안을 입력하였다. PT는 PT는 약식기록에서 파트너 등의 요청/지시사항, 증인신문 녹취록이나 변론 녹취록 등 사실관계 기록, 쟁점에 관한 Case law를 제한된 시간 내에 이해한 다음 이를 활용하여 요청/지시에 따라 Memorandum이나 Brief, Letter, Closing argument 등을 작성하였다. PT는 일종의 논술 시험으로 Bar 시험 범위에서 나오기도 하지만, case law가 주어지기 때문에 암기를 요하는 것은 아니다.
시험 방식
수험생이 직접 시험장에 가서 시험을 치르는 것을 "in person" 방식이라고 한다. 과거 코로나 시절에는 In person으로 시험을 치지 못하니 각자 적당한 장소에서 원격 접속하여 시험을 치르도록 하였는데 이 방식은 "remote" 방식이라고 한다. In person 방식의 State Bar 시험장에 대해서는 아래 링크를 참조하자.
시험 시간
시험 시간은 MBE는 오전 180분 100문제, 오후 180분 100문제씩 두 파트로 나누어 진행되었고, Essay와 PT는 오전 3시간 Essay 3문제와 오후 3시간 30분 Essay 2문제 및 PT 1문제가 치러졌다. 기존 Essay와 PT는 오전 3시간, 오후 3시간 30분이 통으로 주어졌기 때문에 상대적으로 간단한 Essay는 빠르게 쓰고 복잡한 Essay에 시간을 많이 할애한다든지, 오후의 경우 PT에 약 10분의 시간을 더 쓴다든지 하는 시간 운용의 묘가 필요했다.
객관식 출제기관, 시험 방식, 시간 및 감독업체 변경
Kaplan으로 객관식 출제기관 변경
State Bar는 Feb 2025부터 많은 것들을 바꿨다. 예산 부족을 메꾸려는 목적이라고 하는데, (1) 우선 객관식 (이하 Kaplan에서 출제하는 객관식을 의미하므로, MBE가 아니라 Multiple Choice Question의 약자인 "MCQ"라고 한다) 출제기관을 바꿨다. 기존에는 NCBE에서 문제를 사왔으나 Feb 2025부터는 Bar Prep 업체인 Kaplan에게 MCQ 출제를 의뢰했다. Kaplan은 강의를 그만두고 캘리포니아 Bar 객관식 시험을 새롭게 출제할 것이라고 밝혔다. (State Bar 보도자료 링크) 한국 수능시장으로 치면 '종로학원'이 갑자기 "나는 수능 출제 위탁업체다. 올해부터는 강의 안한다."라면서 수능문제를 새롭게 개발하겠다고 나선 상황이나 마찬가지였다.
이때쯤부터 수험생들은 불안감에 휩싸였던 것 같다. Kaplan에서 정말 이상한 방식으로 어렵고, 이상한 것을 묻는 문제가 출제되는 것은 아닌지 의문을 가지기 시작했고, 수험생들은 Kaplan에서 발간된 과거 자료들을 풀기 시작했다. 일부는 Kaplan이 다른 주 변호사시험을 위해 서비스하고 있는 Bar prep을 구독하기 시작했다. 나도 3-4년 전 Kaplan에서 직접 출제한 문제 모음을 구해서 약 700문제 정도 풀었다. 다들 공통적으로 문제가 이상하다거나 nuanced하다는 평이었다. State Bar는 Kaplan에서 이렇게 출제할 것이라는 취지로 샘플 25문제를 공개했는데 이 문제도 그렇게 좋다는 생각이 들지는 않았다.
시험 방식 변경: remote 시험 도입
State Bar에서 가장 파격적으로 도입한 부분인데, 수험생들은 시험장에 가서 시험을 치르는 in person 방식과 각자 자신이 준비한 공간에서 원격 접속하여 시험을 치르는 remote 방식 둘 중 하나를 선택할 수 있게 됐다. in person은 기존과 크게 다르지 않으나, PT 약식기록이 hard copy가 아니라 PDF로 제공되는 것으로 바뀌었다.
Remote는 정말 파격적인 시도인데, 시험 감독업체에서 CBT 프로그램을 제공하면서 동시에 부정행위 방지를 위해 시험 감독업체에서 제공하는 proctor가 수험생 노트북에 접속하여 노트북 카메라를 통해 수험생을 감독할 수 있도록 했다. proctor가 1:1 감독인지 1:n로 감독하는지는 알려지지 않은 것으로 안다. 수험생들 컴퓨터에는 proctor와 언제든 채팅할 수 있는 채팅 프로그램이 설치되었고, proctor는 수험생과 시험 공간을 카메라로 들여다보면서 부정행위 방지를 위한 여러 조치를 주문했다 (수험생이 proctor를 볼 수는 없었다).
수험생은 proctor와 (1) 책상 위 허용 물품 확인, (2) 수험생 손목이나 귀에 별도 장치 착용 확인, (3) 360도 room scan (노트북을 들고 방의 구석구석을 비추며 한 바퀴 걸어다녀야 한다), (4) 핸드폰 전원 off 및 시험 공간 구석에 던져 둔 상태 확인, (5) 책상 밑 확인 등 부정행위 방지를 위한 확인을 거쳐야 시험을 시작할 수 있었다. 시험 중 휴식시간에는 화장실에 갈 수 있었는데 그 경우 위 (1) 내지 (5) 절차 (이하 통칭하여 "room scan"이라고 한다)를 다시 거쳐야 했다.
시험 시간 변경
Feb 2025부터는 (1) MCQ가 기존과 같이 200문제이긴 하였으나 90분에 50문제씩 4번을 치르도록 변경되었고 각 세트 사이에 5분의 휴식시간이 주어졌다. 이때 화장실도 갔다올 수 있다. 기존에는 한 번에 100문제를 푸는 부담이 상당했는데 수험생 입장에서는 50문제씩 끊어서 풀다보니 부담을 덜었다. (2) Essay의 경우 1시간에 1문제를 풀고 답안을 제출하고 5분 휴식하게 되었다. 오전에 3문제, 점심 먹고 오후에 2문제를 풀게 되었다. (3) PT는 1시간 30분 시간이 주어졌다. 일각에서는 오전에 Essay 3문제, 오후에 Essay 2문제와 PT를 묶어서 치는 기존 방식이 더 좋다는 의견도 있으나, 새로운 방식도 풀던 문제를 깔끔하게 끝내고 다시 집중해서 새로운 문제를 풀어나간다는 면에서 나쁘지 않다고 생각했다.
시험 시작시간의 경우 in person은 모든 시험장이 같은 시간에 시작하였으나, remote의 경우 각자 수험생들이 태평양 표준시 기준 오전 7시부터 오전 10시 50분까지 10분 단위로 본인이 시작할 시간을 선택할 수 있었다.
시험 감독업체 변경
State Bar는 "Meazure Learning"이라는 업체를 시험 감독업체로 선정하였다. Meazure Learning은 CBT 프로그램을 제공할 뿐만 아니라, in person 시험을 진행하고 remote 수험생들에게 proctor를 제공하였다. State Bar가 도대체 무슨 이유로 Meazure Learning을 선정했는지 알 수 없으나, 여기서 발생한 여러가지 문제는 후술한다.
시험 전 혼란
Kaplan 문제 오류 및 수정
시험 전에 공개된 25개 문항 중 2개 문항에서 오류가 발견되었다. State Bar는 시험일으로부터 19일 전인 2월 6일경 아무런 공지나 설명 없이 '샘플'이라고 공개한 PDF를 수정하여 게시하였고, 그로부터 며칠이 지나 수험생들이 달라진 부분을 발견하면서 큰 이슈가 되었다. 안그래도 Kaplan의 문제 출제 능력에 의문이 제기되는 상황에서 공식 샘플로 공개한 문제조차 심각한 결함이 있었다는 사실이 밝혀지면서 수험생들의 불안을 가중시켰다.
Remote 시험 시작 시간
State Bar는 remote 수험생도 같은 시간에 시작하는 것처럼 공지해 왔다. 그러나 시험 감독업체인 Meazure Learning은 시험 한 달 전에야 remote taker들에게 메일을 보내, 본인이 시험 시작시간을 선택해야 하고 태평양 표준시 기준 오전 7시부터 오전 10시 50분까지 중에서 고를 수 있다고 알렸다. 이렇게 하는 이유는 Meazure Learning 측에서 같은 시간대에 remote 수험생 모두를 커버할 수 있는 proctor 인력을 확보하기 어렵기 때문이라고 했다. 실제로 Meazure Learning은 시험 이틀 전에 메일을 보내 "사람들이 몰리는 시간대에 예약한 수험생은 proctor가 배정되지 않아 1시간 이상 기다릴 수 있다. 30-40분 미루는 데에 동의한다고 메일 회신을 준다면, 감독업체가 새로운 시간을 정하여 통지해 주겠다."라는 메일을 보내기도 하였다.
이 부분을 잠시 생각해 보면 오전 7시에 시작한 수험생이 Essay 1번 문제를 써내고 이를 휴식시간 중에 다른 수험생들에게 전파할 수도 있다는 것인데, State Bar는 부정행위는 절대로 허용되지 않는다는 취지의 메일만 보내고 별다른 문제가 없다는 입장이다. 많은 수험생들이 부정행위 가능성이 열려있는 시스템에 의문을 가지고 실제로 부정행위가 일어날 것이라는 루머도 돌았다.
비효율적인 Essay 및 PT 인터페이스
기존의 CBT 시험에서는 Essay 문제가 화면 왼쪽에, 답안 입력창이 화면 오른쪽에 위치했었다. 이러면 답안을 작성하면서도 동시에 문제 사실관계를 확인할 수 있어 효율적이고 그렇게 하지 않을 이유가 없다.
그런데 Meazure Learning이 제공한 CBT 인터페이스는 그렇지 않았다. 일단 화면이 왼쪽과 오른쪽으로 나뉘어져 있고, Essay 문제가 화면 왼쪽에 위치한 것은 동일한데, Essay 문제에서 아래로 스크롤로 내려야 비로소 답안을 입력하는 창이 등장했다. 결국 Essay 문제와 답안을 같이 볼 수 없게 되었고, 사실관계에 충실한 답안을 작성하려면 시험 중간중간에 스크롤을 올려서 Essay 사실관계를 확인하고 다시 스크롤을 내려서 답안 작성을 이어나가야 했다.
그러면 화면 오른쪽에는 뭐가 있느냐? 기본적으로 빈 공간이었고 어디 쓰는지 모를 메모장 노트를 열 수 있었다. 노트를 사용하지 않는 한, 화면 오른쪽을 쓸 일이 없이 화면 왼쪽에서 위아래로 스크롤하면서 문제를 풀도록 해놓았다. 물론 화면 왼쪽의 Essay 문제 자체를 copy하여 화면 오른쪽의 노트에 붙여넣은 다음 화면 왼쪽을 스크롤로 내려서 답안 입력창을 띄워놓으면 되긴 했는데, 도대체 이렇게까지 해야 하는 이유를 알 수가 없었다. 무엇보다 후술하는 것처럼 in person 수험생들은 copy & paste가 안되기도 했다. (Meazure Exam Platform Demo)
Meazure Exam Platform Demo 영상 캡쳐: 왼쪽 부분의 위쪽이 Essay Question이고 아래 네모난 박스에 답안을 입력해야 한다.PT는 더 가관이었다. 앞서 언급한대로 Feb 2025부터는 PT 약식기록이 hard copy가 아니라 PDF로 제공되었다. 그러면 PDF가 어디에 띄워지느냐 하면, 원래 문제 및 답안을 입력하는 페이지와 다른 탭이 생기고, 그 다른 탭에서 PDF를 볼 수 있도록 해놨다. 그래서 PT 시험을 칠 때는 마우스로 약식기록 탭과 답안 탭을 오가면서 답안을 작성해야 했다. (Meazure Exam Platform Demo)
Meazure Exam Platform Demo 영상 캡쳐이에 State Bar와 Meazure Learning 측은 부족한 인터페이스를 메꾸려는 심산이었는지 copy & Paste가 가능하도록 해주겠다고 공지하였다. Meazure Exam Platform Demo 4:40에서도 PT에서 copy & paste가 된다고 설명하고 있다. 그러나 시험 당일이 되자 in person 응시자들에게는 copy & paste 기능이 작동하지 않았다. 후술한다.
in person 시험장 확보
in person의 경우 수험생이 직접 시험장을 선택해야 했다. LA 지역의 경우 State Bar는 LA 지역에 여러 시험장을 제공하겠다고 약속했으나, 처음에는 온타리오(캘리포니아)의 단 한 곳만 제공했다가 LA 다운타운 시험장은 시험 일주일 전에서야 추가되었다. 많은 수험생이 이미 온타리오 지역에 숙박을 예약한 상태였고, 멀리 떨어진 곳까지 가서 시험을 응시해야 했다.
시험장 선택 공지도 문제였다. 어느 날 갑자기 reddit에 "hey dude 시험장 선택 가능하네? 빨리 확인해봐"라는 글이 올라왔고 그 글을 본 수험생들은 가까운 시험장을 확보할 수 있었다. 그런 다음에 몇 시간이 지난 다음 시험장 선택은 선착순이고 이제 선택하면 된다는 State Bar 이메일이 도착하였다. State Bar를 믿고 이메일 공지를 기다린 사람은 바보가 되었고, 응시자 사이트에 들어가서 이것저것 눌러본 사람 내지 reddit을 보고 있었던 사람은 보다 유리한 시험장을 선택할 수 있었다.
State Bar의 full refund withdraw 및 free J25 exam 공지
시험 준비와 진행에 여러 혼선이 일어나자 State Bar는 (1) 시험 신청을 fully refund로 철회할 수 있다고 공지했다. 원래 일정 시점 이후에는 fee refund는 불가한데 State Bar는 이번에 특별히 full refund withdrawal을 약속했다. 또한 State Bar는 (2) February 2025 수험생들에게는 July 2025에도 무료로 응시할 수 있게 해주겠다고 이메일을 보냈다. State Bar가 생각하기에도 캘리포니아 Feb 2025 Bar 시험이 제대로 시행되지 않을 것이 확정적으로 보여 시험 전에 갑자기 더 불안감이 가중됐다.
시험 당일 혼란
심각한 remote 연결 불량 및 proctor 교체
그런 불안감 속에서 시험 당일이 밝았고, 시험이 시작되었다. 그런데 자꾸 연결이 끊겼다. 정확히 말하면 인터넷에 연결되어 있고 proctor와의 채팅도 가능한 상태인데, 갑자기 시험 도중 시험 웹 페이지가 멈추더니 "lost connection"이라는 글자 박스가 뜨고 더 이상 페이지를 볼 수가 없었다. 하지만 시험시간은 계속 갔다. 나의 경우 connection이 5번 정도 끊겼는데 그때마다 proctor에게 다급하게 시간 정지를 요청했고 proctor는 1~2분 뒤에 타임 진행을 정지해주었다. 내 경우에는 그래도 양반이었는데 어떤 수험생의 경우에는 로그인을 35번 시도했다가 실패하고 결국 시험을 제대로 못친 사람도 있었다. (링크)
이렇게 lost connection이 발생하면 시험을 감독하던 proctor가 "May I refer to our wonderful technician to solve this issue?"라고 친절하게 물어보고 채팅창에서 나간다. 그리고 채팅창에 technician이 들어와서 내 컴퓨터를 원격 제어하면서 이런저런 조치를 한다. 내 경우에는 시험이 도중에 끊겼을 때마다 복구에 10분에서 20분씩 걸렸고, 그 동안 아무것도 못하고 앉아서 technician이 내 윈도우를 만지고 있는 것을 보고 있을 수밖에 없었다.
더 가관은 technician이 뭔가 문제를 해결하면 다시 proctor에게 refer되는데 기존에 나를 감독하던 proctor가 아니라 '새로운' proctor에게 배정이 되었다. 이렇게 proctor는 본인이 감독하던 수험생에게 연결 문제가 생기면 technician에게 넘기고 그냥 빠지는데 너무 책임감이 없고 감독도 제대로 하지 않을 것 같다는 생각이 들었다.
새로운 proctor가 배정되면 수험생은 다시 "room scan", 즉 (1) 책상 위 허용 물품 확인, (2) 수험생 손목이나 귀에 별도 장치 착용 확인, (3) 360도 room scan (노트북을 들고 방의 구석구석을 비추며 한 바퀴 걸어다녀야 한다), (4) 핸드폰 전원 off 및 시험 공간 구석에 던져 둔 상태 확인, (5) 책상 밑 확인 등 부정행위 방지를 위한 확인을 거쳐야 시험을 재개할 수 있었다. 1시간마다 화장실에 갔다올 때마다 room scan을 하는것도 불편한데, 중간에 connection이 끊기면 시험 도중에 흐름을 전부 끊고 새로운 proctor와 room scan을 해야 했다. 내 경우에는 첫날에만 합쳐서 room scan을 11번은 한 것 같은데, 시험 중간 중간에 흐름을 끊는 연결 오류뿐만 아니라 끝없는 room scan 지옥에 빠진 것 같은 기분에 고통을 받았다.
in person 수험생 copy & paste 먹통
시험 첫째 날은 Essay와 PT를 보는 날이었고, Essay와 PT는 State Bar가 약속한대로 문제나 자료에서 답안 입력 창으로 copy & paste가 되어야만 했다. 특히 PT의 경우 수험생은 주어진 case law의 판례 법리 및 사안을 요약하고, 증거기록상 여러 등장인물의 진술을 요약해서 정리해야 하는데, copy & paste가 되고 안되고는 엄청난 차이가 있다.
내 경우에는 remote로 시험을 치러서 copy & paste가 제대로 작동했다. Essay는 사실관계를 아예 답안에 붙여넣은 다음 하나씩 잘라서 활용하면서 모든 사실관계를 터치해서 답안을 작성할 수 있도록 했고, PT는 약식기록의 case law에서 판시사항 중 중요한 부분을 답안에 copy & paste 해넣고 그 쟁점 관련 증거 (관련자 진술) 부분을 법리 아래에 copy & paste 해넣은 다음, 전체적으로 편집하는 방식으로 답안을 작성했다.
그런데 in person 수험생들의 경우에는 copy & paste가 작동하지 않았다. 특히 PT는 탭을 바꾸면 내용을 볼 수가 없으므로 copy & paste가 안되면 약식기록의 내용을 암기한 다음 답안에 직접 써넣는 식으로 작성할 수밖에 없었다. 영어에 익숙하지 않은 수험생들에게는 절대적으로 불리한 조건이다. 결국 in person 수험생들은 엄청난 손해를 본 셈인데, State Bar는 July 2025에 무료로 한번 더 치게 해주겠다는 방안 이외에 아무런 대책을 내놓지 않고 있다.
in person 시험장 접속 지연
시험 둘째 날은 MCQ를 50문제씩 90분 동안 4번에 걸쳐 푸는 날이었다. 그런데 in person 시험장에서 문제가 생겼다. 2천여 명에 달하는 in person 수험생들이 오전 2시간 동안 시스템 접속이 안되어서 시험을 시작하지 못하였다. 결국 2시간이 지나 시험을 시작하였으나 수험생들은 상당한 정신적인 혼란을 겪었다고 한다. remote의 경우에는 각자 지정한 시간에 시작할 수 있었던 것으로 알고 있고, 내 경우에도 그랬다.
MCQ 시험시간 변경
MCQ는 90분 시험이 4번 반복되면서 치르게 되고, 시험을 시작하기 전에 MCQ Exam 1 내지 4 각 90분이 주어진다는 내용이 떴다. 그런데 오후에 MCQ Exam 3을 시작하자 시험시간이 90분이 아니라 그보다 20분이 더 많은 110분이 표시되었다 (인터페이스 오른쪽 위에 시험시간이 표시된다).
이에 나는 즉시 proctor에게 "시험시간이 원래 나에게 배정된 시간보다 20분이 더 많다. 다른 수험생들도 동일한 시간을 받았는지 확인해 달라. 확인이 안되면 나는 이 시간을 쓸 수가 없다."라고 하였는데, proctor로부터 돌아온 대답은 "I have no information about exam time"이었다. 도대체 시험 감독관이 시험 시간을 모르면 누가 알 수 있는지 싶어서 "then who knows?"라고 물어봤더니 proctor는 시험 시간에 대하여는 관여하지 않으므로, 다른 수험생도 동일한 시간을 받았는지는 확인할 수 없다는 대답한 반복했다.
그래서 나는 90분이 되자마다 시험을 종료시키고 시험에서 나와버렸다. Exam 3의 문제들이 상당히 어려웠고 문제를 푸는 도중에 proctor와 채팅 해야 했으나 어떻게든 90분 내에 풀었다. proctor는 바로 답변하지 않고 1-2분 정도 있다가 답변하곤 하는데 답변을 기다리면서 문제를 풀었다. proctor의 책임감 없는 답변으로 Exam 3 내내 상당한 정신적 스트레스가 가중되었고, 실제 점수도 내가 침착하게 110분을 충분히 썼을 때보다는 당연히 낮게 나올 수밖에 없다고 생각한다.
나중에 알게 된 바로는 in person 시험장에서 둘째 날 시험 시작이 2시간여 늦어지면서 그에 대한 보상으로 점심 이후 시작하는 Exam 3에 20분을 추가로 부여하였다고 한다. 그런데 (1) 나같은 remote 수험생이 in person 시험장 지연과는 무슨 상관이길래 20분을 추가로 부여하였는지 의문이고, (2) 20분을 추가로 부여하였더라도 in person에는 공지를 했으면서 왜 remote 수험생에게는 제대로 공지를 하지 않고 심지어 proctor를 통해 확인도 못하게 만들어놓은 것인지 이해가 되지 않는다. 그냥 이왕 주어진 시간 다 써버릴까 생각도 했었지만, Exam 4에서 갑자기 20분이 차감되어서 나올까봐 (이 사람들은 충분히 그럴 수 있다) 90분에 바로 시험을 종료시켰다.
마치며
Feb 2025 캘리포니아 Bar 시험은 그야말로 내가 쳐본 시험들 중 가장 엉망이었다. 시험 후 한 달이 지난 지금까지도 임시 변호사 자격 부여, 수험생에게 유리한 커브로 점수 환산 등 여러 대책을 논의하고 있는 중으로 아는데 State Bar에서 적절한 remedy를 찾아주길 바라고, 개인적으로는 5월에 그냥 바로 합격하고 싶다.
