AI로 일은 잘하게 됐는데, 내 실력도 늘었을까?

특허를 잘 쓰는지, 잘 고치는지

Google Research는 2026년 10월 7일, 같은 해 9월에 나온 NBER 연구를 소개했습니다. 미국 로펌 11곳의 특허 변호사 133명을 대상으로 한 3개월 실험입니다. AI의 도움을 받은 사람에게 전문성이 남는지 물었습니다. [1]

2026년 9월 논문에서 연구진은 133명을 무작위 배정해 90명에게 작성 보조 도구를 제공하고 43명을 대조군으로 뒀습니다. 마지막 검토 과제 완료자는 91명이었습니다. 배정 인원과 평가 완료 인원을 구분해야 합니다. [2]

10일과 90일 무렵에는 특허 초안을 작성하게 했습니다. 90일째에는 오류가 있는 초안을 고치는 과제도 더했습니다. 이때는 양쪽 모두 AI 사용이 금지됐습니다. 별도 로펌의 전문가들이 배정 집단을 모른 채 채점했습니다. 작성과 검토를 나눈 설계가 핵심입니다. [1]

이 논문의 작성 품질 평가에서 AI 집단은 대조군보다 10일째 0.34표준편차, 90일째 0.38표준편차 높았습니다. 추정 개선 폭은 주니어에서 더 컸습니다. 점수 차이의 단위이므로 생산성 34%, 38% 상승을 뜻하지는 않습니다. [2]

도구를 닫았을 때 달라진 결과

AI 없는 검토에서는 앞서 AI를 썼던 경력 7년 이상 시니어가 같은 경력대 대조군보다 0.45표준편차 높은 점수를 받았습니다. 7년 미만 주니어의 평균 효과는 통계적으로 0과 구별되지 않았습니다. 평균 개선도 퇴보도 확인하지 못했습니다. [2]

주니어는 중하위 점수가 줄고 낮은 점수와 비교적 좋은 점수가 늘어나는 양상이었습니다. 이 결과만으로 누가 얼마나 배우거나 잊었는지 판정할 수는 없습니다. 좋아진 산출물과 별개로 학습 결과를 살필 필요가 드러난 셈입니다. [1]

사전 역량시험이 없어 개인별 성장량을 직접 재지는 못했습니다. Google과 거래하는 로펌의 짧은 관찰이라는 한계도 있습니다. Google이 비용을 댄, 동료심사 전 작업논문입니다. 장기 전문성이나 전체 직군의 변화를 확정하기에는 범위가 좁습니다. [2]

검토의 깊이는 어디서 갈렸을까

연구진의 정성 분석에서 시니어는 권리 범위를 좌우하는 부분을 다시 쓰고 수정 이유를 붙이는 모습이 두드러졌습니다. 주니어는 문서 앞부분의 표현을 다듬거나, 문제를 지적한 뒤 수정을 남겨 두는 경향이 있었습니다. 후자는 대조군에서도 관찰됐으므로 AI 때문에 새로 생긴 습관이라고 할 수 없습니다. [1]

이 설명은 가능한 해석입니다. 정성 분석은 LLM을 활용한 탐색이었고 후속 인터뷰는 네 명뿐이었습니다. 검토 방식별로 사람을 무작위 배정한 실험이 아니어서 특정 습관이 학습을 일으켰다고 증명하지는 못합니다. [2]

여기서 생각해 볼 대목은 검토를 했느냐보다 무엇을 판단했느냐입니다. 문장을 매끄럽게 고치는 일, 빠진 항목을 찾는 일, 아예 전제가 잘못됐다고 판단하는 일은 서로 다른 연습입니다. AI의 답을 읽고 고개를 끄덕이는 동안에도 그럴듯한 설명과 타당한 설명을 구별하는 기준은 비어 있을 수 있습니다. 학습을 염두에 둔다면, 내가 바꾼 부분 하나에 어떤 근거가 있었는지부터 확인해 볼 만합니다.

코드를 읽는 일에도 남는 질문

개발 영역에는 2026년에 공개된 별도의 작은 실험이 있습니다. Shen과 Tamkin은 Python 경험이 있지만 Trio 라이브러리는 처음인 52명을 대상으로 AI 도움 여부를 나누고, 작업 뒤 AI 없이 이해도를 평가했습니다. AI 집단의 시험 점수는 낮았고 평균적인 시간 단축은 통계적으로 뚜렷하지 않았습니다. 다만 사용 과정 분석에서는 개념을 묻거나 생성된 코드를 이해하려고 추가 질문한 집단의 성적이 상대적으로 높았습니다. 사용 유형별 인원이 적은 탐색 결과라서 특정 질문법의 효과를 확정할 수는 없습니다. [3]

이 개발 실험은 낯선 도구를 배우는 짧은 과제였고, 특허 실험은 자기 전문 분야에서 일하는 사람들을 관찰했습니다. 두 결과를 이어 붙여 개발자의 장기 실력이 어떻게 변한다고 단정하기는 어렵습니다. 그래도 개발팀에서 확인할 질문은 구체적으로 만들 수 있습니다. AI가 작성한 함수가 테스트를 통과했을 때, 작성자는 그 테스트가 놓친 실패 조건 하나를 설명할 수 있을까요. 팀이 다음에 배워야 할 내용은 그 답에서 더 잘 보일 수 있습니다.

완료한 작업 하나에 설명 하나를 더한다면

실무에서 시도해 볼 방식은 작업 기록에 짧은 판단 기록을 붙이는 것입니다. 이번 변경의 전제는 무엇인지, 다른 선택지를 왜 버렸는지, 어떤 상황에서 틀릴 수 있는지 적어 보는 겁니다. 이는 위 연구가 검증한 훈련법이 아니라 그 구분을 업무에 옮긴 제안입니다. 모든 코드 줄에 설명을 달기보다는, 새로 배운 개념이나 중요한 결정을 하나 고르는 편이 실제로 이어가기 쉽겠습니다.

예를 들어 AI가 재시도 로직을 작성했다면, 실패할 때 다시 호출한다는 설명에서 한 걸음 더 갈 수 있습니다. 첫 요청이 서버에서 처리된 뒤 응답만 사라졌을 때 같은 작업이 두 번 실행되는지, 재시도가 안전하려면 어떤 조건이 필요한지 생각해 보는 것입니다. 먼저 예상한 뒤 작은 테스트로 확인하면, 구현을 받아들인 근거를 남길 수 있습니다. 실제 참가자의 사례가 아니라 개발 업무에 적용해 본 예시입니다.

팀의 리뷰 시간에도 이 기록을 쓸 수 있습니다. 선임이 답을 바로 고쳐 주기 전에 작성자가 선택 이유를 말하고, 리뷰어가 빠진 조건을 보태는 식입니다. 처리한 작업 수 옆에 이번에는 어떤 설명을 혼자 할 수 있게 됐는지도 남겨 봅니다. 몇 번의 리뷰를 지나며 같은 조건을 계속 놓치는지, 다음 변경에서는 먼저 찾아내는지 살피면 교육이 필요한 부분을 구체적으로 이야기할 수 있겠습니다.

업무에서는 도구의 도움을 계속 받더라도, 학습을 확인하는 순간은 잠깐 따로 둘 수 있습니다. 지난번 답을 닫고 비슷한 문제의 원인을 설명하거나 조건 하나를 바꿔 결과를 예상해 보는 정도면 시작할 수 있습니다. 다음 작업의 완료 기록에 “AI로 해결했다”와 함께 “왜 이 방식이 맞는지 설명할 수 있다”가 남는다면, 무엇이 내 실력으로 쌓이고 있는지도 조금씩 보일 것입니다.

참고한 자료

1. Google Research — Does better work always mean better workers? · 2026-10-07. 공식 연구 소개.
2. Autor et al. — Does AI Assistance Enhance or Erode Expertise? Evidence from a Three-Month Field Experiment in Patent Drafting · 2026-09. 전문 75쪽 검토. §3–6; Tables 1·3·4·6; Appendix A2.7.
3. Shen & Tamkin — How AI Impacts Skill Formation · 2026년 arXiv 연구. §4.3, §5.2, §6의 실험·정성 분석을 보조 근거로 확인.