filog
graph
글 목록

AIability

사내에서 간간이 들려온다.

“저 사람은 AI 잘 써요”

AI를 잘 쓰는 사람은 무엇인가. 결과물을 2시간 이내로 만들고, 이를 그럴싸하게 PT 스킬로 포장하여 잘 셀링하는 것일까.

나도 그 기준이 없었다.

이 질문이 분명해진 것은 향로(이동욱)님의 「2025년 CTO 회고」[1]를 읽으면서였다. 한 개발자를 “사내에서 가장 AI를 잘 쓰는 개발자”라고 소개하는 대목에서, 나는 “잘 쓴다”의 기준을 무엇으로 잡아야 할지 떠올려 보려 했지만 손에 잡히는 것이 없었다.

그러면서 품고 있던 의심이 함께 떠올랐다. AI를 잘 쓴다는 것은 새로 생긴 능력이 아니라, 원래 있던 여러 능력을 한데 묶어 부르는 이름일 수 있겠다는 의심.

이 글은 그 기준을 세워 보려는 시도이자, 이 의심에 답해 보려는 기록이다.

1. 널리 퍼진 정의

먼저 조직에서 보편화 된 “AI 잘 쓴다”의 의미를 살펴보자.

① 프롬프트를 잘 쓴다

가장 흔하고, 가장 빨리 부패되는 정의다. 모델 세대가 바뀔 때마다 감가상각되는 스킬을 역량이라고 부르기는 어렵다.

② 도구를 많이 or 오래 쓴다

사용량은 의존도일뿐, 역량이 아니다. 유명 리포트[2][3] 기준 응답자의 약 90%가 업무에 AI를 쓰고, 하루 근무 시간의 4분의 1을 AI와 보낸다.

게다가 많이 쓴다는 게 신뢰한다는 뜻도 아니다. 스택 오버플로우 2025 개발자 설문을 보면, AI 도구의 정확성을 불신한다는 응답이 46%, 신뢰는 33%, “높은 신뢰”는 3% 이다(AI 도입으로 가장 피해를 본 플랫폼에서 나온 수치이니.. 참고만..).

③ 산출물이 많아졌다

Faros AI가 1만 명 이상의 개발자 텔레메트리를 분석한 결과[4], AI를 쓰는 개발자는 완료 태스크도 머지된 PR도 눈에 띄게 늘었다. 머지된 PR은 거의 두 배였다.

그런데 조직 단위 딜리버리 지표는 그대로였다.

개인이 두 배로 뱉어내는데 조직이 내보내는 양이 그대로라면, 늘어난 산출물은 사라진 게 아니라 어딘가에 쌓여 있다는 뜻이다. 대개는 리뷰 앞이다. 같은 분석에서 PR 크기도 크게 늘었는데(연도와 데이터셋에 따라 1.5~2.5배), 리뷰 가능성을 팔아서 속도를 산 셈이다.

④ 본인이 빨라졌다고 느낀(?)다

이건 아예 장을 하나 따로 써야 한다.

2. 감가상각되는 스킬 vs 복리로 쌓이는 스킬

모델 성능이 계속 오른다는 전제하에, 각 하위 스킬의 반감기를 따져보면 이렇게 갈린다.

감가상각 (반감기 6~18개월)

  • 프롬프트 기법
  • 특정 도구 숙련도
  • 컨텍스트 수동 관리 요령
  • 모델별 우회 노하우

복리 (반감기가 길거나 없음)

  • 문제 분해 - 검증 가능한 단위로 자르기
  • 명세 작성 - 요구사항의 모호성 제거
  • 평가 설계 - 무엇이 “맞는 결과”인지 자동으로 판정하는 장치를 만드는 능력
  • 도메인 지식 / 시스템 감각 - AI가 뭘 모르는지 아는 능력
  • 실패 예측

그럼 “AI 잘 쓴다”는 결국 둘 다 잘하는 사람 아닌가? 지금 시점에서 가장 빨라 보이는 사람이 둘 다 잘하는 사람인 건 맞다.

다만 감가상각 쪽은 못해도 6개월 뒤면 문제가 안 된다. 모델이 알아서 메워주는 영역이기 때문이다. 복리 쪽은 반대로, 못하면 시간이 갈수록 격차가 벌어진다.

그러니까 지금의 속도는 두 목록의 합이지만, 1년 뒤에 남아 있는 속도는 복리 쪽 비중이 결정한다.

결국, 조직이 사람을 볼 때 봐야 하는 게 복리 쪽이라는 건, 과거나 AI시대인 지금이나 변함은 없다.

3. 그래서, 최종 정의

여러 뎁스를 거쳐 내린 결론은,

AI를 잘 쓴다 = 자기 작업의 정답 판정을 자동화할 수 있다.

그게 테스트든, 타입 시스템이든, 스테이징 재현이든, 정적 분석 룰이든, 카나리 배포든 상관없다.

판정 장치를 만들 수 없는 영역에서 AI를 쓰는 사람은 속도를 산 게 아니라 부채를 진 것이고, 본인은 그걸 자각하지 못한다.

이걸로 서두의 의심에도 답이 된다.

한편, 위 6장의 목록을 보면 알 수 있듯, “AI를 잘 쓴다”의 구성 요소는 대부분 AI 이전에도 있던 능력이다.

다만 예전에는 이 능력들이 각자 따로 평가받았다면, 지금은 하나의 기준이 이것들을 관통한다. 문제를 잘게 쪼개는 능력은 예전부터 좋은 개발자의 조건이었지만, 달라진 건 쪼개는 기준이다. 예전에는 사람이 이해하기 좋은 단위로 쪼갰다면, 지금은 기계가 판정할 수 있는 단위로 쪼개야 한다. 생성이 공짜가 된 세계에서는 이해 가능성보다 검증 가능성이 먼저다.

그러니까 아무 기준으로나 잘게 쪼개는 건 도움이 안 된다. 쪼갠 각 조각에 대해 “이게 맞는지 기계가 판정할 수 있는가”를 물을 수 있어야 분해가 의미를 갖는다. 새로 생긴 건 능력이 아니라 능력들을 꿰는 기준이다.

4. 앞으로

개인 차원에서는 위 체크리스트를 자기한테 돌려보면 된다. 조직 차원에서는 두 가지다.

① 코드베이스를 AI가 읽을 수 있게 만든다

이건 AI 프로젝트가 아니라 플랫폼 엔지니어링 프로젝트다. 테스트 커버리지, 타입, 모듈 경계, ADR, CI 속도. 재미없지만 일을 줄여주는 건 결국 이쪽이다.

하지만 이는 도메인(금융, 방산 등은 여전히 제약)에 의존하므로, 한계가 있다. 상한을 못 올리는 환경이라면, 최소한 지금 어디로 가고 있는지는 알아야 한다.

② 결과는 데이터로, 원인은 설문으로

위에 나온 지표들은 전부 Git 히스토리와 GitLab/GitHub API만으로 계산 가능하다.

여기서 오해하면 안 되는 게, 설문이 쓸모없다는 뜻이 아니라 결과 측정을 설문으로 하지 말라는 뜻이다.

오히려 설문으로만 얻을 수 있는 게 있다. Git 히스토리에는 하지 않은 시도가 남지 않는다. 버려진 프롬프트, 포기한 접근, 세 번 만에 겨우 나온 결과, AI를 아예 안 쓰기로 한 작업들은 전부 관측 불가다. 이건 사람에게 물어야 나온다.

구분은 이렇다.

설문이 답하는 것Git이 답하는 것
왜 그런가 (원인, 마찰)무슨 일이 일어났는가 (결과, 구조)
어디가 불편한가코드베이스가 어느 방향으로 갔는가
무엇을 안 했는가무엇을 했는가

“AI 도입하고 얼마나 빨라졌나요”는 설문으로 물으면 안 된다. “AI를 안 쓰는 작업이 뭔가요”를 물어야 한다.

지표무엇을 잡아내는가
중복 블록 밀도통합하지 않고 새로 쓰기만 하는 가
moved / copy 비율정리하는 행위가 남아있는 가
2주 내 churn머지 시점의 “통과”가 진짜 -완- ?
MR 크기 분포사람이 실제로 읽을 수 있는 양을 넘었는가
리뷰 소요 시간리뷰가 형식이 되었는 가

이 다섯 개의 공통점은, 전부 “하지 않은 작업”의 흔적이라는 것이다. 무엇을 만들었는지가 아니라 무엇을 생략했는지를 본다.

여기서 중요한 건 절대값이 아니라 변화이다. 우리 조직의 중복 블록 밀도가 업계 평균보다 높은지는 다른 문제다. AI 도구를 전사 도입한 시점 전후로 이 다섯 개가 어느 방향으로 움직였는지를 봐야 한다.

(당연히 지표들은 개인 평가에 쓰면 안되겠다..ㅎㅎ..)

마무리하며

서두에서 없다고 했던 내 기준은, 결국 질문 하나로 정리됐다.

“그게 틀리면, 누가 먼저 알게 되나요?” 답이 사람이면 아직 판정 장치가 없다는 뜻이다.

기계 쪽이 먼저 알게 된다면, 그게 이 글에서 말한 “AI를 잘 쓴다”에 가깝다고 생각한다.

 

이미 AI를 쓰냐고 묻는 시대는 지났다. 이제 남는 질문은 하나일 것 같다.

당신은 당신이 만든 것이 맞다는 걸 어떻게 아는가.

생각해 보면 이건 AI 이전에도 좋은 질문이었다. 다만 AI는 그 질문에 답하지 못하는 비용을 훨씬 빠르게, 그리고 조용히 청구한다.

참고 자료

[1] 향로(이동욱), 「2025년 CTO 회고」, 기억보단 기록을 — https://jojoldu.tistory.com/856

[2] DORA, “State of AI-assisted Software Development 2025” — https://dora.dev/dora-report-2025/

[3] Google Cloud Blog, “Announcing the 2025 DORA Report” — https://cloud.google.com/blog/products/ai-machine-learning/announcing-the-2025-dora-report

[4] Faros AI, “Key Takeaways from the DORA Report 2025” — https://www.faros.ai/blog/key-takeaways-from-the-dora-report-2025

그 외 참고한 자료