서비스 개선 효과 검증

새 안내문과 바뀐 신청 절차를 전 지점에 한꺼번에 적용했다가, 예상하지 못한 문의가 몰려 되돌린 경험이 있다면 순서를 바꿀 때입니다. 한국서비스연구소는 개선안을 작게 적용해 보고 효과를 확인한 뒤 넓힙니다.

한국서비스연구소의 개선안 실험과 효과 검증은 연구에서 도출한 개선안을 실제 운영에 적용하고 변화를 확인합니다. 시범 운영의 범위와 평가 기준을 설정하고, 안내문·신청 절차·업무 방식의 개선안을 검토하며, 적용 전후의 이용 경험과 운영 결과를 비교합니다.

직원 업무 부담과 비용의 변화도 함께 분석해 확대 적용 여부와 후속 개선 과제를 제안합니다. 연구소는 2022년 6월 운영 데이터 기반의 개선 효과 검증을 넓혀 이용 경험과 직원 업무 부담을 함께 평가하고 있습니다.

서비스 개선안이 효과가 있는지 언제 알 수 있나요?

전면 적용 전에, 작은 범위의 실제 운영에서 확인할 때 알 수 있습니다.

회의실에서 좋아 보인 개선안이 현장에서 그대로 작동하는 경우는 많지 않습니다. 새 안내문이 이해되지 않거나, 줄인 신청 단계가 뒤편의 확인 업무를 늘리거나, 한 창구의 개선이 옆 창구의 대기를 늘리는 식의 부작용은 실제 운영 조건에서야 드러납니다.

한국서비스연구소가 개선안을 실제 운영에 적용해 변화를 확인하는 이유입니다. 연구소의 페르소나가 말하듯 개선안을 실제 현장에서 시험하고 그 결과를 다시 연구에 반영하는 것이 서비스 연구의 마지막 단계이자 다음 연구의 출발점입니다.

시범 운영의 범위와 평가 기준은 어떻게 정하나요?

어디에서, 얼마 동안, 무엇이 달라지면 성공으로 볼지를 미리 적어 둡니다.

시범 운영 전에 정해 두는 것
정할 것	묻는 질문	정해 두는 이유
적용 범위	어느 지점, 어느 채널, 어느 이용자에게 적용하는가	비교할 대상과 영향 범위를 분명히 함
기간	효과가 나타나기에 충분한 기간인가	초기 혼란만 보고 판단하지 않음
평가 기준	무엇이 얼마나 달라지면 효과로 볼 것인가	결과를 본 뒤 기준을 바꾸지 않음
비교 기준	적용 전 상태나 적용하지 않은 곳과 어떻게 비교하는가	다른 요인의 영향과 구분
중단 조건	어떤 문제가 생기면 멈출 것인가	이용자 피해를 막음

평가 기준을 시범 운영 전에 정해 두는 것은 실증성과 독립성을 지키는 방법이기도 합니다. 결과를 본 뒤 유리한 지표만 골라 보고하면 검증이 아니라 홍보가 됩니다.

적용 전후를 비교할 때 무엇을 재나요?

이용 경험, 운영 결과, 직원 업무 부담, 비용의 네 갈래를 함께 잽니다.

적용 전후 비교 항목
영역	비교하는 것	자료
이용 경험	목적 달성, 이해도, 불편, 만족	설문조사, 인터뷰, 이용 과정 분석
운영 결과	처리 시간, 오류, 완료율, 재문의	운영 데이터
직원 업무 부담	업무량, 재작업, 확인 연락	업무 절차 분석, 직원 인터뷰
비용	인력, 시간, 시스템 운영에 드는 자원	운영 기록

한국서비스연구소는 안내문, 신청 절차, 업무 방식처럼 서로 다른 성격의 개선안을 검토할 때도 이 네 갈래를 함께 봅니다. 안내문 개선은 이용 경험에, 업무 방식 개선은 직원 업무 부담에 먼저 효과가 나타나기 쉽지만, 한쪽의 개선이 다른 쪽의 비용을 늘리지 않았는지까지 확인해야 합니다.

전후 비교만으로 효과라고 말할 수 있나요?

같은 기간에 달라진 다른 요인을 함께 살펴야 합니다.

적용 뒤에 처리 시간이 줄었다고 해서 모두 개선안의 효과라고 단정할 수는 없습니다. 같은 기간에 이용자 수가 줄었거나, 계절에 따라 문의 유형이 달라졌거나, 인력이 늘었을 수 있습니다. 그래서 적용하지 않은 지점이나 채널과 함께 비교하거나, 적용 전 여러 기간의 추이를 함께 보는 방법이 쓰입니다.

정책 평가 분야의 지침도 같은 점을 강조합니다. 영국 재무부의 평가 지침인 마젠타 북(Magenta Book)은 평가를 과정 평가, 영향 평가, 비용 대비 가치 평가로 나누어, 개선안이 계획대로 실행되었는지와 실제로 차이를 만들었는지와 그 비용이 타당한지를 따로 묻습니다. 한국서비스연구소의 검증도 개선안이 현장에서 계획대로 적용되었는지부터 확인합니다. 적용이 제대로 되지 않았다면 효과가 없다는 결론은 개선안이 아니라 실행의 문제일 수 있기 때문입니다.

직원 업무 부담과 비용 변화는 왜 함께 따지나요?

이용자에게 좋은 개선안도 현장이 감당할 수 없으면 오래가지 못합니다.

지속 가능성은 한국서비스연구소의 핵심 가치이며, 이용 편의가 좋아진 만큼 인력과 비용, 업무 부담이 감당할 만한지를 함께 묻는 기준입니다. 시범 운영 기간에는 직원이 추가 설명이나 확인에 쓰는 시간, 새 절차에 익숙해지는 동안의 재작업, 시스템 운영에 드는 자원을 함께 기록합니다. 이용자의 편의가 크게 좋아졌더라도 직원 부담이 감당하기 어려운 수준이라면, 확대 전에 업무 방식을 먼저 조정하는 후속 과제를 제안합니다.

확대 적용할지 멈출지는 어떻게 판단하나요?

미리 정한 평가 기준에 따라 확대, 조정 후 확대, 중단 가운데 하나를 제안합니다.

시범 운영이 끝나면 한국서비스연구소는 미리 정한 평가 기준에 비추어 결과를 판단하고 확대 적용 여부와 후속 개선 과제를 제안합니다. 효과가 뚜렷하고 부담이 감당할 만하면 확대를, 효과는 있지만 특정 이용자 유형이나 지점에서 문제가 드러났다면 조정 후 확대를, 효과가 확인되지 않았다면 원인을 다시 분석하는 방향을 제시합니다. 확대한 뒤에도 같은 지표로 다시 확인해 효과가 유지되는지를 봅니다.

행동과 제도를 바꾸는 개선안은 어떤 틀로 검증하나요?

문제를 행동 단위로 나누고, 개입을 설계하고, 변화를 측정하는 틀이 있습니다.

경제협력개발기구(OECD)가 2019년 펴낸 행동 통찰 적용 도구 BASIC은 행동(Behaviour), 분석(Analysis), 전략(Strategies), 개입(Intervention), 변화(Change)의 다섯 단계로 문제가 되는 행동을 정의하고, 원인을 분석하고, 개입 전략을 세우고, 개입을 시험하고, 변화를 확인하는 과정을 제시합니다. 안내문의 문구나 신청 단계의 순서처럼 작은 변화로 이용자의 행동을 바꾸려는 개선안에 참고할 수 있는 틀입니다. 한국서비스연구소는 이런 틀을 참고하되, 이용자의 행동과 함께 현장 업무와 비용의 변화를 한 번에 보는 방식으로 검증을 설계합니다.