2.4.1 Wasserstein Distance

Wasserstein Distance(WD)는 최적수송(optimal transport) 이론에 기반하여 두 확률분포 간 차이를 측정하는 지표로, Kantorovich(1942)가 제안한 최적수송 문제로부터 도출되었다. 이 측정치는 분포 간 누적 차이를 전역적(global)으로 평가한다는 특징으로 인해, 단순 거리 측정이나 정보 이론 기반 지표 대비 안정적이고 직관적인 해석이 가능한 것으로 알려져 있다(Arjovsky et al., 2017). WD 는 생성모델 평가에서 표준적으로 사용되며, p-차 Wasserstein Distance 의 형태로 일반화된다. 본 연구는 계산 효율성을 고려하여 p=1인 1-Wasserstein Distance 를 적용하였으며, 수학적 정의는 다음과 같다:

• P, Q: 비교하려는 두 확률분포

• Π(P, Q): P와 Q를 주변분포로 하는 모든 결합분포의 집합

• γ: 각 점을 얼마나 ‘이동시켜야’ 두 분포가 같아지는지를 나타내는 최적 운송 계획

• |x - y|: 두 점 간의 거리

여기서 P와 Q는 비교 대상인 두 확률분포를 의미하며, Π(P, Q)는 P와 Q를 주변분포로 갖는 결합분포의 집합, γ는 두 분포 간 최적 운송 계획(optimal transport plan)을 나타낸다. 이 지표는 흔히 Earth Mover's Distance (EMD)라고도 불리는데, 이는 한 분포를 다른 분포로 변환하는데 필요한 최소 이동 비용을 의미한다는 점에서 직관적인 해석이 가능하다.

2.4.2 Jensen-Shannon Divergence

Jensen-Shannon Divergence(JSD)는 Kullback-Leibler Divergence(KLD)의 비대칭성과 불안정성 문제를 해결하기 위해 Lin(1991)이 제안한 대칭적 분포 거리 측정치이다. 정보 이론에 기초하여 두 확률분포 간 정보량 차이를 정규화된 값(0~1)으로 산출하며, 생성모델(GAN, VAE 등)의 성능 평가에 광범위하게 사용된다. 확률분포 P와 Q에 JSD 는 다음과 같이 정의된다:

단, $M = \frac{1}{2}(P + Q)$

D_KL(P||Q)는 Kullback-Leibler Divergence 로, 다음과 같이 정의가 가능하다:

각 기호의 의미는 다음과 같다:

• P, Q: 비교 대상 확률분포

• M: P, Q의 평균분포

• D_KL: Kullback-Leibler Divergence

• log: 밑 2 사용 (정보량 단위: bit)

여기서 D_KL(P||M)과 D_KL(Q||M)은 각 분포와 평균분포 M간 차이를 측정한다. JSD 는 [0,1] 범위의 값을 가지며, 0에 근접할수록 두 분포의 정적 유사성이 높음을 나타낸다. WD 가 분포 간 기 통계학적 거리를 평가한다면, JSD 는 정보 이론적 관점에서 분포 간 이질성을 측정하는 데 유용하다. 두 지표는 값이 작을수록 높은 분포 유사성을 나타내며, 상호보완적 평가가 가능하다.

2.4.3 평가 기준 설정 및 적용

합성 데이터의 품질 평가는 생성모델의 신뢰성을 담보하는 핵심 과제이나, 보편적으로 합의된 평가 기준은 부재한 상황이다. Stenger et al.(2024)이 지적한 바와 같이, 명확한 기준 부재로 인해 평가 기준은 개별 연구 맥락에 따라 설정되고 있다. Pezoulas et al.(2024)은 헬스케어 합성 데이터 생성 방법에 대한 체계적 문헌고찰을 통해, 데이터 충실성(fidelity) 평가를 위해 WD, JSD, KLD, KS-test, MMD 등 다수의 분포 유사성 지표를 병행 활용할 것을 제안하였다. 특히 범주형 변수를 포함한 의료 데이터 평가에서 WD 와 JSD 가 원본 데이터의 통계적 특성 보존 정도를 측정하는 주요 지표로 사용됨을 확인하였다. 그러나 명확한 임계치는 제시되지 않았으며, 데이터 특성과 정책 맥락에 따른 상대적 비교가 일반적이다.

본 연구 데이터는 대부분 이진 변수로 구성되어 있어 연속형 변수 대비 높은 유사성 달성이 가능하며, 복지 정책의 민감성을 고려할 때 더욱 엄격한 기준 적용이 필요하다.

이에 따라 JSD 는 0.1% 수준(≤0.001), WD 는 1% 수준(≤0.01)을 ‘매우 우수’ 기준으로 설정하였으며, 구체적인 평가 등급은 표 1

3.1.1 데이터 개요

분석 대상은 2018년 1월부터 2023년 11월까지 약 6년간 축적된 복지위기정보로, 총 3,280,593건의 관측치와 45개 변수로 구성되어 있다. 데이터는 시스템 운영 주기를 반영하여 격월 단위(1월, 3월, 5월, 7월, 9월, 11월)로 수집되었다.

연도별 분포를 보면 2020년(811,041건)이 가장 많으며, 이는 코로나19 팬데믹으로 인한 복지 수요 증가와 관련이 있는 것으로 해석된다. 반면 2023년에는 복지대상자 비율이 18.05%로 급격히 낮아졌는데, 이는 정책 변화, 경제 회복, 발굴 시스템 정교화 등 복합적 요인에 기인한 것으로 추정된다. 전체적으로 복지대상자 여부를 나타내는 종속변수(TARGET)는 비대상자 76.83%, 대상자 23.17%의 불균형 분포를 보였다.

3.1.2 데이터 구조

데이터는 격월 단위로 축적되어 있으며, 일부 시점에서는 정책 변화로 인해 과거 데이터에 일부 변수가 존재하지 않는다. 분석에 사용된 주요 변수는 표 3

3.1.3 데이터 전처리

본 연구 데이터는 연령(AGE)를 제외한 대부분이 범주형 변수로 구성되어 있어 정규화나 스케일링을 적용하지 않았다. 트리 기반 예측 알고리즘(Random Forest, XGBoost, LightGBM)은 분기 기준으로 학습하므로 정규화의 영향이 미미하기 때문이다(Ouameur et al., 2020). 성별(GENDER)과 지역(REGION)은 숫자형 명목척도로 제공되어 별도 인코딩을 수행하지 않고 사용하였으며, V28~V40 변수는 TVAE 기반 조건부 생성으로 보완하였다. AGE 의 0값은 행정 시스템 입력 특성으로 판단하여 원본을 유지하였다.

3.1.4 변수 도입에 따른 결측 구조

분석에 활용한 전체 데이터셋은 연도별로 상이하게 수집된 행정 변수를 포함한 표형 데이터(Tabular Data)이다. 결측값이 포함된 전체 데이터셋을 도식화라면 표 4

V28은 2018년 11월부터 최초로 수집되었으며, V32~V34는 2019년 11월부터, V35, V36은 2021년 01월부터, V37~V40은 2022년 11월부터 변수군이 순차적으로 수집되었다. 본 연구에서는 분석의 체계성과 효율성을 제고하기 위하여 변수 수집 시점을 기준으로 A, B, C, D 의 4개 그룹으로 묶음처리(bundling) 하였다.

이는 단순 결측이 아니라 정책적 우선순위와 인프라 한계로 인해 기록되지 못한 ‘관측되지 않은 실재 정보(unobserved reality)’에 해당한다. 따라서 평균 대치나 KNN 대치와 같은 전통적 방법은 변수 자체가 존재하지 않았던 시점을 반영하지 못해 왜곡을 초래할 수 있다. 이에 본 연구는 TVAE 모델을 활용해 후행 연도 변수 값을 조건부 학습하고, 이를 선행 연도 데이터에 생성하는 방식으로 과거 데이터에서 일부 변수가 존재하지 않는 상황을 보완하였다.

3.3.1 TVAE 구조

본 연구는 Xu et al.(2019)이 제안한 TVAE(Tabular Variational Auto Encoder)를 기반으로 데이터 특성에 맞게 조정한 구조를 설계하였다. TVAE 는 표 형태 데이터의 특성을 고려한 VAE 변형 모델로, 연속형과 범주형 변수를 동시에 처리할 수 있는 구조를 갖추고 있다.

인코더는 2층 완전연결 신경망으로 구성되며, 40차원 입력 데이터를 128차원 은닉층 두 개를 거쳐 16차원 잠재공간으로 압축한다. 구체적으로, 첫 번째 은닉층은 입력을 128차원으로 변환하며, 두 번째 은닉층에서 동일한 차원을 유지한 후, 최종적으로 잠재공간의 평균 μ와 로그 분산 log σ^2를 각각 16차원 벡터로 출력한다. 각 은닉층에는 ReLU 활성화 함수를 적용하여 비선형성을 확보하였다. 디코더는 인코더와 대칭 구조를 가지며, 16차원 잠재변수 z 를 입력받아 128차원 은닉층 두 개를 통과한 후 40차원 출력을 생성한다. 각 은닉층에 ReLU 활성화 함수를 적용하였으며, 최종 출력층은 활성화 함수 없이 선형 변환만 수행한다. 이는 연속형 변수와 범주형 변수를 통합적으로 처리하기 위한 구조로, 범주형 변수의 경우 후처리 단계에서 반올림과 유효 범위 클리핑을 통해 정수 범주로 변환된다.

VAE 의 핵심인 확률적 잠재변수 모델링을 위해, 사전분포 p(z)는 표준정규분포 N(0, I)로 설정하였으며, 사후근사 q(z|x)는 대각 공분산 행렬을 갖는 가우시안 분포 N(μ(x), σ^2(x)I)로 모델링하였다. 잠재변수 샘플링 시에는 Kingma & Welling (2014)의 재매개변수 기법(reparameterization trick)을 적용하여 $z = \mu + \sigma \odot \epsilon (\epsilon \sim N(0,I))$ 방식으로 구현함으로써 기울기 역전파가 가능하도록 하였다. 손실함수는 재구성 손실과 KL divergence 의 가중합으로 구성된다. 재구성 손실은 원본 데이터와 복원 데이터 간의 평균제곱오차(MSE)로 계산하며, KL divergence 는 근사 사후분포와 사전분포 간의 차이를 측정한다. 두 손실항의 균형을 위한 KL 가중치 β는 1.0으로 고정하여 표준 VAE 구조를 따랐다.

학습 시에는 Adam optimizer 를 사용하였으며, 학습률은 1e-3으로 설정하였다. Adam 의 모멘텀 계수는 β_1=0.9, β_2=0.999로 Py Torch 기본값을 유지하였다. 배치 크기는 GPU 메모리 효율성을 고려하여 500으로 설정하였으며, 전체 학습은 200 에포크 동안 수행하였다. 모든 실험에서 동일한 조건을 적용하여 재현 가능성을 확보하였으며, 조기 종료나 학습률 스케줄링은 적용하지 않았다.

원 논문(Xu et al., 2019)은 잠재차원 128, 인코더/디코더 각 3층(256-256-256) 구조를 제안하였으나, 본 연구는 잠재차원 16, 2층(128-128) 구조로 축소하였다. 이는 본 연구 데이터가 40개 변수로 구성되어 원 논문 대상(108차원 이상)보다 상대적으로 저차원이므로, 과도한 모델 복잡도가 불필요하다고 판단했기 때문이다. 축소된 구조는 학습 효율성을 높이면서도 데이터 표현력을 충분히 확보할 수 있는 적정 수준으로 설계되었다.

3.3.2 분류모형 구조

본 연구의 분류 단계에서는 TVAE 를 통해 복원된 데이터를 입력으로 하여 트리 기반 앙상블 알고리즘을 활용하였다. 복지행정 데이터는 연속형과 범주형 변수가 혼재하고 변수 간 상호작용이 비선형적이며, 결측 대치 및 합성 과정에서 변수 간 상관구조가 복잡하게 형성되는 특성을 갖는다. 이러한 표 형태(tabular) 데이터의 특성상 딥러닝 기반 신경망보다 트리 계열 모델이 상대적으로 높은 예측 안정성과 해석 가능성을 제공한다는 연구 결과가 다수 보고되고 있다.

Shwartz-Ziv & Armon(2021)은 다양한 표형 데이터셋을 대상으로 한 실험을 통해 XGBoost 가 딥러닝 기반 모델보다 일관되게 우수한 성능을 보이며 하이퍼파라미터 튜닝의 민감도가 낮음을 확인하였다. Grinsztajn et al.(2022)은 45개의 표형 데이터셋을 분석한 결과 분류와 회귀 과제 모두에서 XGBoost 가 가장 높은 성능을 보였으며, Res Net 과 MLP 는 상대적으로 낮은 성능을 나타냈다고 보고하였다. Borisov et al.(2022)의 서베이 연구 또한 표형 데이터 영역에서 딥러닝이 GBDT(Gradient Boosting Decision Tree)보다 우세하지 않음을 시사하였다.

따라서 본 연구에서는 표형 데이터의 구조적 특성과 정책적 활용 목적을 고려하여, 트리기반 GBDT 계열(XGBoost, LightGBM)과 앙상블(Random Forest) 모델을 중심으로 분류모형을 설계하였다. 이러한 구성은 모델의 예측 성능과 해석 가능성 간의 균형을 확보하면서, 복지 사각지대 탐지라는 실무적 문제에 대한 적용 가능성을 극대화하기 위함이다. 알고리즘별 주요 파라미터 설정은 표 6

3.4.1 합성데이터 실험 설계

본 연구는 합성 데이터의 신뢰성과 모형의 시계열적 일관성을 검증하기 위해, (1) 합성데이터의 통계적 동등성 검증, (2) 결합비율 민감도 분석, (3) 시간대별 안정성(Time-block drift) 평가의 세 단계로 강건성 검증 실험을 설계하였다. 특히, 미래 시점의 정보가 과거 데이터의 대치에 사용되는 것을 방지하기 위해, 합성 과정 전반에 시간 분할(Time-split) 기반의 단계적 학습 절차를 적용하였다. 즉, 각 변수군이 최초로 도입된 시점의 데이터만을 사용하여 TVAE 를 학습하고, 그 이전 시점의 데이터에 한해 결측 대치를 수행하였다. 구체적인 시간 분할 기준은 다음과 같다.

▪ V29~V34 생성: 2019년 11월 시점부터의 데이터(V1~V34)로 TVAE 학습

▪ V35~V36 생성: 2021년 01월 시점부터의 데이터(V1~V36)로 TVAE 학습

▪ V37~V40 생성: 2022년 11월 시점부터의 데이터(V1~V40)로 TVAE 학습

이와 같이, 각 변수군별 TVAE 모델은 ‘변수가 관측된 시점’을 기준으로 학습되었다.

3.4.2 합성데이터 결합비율 민감도 분석

합성 데이터와 원본 데이터의 결합이 모델 성능에 미치는 영향을 체계적으로 평가하기 위해, Period 별 데이터를 순차적으로 누적하는 민감도 분석을 수행하였다. 이는 TVAE 로 대치된 과거 데이터의 결합 비율이 예측 성능에 어떠한 영향을 미치는지 검증하기 위한 것이다. 실험은 네 가지 테스트 케이스로 구성하였다. Test 1은 Period 4(2022년 11월 이후, P4)의 순수 원본 데이터만을 사용하였으며, Test 2는 Period 4에 TVAE 로 대치된 Period 3(2021년 11월~2022년 10월, P4+ P3) 데이터를 추가하였다. Test 3은 Period 2(2020년 11월~2021년 10월, P4+P3+P2)까지, Test 4는 Period 1(2018년 11월~2020년 10월, P4+P3+P2+P1)까지 대치 데이터를 누적 결합하였다.

이러한 설계를 통해, 합성데이터의 누적 비율이 예측 성능에 미치는 영향을 단계별로 정량 비교할 수 있도록 하였다. 본 연구의 시계열 행정데이터는 연도별로 신규 변수(V29~V40)가 점진적으로 추가되어, 과거 기간일수록 구조적 결측 비율이 높아지는 특성을 보였다. 결측률은 Period3 약 8.9%, Period2 약 13.3%, Period1 약 20.8%로 확인되었으며, 이는 각각 합성데이터 보완이 약 10%, 20%, 30% 수준으로 요구되는 환경에 해당한다. 따라서 본 연구는 인위적인 비율 조작 없이 실제 행정데이터의 누적 결측 패턴을 활용하여 합성비율 민감도 실험(Test 1~4)을 자연스럽게 구현하였다.

3.4.3 시간 블록별 안정성 평가

연구 데이터는 2018년부터 2023년까지 수집되었으며, 이 기간 동안 복지 정책 변화 및 신청자 특성의 시간적 변화가 존재할 수 있다. 이러한 시계열적 특성을 고려하여, 합성 데이터 기반 모델의 시간 경과에 따른 예측 안정성을 검증하기 위해 시간 블록 분할(time-block split) 검증을 추가로 수행하였다. 본 연구의 주요 실험(Phase 1, Phase 2)에서는 복지 사각지대 신청자 데이터의 특성을 고려하여 층화 교차검증(Stratified Cross-Validation)을 적용하였다. 이는 복지 신청자가 매년 자격 심사를 받아 연도별로 독립적인 관측치로 간주될 수 있으며, 계층별(수급 여부) 비율을 유지하면서 무작위 분할하는 것이 모델의 일반화 성능 평가에 적합하기 때문이다. 그러나 시간에 따른 데이터 분포 변화(concept drift)나 정책 환경의 변화가 모델 성능에 미치는 영향을 추가적으로 검증하기 위해, 시간 순서를 보존한 블록 분할 방식을 적용하였다.

▪ 학습(Train) 블록: 2018년 01월~2022년 10월(TVAE 대치 데이터 포함)

▪ 평가(Test) 블록: 2022년 11월~2023년 11월(TVAE 대치 데이터 포함)

시간 블록 분할 검증은 모든 Period 의 합성 데이터 대치가 완료된 후 수행되었다. 구체적으로, 학습(Train) 블록은 2018년 1월부터 2022년 10월까지의 데이터로 구성하였으며, 이 중 Period 1~3의 결측값은 TVAE 로 대치된 데이터를 포함한다. 평가(Test) 블록은 2022년 11월부터 2023년 11월까지의 데이터로 설정하였으며, 이 구간 역시 Period 4 이전의 변수에 대해 TVAE 대치가 적용된 상태이다. 이러한 설계를 통해 과거 데이터로 학습한 모델이 미래 시점의 데이터에 대해 안정적인 예측 성능을 유지하는지 평가하였다. 이를 통해 모델의 시계열적 강건성을 확인하였다.

4.1.1 실험 방법

본 절에서는 Phase 1의 실험 방법을 상세히 기술한다. 분석에는 최종 Period 4(2022년 11월 이후)의 무결측 데이터를 활용하였으며, 데이터 규모는 828,938건, 45개 변수로 구성되어 있다. 복지대상자 비율은 18.67%였으며, 클래스 불균형은 원래의 분포를 그대로 유지하였다. 변수 확장 시나리오는 실제 정부의 위기정보 확장 정책을 반영하여 다음과 같이 설정하였다.

▪ 시나리오 1: A, B 그룹(기본위기정보 30종, V1~V30)

▪ 시나리오 2: A, B, C 그룹(추가위기정보 5종, V1~V35)

▪ 시나리오 3: A, B, C, D 그룹(전체위기정보 40종, V1~V40)

모델링 알고리즘으로는 랜덤포레스트(Random Forest), XGBoost, LightGBM 의 세 가지 앙상블 기법을 적용하였다. 이들은 모두 트리 기반의 분류 알고리즘이자 앙상블 알고리즘으로써, 비선형적 변수 관계와 다중 상호작용을 효과적으로 포착할 수 있는 장점이 있다. 이는 정책 변수와 같이 범주형·연속형이 혼합된 데이터 구조에서도 안정적인 성능을 보임을 시사한다. 평가 방법은 3-fold 층화 교차검증(Stratified K-fold Cross Validation)을 적용하여 모델의 일반화 성능을 확보하였다. 평가지표는 복지사각지대 해소라는 정책적 목표를 반영하여 재현율(Recall)을 핵심 지표로 삼았으며, 정확도(Accuracy), 정밀도(Precision), F1-Score, ROC-AUC 를 보조 지표로 활용하였다. 이를 도식화하여 나타내면 그림 3과 같이 나타낼 수 있다.

4.1.2 실험 결과

Phase 1에서는 최종 Period 4(무결측 데이터)를 활용하여 변수 확장 시나리오별 모델 성능을 비교하였다. 표 5

전체적으로 변수 확장(시나리오1 → 시나리오2 → 시나리오3)에 따라 성능 지표가 점진적으로 개선되는 경향이 확인되었다. 이는 위기정보관련 변수를 시간의 흐름에 따라 계속해서 확장해나가는 것이 의미가 있다고 할 수 있다.

첫째, 정확도(Accuracy)는 Random Forest(이하 RF)가 0.81 수준으로 가장 높게 나타났으나, 이는 클래스 불균형 상황에서 다수를 차지하는 비대상자 집단을 중심으로 예측한 결과로 해석된다. 즉, 참부정비율(True Negative Rate)을 잘 맞춘 결과로 보인다.

반면, LightGBM(이하 LGBM)과 XGBoost(이하 XGB)는 정확도 자체는 RF 대비 다소 낮았으나, 복지대상자 탐지 성능을 나타내는 재현율(Recall)과 ROC-AUC 지표에서 더 우수한 결과를 보였다.

둘째, 정밀도(Precision)는 세 모델 모두 0.32 내외 수준으로 낮게 나타났다. 이는 예측된 복지대상자 집단 중 실제로 대상자인 비율이 낮음을 의미하며, 잘못 탐지된 사례(False Positive)가 여전히 많음을 시사한다. 그러나 본 연구의 정책적 목적이 소수 집단(복지대상자)을 최대한 놓치지 않는 데 있으므로, 정밀도보다는 재현율 중심의 해석이 보다 타당하다.

셋째, 재현율(Recall)은 LGBM 과 XGB 가 0.56~0.58 수준으로 안정적으로 유지된 반면, RF 는 0.02~0.03에 불과하여 복지대상자 발굴이라는 정책 목표에 적합한 알고리즘이라 보긴 어려움이 있었다. 이는 배깅(Bagging) 기반인 RF 가 보수적인 분류 경향을 보인 결과로, 비대상자 분류 정확도를 높이는 대신 실제 대상자를 거의 포착하지 못한 것으로 해석된다.

넷째, ROC-AUC 에서도 LGBM 과 XGB 가 RF 보다 지속적으로 높은 수치를 기록하였다. 특히 변수 확장 시나리오가 V30에서 V40으로 확장됨에 따라, 두 알고리즘의 ROC-AUC 는 0.699→0.704 수준으로 소폭 개선되었다. 이는 추가 변수의 정보량이 실제 모델의 분류 능력 향상으로 연결되었음을 시사한다.

표 5의 결과를 시각화한 것이 그림 4이다. 특히 RF 는 재현율과 F1-Score 에서 매우 낮은 값을 보였다.

기록하였으므로, 그림 4에서는 XGB 와 LGBM 의 성능 비교를 중심으로 도식화하였다. 그림 4에서 X 축은 변수들의 수를 나타내고 있다. 시나리오1(V1~V30), 시나리오 2(V1~V35), 시나리오 3(V1~V40)으로 변수가 확장됨에 따라 재현율과 그외 보조지표들의 지표가 개선됨을 확인할 수 있다.

종합하면, RF 는 높은 정확도에도 불구하고 재현율이 극히 낮아 정책적 활용도가 제한적임이 확인되었으며, XGB 와 LGBM 은 재현율과 ROC-AUC 지표에서 더 나은 성능을 보임으로써 복지대상자 발굴이라는 정책 목적에 부합함을 보여주었다. 따라서 변수 확장은 단순히 지표 개선 차원을 넘어, 정책적 의사결정의 타당성을 강화하는 역할을 수행한다고 평가할 수 있다.

4.2.1 실험 방법

그림 6

Phase 2에서는 정책적 맥락에서 복지대상자 누락을 최소화하기 위해 임계치(threshold)를 [0.3, 0.4, 0.5]로 변화시켜 탐지 성능의 최적점의 탐색을 시도하였다. 알고리즘과 성능 평가는 Phase 2과 동일하게 적용하였다. Phase 2의 목적은 구조적 결측 보완이 모델 성능에 기여하는지, 임계치(threshold) 조정이 복지대상자 탐지 성능 최적화에 기여하는지를 확인하는 것이다.

4.2.2 실험 결과

실제 데이터와 합성 데이터를 결합한 결합데이터로 실험을 수행한 결과 데이터의 증가, 과거 데이터들의 분포의 재현을 통해서 전반적으로 Phase 1 대비 지표들의 뚜렷한 개선이 확인되었다. 이를 표로 정리하여 나타내면 표 9

Phase 1 대비 뚜렷한 개선점을 확인하면 다음과 같다. 첫째, 정확도 측면에서는 RF 가 임계치=0.5에서 0.73의 범위 수준으로 우위를 보였다. 이러한 결과는 RF 의 앙상블 특성상 다수 클래스(비대상자)에 대한 안정적 예측 성향이 반영된 것으로 분석된다. 반면 XGB 와 LGBM 은 임계치=0.5에서 약 0.69 수준으로, RF 보다 다소 낮게 나타났다. 즉, 정확도는 RF > XGB ≈ LGBM 순으로 확인되었다.

둘째, 정밀도는 RF 가 상대적으로 우세하였다. RF 는 임계치=0.5에서 약 0.58로 가장 높은 값을 보였고, XGB 와 LGBM 은 동일한 조건에서 약 0.43 수준에 머물렀다. 그러나 임계치=0.3으로 낮출 경우, XGB(0.27)와 LGBM(0.28)의 정밀도는 큰 차이를 보이지 않았으며, 이는 재현율을 높이는 과정에서 불가피하게 잘못 탐지된 사례가 늘어났음을 시사한다.

셋째, 재현율은 XGB 와 LGBM 이 압도적으로 높게 나타났다. Phase 1에서 약 0.57 수준에 불과했으나 Phase 2에서는 임계치=0.3에서 XGB 0.97, LGBM 0.94로 도약하였다. 임계치=0.4에서도 XGB 0.75, LGBM 0.74를 유지하여 여전히 Phase 1 대비 현저한 개선을 보였다. 반면 RF 는 Phase 1의 0.02에서 Phase 2의 최대 0.42로 상승하였으나, 여전히 XGB·LGBM 대비 낮은 수준이었다.

넷째, ROC-AUC 는 세 알고리즘 모두 Phase 1과 Phase 2에서 약 0.68~0.70 수준으로 큰 차이가 없었다. 이는 모델의 순위화 능력이 보완 전후에도 안정적으로 유지되었음을 의미하며, Recall 개선이 단순한 과적합 때문이 아님을 뒷받침한다.

다만 정책적 활용을 위해서는 단순 재현율이 아니라 정밀도와 재현율의 균형을 반영하는 F1-score 까지 함께 고려해야 한다. Threshold=0.3에서는 재현율은 극대화되었으나 정밀도가 과도하게 낮아 F1-score 가 0.46 수준에 머물렀다. 반대로 threshold=0.5에서는 정밀도는 높았지만 재현율 하락으로 인해 대상자 누락 위험이 컸다. 이와 달리 threshold=0.4에서는 정밀도와 재현율 모두 일정 수준을 유지하면서 F1-score 가 0.50 이상을 기록하여 가장 합리적인 균형점으로 확인되었다.

종합하면, Phase 2의 실험은 구조적 결측 보완과 임계치 조정을 통해 복지대상자 탐지 성능을 실질적으로 개선할 수 있음을 보여주었다. 특히 XGB 는 threshold=0.4 조건에서 재현율=0.7565, 정밀도=0.3787, F1-score=0.5048을 기록하여, 정책적 목적에 가장 부합하는 성능을 보였다. 따라서 본 연구는 임계치(threshold=0.4)인 상황에서, 재현율=0.7565(F1=0.5048)을 기록한 XGB 알고리즘을 최적의 파라미터 조합을 가진 알고리즘으로 선정하였다. RF 는 높은 정확도와 정밀도에도 불구하고 대상자 탐지 성능은 상대적으로 낮았으며, LGBM 은 XGB 와 유사한 패턴을 보였으나 F1-score 측면에서 다소 열세였다. 이는 결측을 단순 누락으로 처리하지 않고 합성 데이터로 보완하는 접근이 정책적 의사결정의 타당성을 강화하는 데 기여함을 확인시켜준다. 이를 도식화하여 그림으로 확인해본다면 그림 7

임계치(threshold) 변화에 따른 재현율과 정밀도의 균형을 그림 6은 시각적으로 보여준다. 이를 통해 임계치가 0.4일때의 XGB 알고리즘이 가장 합리적인 선정임을 다시금 확인이 가능하다.

4.3.1 합성 데이터의 분포 유사도

본 절에서는 연구에서는 TAVE 를 기반으로 한 학습을 통해 합성데이터와 원본데이터간 분포 유사성 차이를 정량적으로 평가하였다.

표 10

분석 결과, 총 12개 변수 중 WD 기준으로 ‘매우 우수’ 등급을 받은 변수는 8개(V29, V30, V31, V32, V34, V35, V39, V40), ‘우수’ 등급은 3개(V33, V37, V38), ‘양호’ 등급은 1개(V36)로 나타났다. JSD 기준으로는 ‘매우 우수’ 등급 7개(V29, V30, V31, V32, V34, V37, V39), ‘우수’ 등급 4개(V33, V36, V38, V40), ‘양호’ 등급 1개(V35)로 확인되었다. 두 지표 모두에서 ‘양호’ 이상의 등급을 달성한 변수는 12개 전체로, 본 연구에서 설정한 품질 기준을 모두 충족하였다.

특히 V30, V31, V32, V34는 WD 와 JSD 모두 0.01 이하의 매우 낮은 값을 기록하여, TVAE 가 원본 데이터의 분포를 거의 완벽하게 재현함을 보여주었다. 반면 V36은 WD 0.14876으로 상대적으로 높은 값을 나타냈으나, 이는 여전히 ‘양호’ 등급에 해당하며 실용적 수준의 분포 보존을 달성한 것으로 판단된다. V36의 상대적으로 높은 편차는 해당 변수가 2021년 1월에 단 2개 변수(V35, V36)만 추가된 시점에 학습되었기 때문에, 학습 데이터의 맥락 정보가 상대적으로 제한적이었던 것으로 추정된다.

전반적으로 TVAE 기반 합성 데이터는 원본 데이터의 통계적 특성을 충실히 재현하는 것으로 확인되었으며, 이는 Phase 2에서 관찰된 예측 성능 향상이 합성 데이터의 높은 품질에 기반함을 뒷받침한다. 두 지표가 모두 기준을 충족함에 따라, 합성 데이터를 정책 분석에 활용하는 것이 통계적으로 타당함을 입증하였다.

4.3.2 합성 데이터 결합비율 민감도 분석 결과

민감도 분석 결과, TVAE 합성데이터의 누적 결합이 모델 성능에 긍정적 영향을 미치는 것으로 확인되었다. 첫째, 재현율(Recall) 측면에서 뚜렷한 개선이 관찰되었다. XGB 의 경우 순수 원본 데이터만 사용한 Test 1(0.6811)에서 전체 기간 합성데이터를 결합한 Test 4(0.7960)까지 약 17%p 상승하였다. 이는 과거 시점의 구조적 결측을 TVAE 로 보완함으로써 학습 데이터의 양적·질적 확충이 이루어져, 복지대상자 탐지율이 실질적으로 향상되었음을 의미한다. LGBM 역시 Test 1(0.7833)에서 Test 4(0.7937)로 소폭 개선되며 0.79 수준의 안정적 성능을 유지하였다.

둘째, F1-Score 는 Test 2(합성비율 8.9%)에서 정점을 기록한 후 안정화되는 패턴을 보였다. XGB 는 Test 1(0.4031) 대비 Test 2(0.4305)에서 약 7%p 향상되었으며, 이후 Test 3(0.4181), Test 4(0.4269)에서 0.41~0.43 범위를 유지하였다. LGBM 역시 Test 2(0.4280)에서 최고치를 기록한 후 Test 4(0.4303)까지 안정적 수준을 보였다. 이는 합성데이터 결합이 Precision 과 Recall 의 균형을 해치지 않으면서도 전반적 예측 성능을 개선시킴을 시사한다.

셋째, ROC-AUC 는 합성비율 증가에도 불구하고 일관되게 0.69~0.71 범위를 유지하였다. 이는 TVAE 합성데이터가 원본 데이터의 통계적 특성을 충실히 재현하여, 모델의 판별력(discrimination ability) 손상 없이 학습 데이터를 확장시켰음을 뒷받침한다. 특히 Test 4에서도 ROC-AUC 가 Test 1 수준을 유지한 점은, 합성비율 20.8%까지도 과적합(overfitting)이나 데이터 품질 저하 없이 안정적 성능을 담보할 수 있음을 입증한다. 이를 살펴보면 표 11

추가적으로, 클래스 불균형 환경에서의 모델 성능을 보수적으로 평가하기 위해 PR-AUC(Precision-Recall AUC)를 검토하였다. PR-AUC 는 ROC-AUC 와 달리 양성 클래스의 희소성을 민감하게 반영하므로, 복지 사각지대와 같이 대상자 비율이 낮은 상황에서 실질적 탐지 성능을 더 현실적으로 평가할 수 있다. 분석 결과, XGB 의 PR-AUC 는 Test 1(0.3704)에서 Test 4(0.4063)로 약 9.7% 개선되었으며, 특히 Test 2(0.4221)에서 최고치를 기록하였다.

이는 합성데이터 결합이 클래스 불균형 조건에서도 양성 예측 성능을 실질적으로 향상시킴을 보수적으로 뒷받침한다. 다만 PR-AUC 의 절대값(0.37~0.42)이 ROC-AUC(0.69~0.71) 대비 낮게 나타난 것은 복지대상자 비율이 전체 모집단의 약 5~10% 수준으로 극히 낮은 데이터 특성에 기인한 것으로, 이는 불균형 데이터에서 PR-AUC 가 보이는 일반적 경향과 일치한다.

종합하면, 본 연구의 민감도 분석은 TVAE 기반 합성데이터 결합이 복지 사각지대 탐지 성능을 실질적으로 강화하며, 특히 합성비율 약 10~20% 범위에서 모델 신뢰성과 예측 안정성이 동시에 확보됨을 보여준다. 이는 시계열 행정데이터의 구조적 결측 문제를 해결하기 위한 실무적 해법으로서, TVAE 기반 데이터 보완 전략의 정책적 활용 가능성을 뒷받침하는 실증적 근거라 할 수 있다.

4.3.3 시간 블록별 안정성 평가 결과

본 연구는 합성 데이터 기반 복지대상자 탐지모형의 시간적 일관성(temporal consistency)을 검증하기 위해, 시계열 구간별 분포 변화에 따른 성능 변동을 점검하였다.

학습 구간은 2018년 1월부터 2022년 10월까지(Period 1–3), 검증 구간은 2022년 11월부터 2023년 11월까지(Period 4)로 구성하였다. 모든 Period 1–3 구간은 TVAE 를 통해 결측 대치된 데이터를 포함하며, Period 4는 실제 데이터로 구성하였다. 이를 통해 과거 시점의 데이터로 학습된 모델이 미래 시점의 데이터에서도 안정적인 예측력을 유지하는지를 평가하였다. 표 12

구체적으로 살펴보면, LGBM 은 ROC-AUC 0.661, PR-AUC 0.314 수준을 유지하면서 threshold 변화(0.2~0.5)에 따라 F1-score 가 0.3153 → 0.3779로 완만히 증가하였다. 특히 Recall 이 0.9927($\theta=0.2$)에서 0.5091($\theta=0.5$)로 완만하게 감소하며, 정책적 관점에서 중요한 대상자 누락 최소화 성능을 안정적으로 유지하였다.

XGB 는 ROC-AUC 0.668, PR-AUC 0.324로 LGBM 과 유사한 수준을 보였으며, Recall 0.9997($\theta=0.2$)에서 0.4711($\theta=0.5$)로 감소하였으나 F1-score 는 0.3147~0.3866 범위로 유지되었다. 이는 시간대별 분포 차이에도 불구하고 모델이 과적합(overfitting) 없이 일반화된 예측력을 확보하고 있음을 의미한다.

반면, RF 는 상대적으로 낮은 ROC-AUC(0.625)와 PR-AUC(0.267)를 보여 다른 두 알고리즘 대비 시계열 안정성이 다소 떨어지는 것으로 나타났다. 그러나 threshold=0.2 조건에서는 Recall 0.7258, F1-score 0.3664를 기록하여, 여전히 탐지 안정성을 일정 수준 유지하였다.

종합적으로, LGBM 과 XGB 는 시간 블록 분할 이후에도 ROC-AUC 약 0.66~0.67, PR-AUC 약 0.31~0.32 수준의 일관된 성능을 유지하며, 복지 행정데이터의 시계열적 변화에 대해 견고한 일반화 성능을 확보하였다. 이는 TVAE 기반 결측 대치 및 학습 절차가 데이터 결측 복원을 넘어, 정책 환경의 시계열적 변동에도 강건한 예측 안정성을 제공하는 모델 설계 전략임을 실증적으로 확인시켜 준다.

단계적 실험(Phase 1, Phase 2)을 수행하였다. 각 실험은 변수 확장에 따른 재현율 중심 평가, TVAE 기반 합성 데이터의 품질 검증, 그리고 시계열 안정성 평가를 포함하여 설계되었다.

약 328만 건의 복지위기정보 분석 결과, 변수 확장에 따라 재현율과 ROC-AUC 등 주요 지표가 개선됨을 확인하였다. 특히 실제 데이터와 TVAE 로 생성된 고품질의 합성 데이터를 결합하여 학습 데이터를 확충한 Phase 2에서는 Phase 1 대비 재현율이 대폭 향상되었다. 이러한 성능 향상은 무작위 층화 교차검증뿐만 아니라, 과거 데이터로 학습하여 미래를 예측하는 엄격한 ‘시간 블록별 안정성 평가(Time-block split evaluation)’에서도 표 12를 살펴보면 일관된 결과를 나타내, 본 연구 모형이 시계열 변화(concept drift)에 강건함(robust)을 입증하였다.

또한, 본 연구는 불균형 데이터(imbalanced data) 문제 해결을 위해 임계치 조정이 필수적임을 확인하였다. 최적의 임계값(threshold=0.4)을 적용했을 때, 기본값(0.5) 대비 재현율과 F1-Score 의 균형을 확보하며 정책적 활용성을 극대화할 수 있었다. 이는 누락된 복지사각지대 대상자를 효과적으로 탐지하는 데 있어 임계치 최적화가 핵심 전략임을 시사한다.

이를 통해 본 연구는 정책 목적에 부합하는 핵심 지표(재현율)의 최적화를 위해, (1) TVAE 기반의 구조적 결측 보완, (2) 임계값 조정을 통한 정밀도–재현율 균형 전략을 통합적으로 제시하였다. 이는 기존의 정확도 중심 접근이 간과한 정책적 함의를 보완하며, 복지 사각지대 해소를 위한 실질적 근거를 제공한다는 점에서 학문적·실무적 의의가 있다. 주요 시사점은 다음과 같다. 첫째, 변수 확장 실험(V1~V40)은 신규 정책 변수의 도입이 예측 성능