1
사전 합성실험
합성 시민과 투표 데이터 생성
Nemotron-Personas-Korea 계보의 합성 페르소나를 바탕으로 1차 100명, 2차 250명의 가상 시민 집단을 구성하고, LLM이 페르소나별 투표와 이유를 생성했다.
목적: 실제 여론 예측이 아니라 정책개발 프로세스, 데이터 흐름, 단계 전환, 실험 수행 가능성을 사전에 점검하는 것.
AIPOL · AI-assisted Policy Development PoC
AI 정책개발 프로세스 사전 검증 보고서
연금개혁 사례의 1·2차 합성 실험과 국내 3사 LLM 협의 절차를 통해 살펴본 인간 전문가 검증의 결합 가능성
1. 한 문장 결론
이번 사전 검증은 AI가 정책을 완성한 결과가 아니라, 사람과 AI가 함께 정책을 개발하는 절차가 실제로 작동할 수 있는지 점검한 기록이다.
무엇을 확인했는가
AI는 시민 의견을 구조화하고, 동일한 근거와 제약 아래 복수의 대안을 제시하며, 서로의 안을 참고해 통합안을 만드는 데 도움을 줄 수 있다. 특히 짧은 시간에 여러 관점과 쟁점을 비교 가능한 형태로 드러내는 데 가치가 있다.
무엇을 확인하지 않았는가
AI가 연금재정 연구를 수행했거나 논문의 산식을 구현·실행해 D안의 재정효과를 검증했다는 뜻은 아니다. D안은 검증된 정책안이 아니라 검토를 위한 정책보고서 초안이다.
2. 실험에서 AI가 맡은 정확한 세 가지 역할
2
의견 구조화
사전 정의된 5개 범주로 분류
AI는 시민이 남긴 선택 이유와 비선택 이유를 사람이 미리 정한 다섯 정책 범주에 분류·취합했다.
중요: 범주를 AI가 새로 발견하거나 결정한 것이 아니다. 정책 설계자가 정한 분류체계를 AI가 적용했다.
3
대안 작성·협의
세 AI의 독립안과 협의안 생성
EXAONE, Solar, HCX에 사전지식, 정책 제약, 설문·투표 데이터, 시민 숙의 기록을 전달했다. 각 AI가 독립안을 만들고 서로 참고해 보강·협의한 뒤 D안 후보를 생성했다.
결과의 성격: 세 AI가 함께 작성한 짧은 정책보고서 초안.
사람이 미리 정한 다섯 범주
재정 지속가능성
세대 간 형평성
노후소득 적정성
정치적 수용성
행정적 실행가능성
3. 전체 실험 흐름
핵심 경계: 합성 시민 결과는 실제 시민 여론이나 대표 표본이 아니다. 실제 시민의 설문과 숙의 데이터 역시 AI가 최종 정책을 결정하도록 넘기는 것이 아니라, 복수 대안을 만드는 근거로 제공된다.
4. 실제 코드·프롬프트 기준 AI 협의 과정
실험 단계는 아래와 같이 실제 실행 코드에 맞춰 해석해야 한다. 특히 2단계는 별도의 적대리뷰가 아니라 상호참고 기반 교차 보강이다. 드리프트 지적은 수정안 작성 시 부가적으로 요구되며, 독립된 적대 검증은 최종부의 별도 단계다.
별도 적대 검증의 9개 기준
- D안 명칭의 일관성
D안이 스스로를 E안·F안 등 다른 이름으로 부르거나 내부 지침 용어를 노출하지 않는지 확인한다. - 하드 제약 범위 준수
보험료율 13~18%, 소득대체율 43~50%, 수급연령 65~70세, 국고 GDP 대비 0~1%, 초과세수 0~100조원, 수익률 5~7% 범위인지 확인한다. - 본문과 정책변수의 일치
설명문에 적힌 수치와 구조화된policyParameters값이 서로 모순되지 않는지 확인한다. - 근거 연결과 인용 진실성
실제 입력된 시민 투표·선택 이유·숙의 기록을 근거로 사용했는지, 존재하지 않는 사실이나 인용을 만들지 않았는지 확인한다. - 허위 정밀성 금지
재정추계모형을 실행하지 않고도 “적립배율 6.23배 달성”처럼 단일 정밀 수치를 확정적으로 주장하지 않는지 확인한다. - 출력 형식의 완결성
제목, 요약, trade-off, 3개 이상의 원칙, 정책변수가 모두 있고 문장이 잘리거나 형식이 무너지지 않았는지 확인한다. - 소프트 제약과 trade-off 명시
세대 간 형평성, 노후소득 적정성, 정치적 수용성 사이에서 무엇을 얻고 무엇을 양보하는지 설명했는지 확인한다. - 내부 용어 비노출
Layer 1/2/3같은 시스템 내부 지침을 본문에 그대로 쓰지 않고 시민이 이해할 수 있는 일반 언어로 바꿨는지 확인한다. - 현행 대비 표현의 정확성
현행 기준인 보험료율 13%, 소득대체율 43%, 수급연령 65세, 가정 수익률 5.5%와 비교해 달라지면 인상·상향, 같으면 유지라고 정확히 표현했는지 확인한다.
| 검토 항목 | 실제 구현 확인 | 권고 표현 |
|---|---|---|
| 2단계 성격 | 다른 모델의 독립안을 보여주고 이를 참고해 자기 안을 보강한 수정안을 요구한다. 프롬프트에 드리프트 지적도 포함된다. | “적대리뷰”가 아니라 “상호참고 기반 교차 보강” |
| 별도 적대 검증 | 최종 통합안에 대해 명칭, 허용범위, 본문–수치 일치, 근거 연결, 허위 정밀성, 형식, trade-off 등 9개 기준을 검사한다. | “최종부 별도 적대 검증” |
| 코드 재검사 | 사람이 미리 구현한 서버 검증기가 보험료율·소득대체율·수급연령 등 정책변수의 허용 범위를 재검사한다. | “AI가 코딩했다”가 아니라 “인간이 구현한 검증 코드가 범위를 확인했다” |
| 연구자료 활용 | 논문 요약, 기존 추계 수치, A·B·C안 설명 등이 프롬프트의 참고자료로 전달된다. | “산식을 계산했다”가 아니라 “요약 근거를 언어적으로 참고했다” |
| 산식·재정모형 | LLM이 논문 산식을 코드로 구현하거나 연금재정 추계모형을 실행하지 않았다. | “효과 검증 전의 정책보고서 초안” |
5. 이 실험의 의의: AI가 정책개발을 어떻게 도울 수 있는가
시민 언어를 정책 언어로 연결
대량의 선택·비선택 이유와 숙의 기록을 정해진 정책 쟁점에 따라 빠르게 구조화해, 전문가가 검토할 수 있는 근거 지도로 바꾼다.
한 번에 여러 관점을 제시
단일 AI의 한 답이 아니라 서로 다른 모델의 독립안을 병렬로 만들어, 선택 가능한 대안과 trade-off를 비교할 수 있게 한다.
협의 과정을 기록
독립안, 수정안, 통합, 수정요청, 투표, 최종 반영을 남겨 “AI가 왜 이 안을 냈는가”를 사후 검토할 수 있게 한다.
전문가 판단의 탐색 범위를 확장
AI가 결정을 대신하는 것이 아니라, 정책 전문가가 반박·수정·검증해야 할 후보와 질문을 더 빠르게 만든다.
정책적 의미: 결과물 한 건보다 중요한 것은 시민 참여 → AI 구조화 → 복수안 생성 → 인간 검증 → 재숙의로 이어지는 반복 가능한 정책개발 절차를 현장 적용 전에 사전 검증했다는 점이다.
6. 이번 실험의 한계
- 정책연구가 아니다. 가설 설정, 체계적 문헌검색, 원자료 수집, 인과 또는 재정모형 구축, 통계적 검증, 재현성 검토를 수행하지 않았다.
- 산식이 실행되지 않았다. LLM이 논문을 읽었다는 것과 연구모형을 구현·계산했다는 것은 다르다. 이번 AI는 산식을 코딩하지 않았고 재정추계를 다시 계산하지 않았다.
- 짧은 시간의 보고서 작성 실험이다. 현재 D안은 세 AI 전문가 역할이 동일 자료를 바탕으로 작성·협의한 간단한 보고서 초안에 가깝다.
- 합성 시민은 대표 여론이 아니다. 합성 데이터는 프로세스 검증용이며 실제 국민의 선호나 사회적 합의를 추정하는 근거로 사용할 수 없다.
- AI 합의는 사회적 합의가 아니다. 2/3 모델 합의는 텍스트 통합 규칙일 뿐, 민주적 정당성이나 이해관계자의 동의를 의미하지 않는다.
- 입력과 분류체계가 결과를 제한한다. 사람이 고른 참고자료, 제약조건, 다섯 범주, 요약 방식에 따라 AI가 볼 수 있는 문제공간이 달라진다.
- 모델 다양성의 효과가 분리 검증되지 않았다. 세 모델 사용이 단일 모델 대비 정책 품질을 얼마나 개선했는지는 별도의 비교실험이 필요하다.
- 전문가 검증이 아직 핵심 병목이다. 법률·재정·행정 집행 가능성과 분배효과는 분야별 전문가가 장시간 검증해야 한다.
7. AI의 한계를 줄이기 위해 이번 실험에서 사용한 방법
동일 입력과 제약
세 모델에 같은 사전지식, 시민 데이터, 숙의 기록, 허용범위를 제공해 비교 가능성을 높였다.
독립안 우선
처음부터 합의시키지 않고 각자 제안하게 해 초기 관점의 다양성을 보존했다.
상호참고와 기록
서로의 안을 본 뒤 수정하게 하고, 각 단계의 입력·출력과 수정 이력을 남겼다.
다수결 반영 규칙
수정 제안은 3개 모델 중 2개 이상이 수용해야 최종안에 반영하도록 제한했다.
최종 적대 검증
명칭·수치·근거·형식·허위 정밀성·trade-off 등 정해진 기준으로 최종안을 공격적으로 점검했다.
인간 검토와 코드 가드
사람이 승인하기 전 공개하지 않고, 인간이 구현한 결정론적 검증기로 정책변수 범위를 재검사했다.
이 방법들은 오류 가능성을 낮추는 장치이지, 연구 검증이나 정책의 정당성을 자동으로 보장하는 장치는 아니다.
8. 그래서 다음에는 무엇을 더해야 하는가
다음 단계는 “더 큰 LLM을 쓰는 것”이 아니라, AI 정책개발 프로세스 자체를 연구 수준으로 확장하는 것이다.
정책 전문가가 책임질 영역
- 문제 정의와 가치 판단
- 법·제도·재정 가정의 타당성
- 정책 수혜·부담 집단과 trade-off
- 검증 결과 해석과 최종 책임
AI 기술 전문가가 책임질 영역
- 데이터 계보·프롬프트·모델 실행의 재현성
- 산식과 전문모형의 코드 구현·시험
- 모델 비교, 오류 탐지, 보안·개인정보 보호
- 감사로그와 인간 승인 게이트
공동 책임: 정책 전문가는 기술을 단순 도구로 위임하지 않고, AI 기술 전문가는 정책 판단을 모델에 위임하지 않는다. 두 집단이 가설·근거·모형·검증 기준을 함께 설계해야 비로소 AI가 연구과정에 참여할 수 있다.
9. 결과 해석과 표현 원칙
| 피해야 할 표현 | 권장 표현 |
|---|---|
| “AI가 연금개혁안을 연구했다.” | “AI가 제공된 자료와 시민 의견을 바탕으로 정책보고서 초안을 작성했다.” |
| “논문의 산식을 고려해 D안을 계산했다.” | “논문 요약과 기존 추계 수치를 참고했지만, 산식을 구현하거나 추계를 재실행하지 않았다.” |
| “2단계에서 적대리뷰를 했다.” | “2단계에서 서로의 독립안을 참고해 각자 보강했고, 최종부에서 별도 적대 검증을 했다.” |
| “세 AI가 합의했으므로 타당하다.” | “세 모델의 협의로 검토할 후보를 만들었으며, 타당성은 인간 전문가와 후속 연구가 검증해야 한다.” |
| “합성 시민 250명의 여론이다.” | “프로세스 검증을 위해 생성한 합성 데이터이며 대표 여론이 아니다.” |
| “AI가 제약 검증 코드를 작성했다.” | “인간이 구현한 서버 검증기가 정책변수의 허용 범위를 재검사했다.” |