Ⅰ. 서 론
최근 고령화 심화, 지역 간 교통 접근성 격차 확대, 지방 재정의 구조적 제약이 맞물리면서, 수요응답형 교통(Demand-Responsive Transport, DRT)이 지방 중소도시 및 농어촌 지역에서 고정노선 대중교통을 보완할 수 있는 핵심 대안으로 주목받고 있다(Lu et al., 2023;Schasché et al., 2022;Shirgaokar et al., 2020). 그러나 DRT는 고정된 노선과 시간표에 기반한 전통적 대중교통과 달리 유연한 운영 구조를 전제로 하므로, 지역별 인구구조, 이동행태, 사회경제적 특성 등 수요의 이질성을 정밀하게 반영한 맞춤형 정책 설계가 필요하다. 특히 획일적인 운영 기준이나 단일한 정책 프레임워크만으로는 지역별 서비스 효율성과 이용자 편익을 동시에 확보하기 어렵다. 따라서 지역의 수요 구조와 서비스 환경을 체계적으로 반영하는 정책 수립 체계가 요구된다(Calabrò et al., 2023;Wang et al., 2025).
DRT 운영 정책의 수립은 본질적으로 지역 여건을 해석하고, 이를 구체적인 정책 판단으로 전환하는 과정을 전제로 한다. 지역별 DRT 수요는 인구구조, 이동행태, 사회경제적 특성뿐만 아니라 기존 교통서비스 공급 수준, 공간적 접근성, 재정 여건 등 다양한 요인의 상호작용에 의해 형성되며, 이러한 요인은 서로 다른 단위와 해석 기준을 갖는 이질적 데이터로 표현된다(Jokinen et al., 2019;Vansteenwegen et al., 2022). 또한 운행권역, 운영시간, 호출 방식, 배차 전략, 요금 체계와 같은 주요 정책 설계 항목별로 상이한 판단 기준이 요구되며, 특정 지표의 변화가 복수의 정책 요소에 동시에 영향을 미치는 상호의존적 구조를 갖는다(Calabrò et al., 2023;Mulley et al., 2012;Wang et al., 2025). 따라서 DRT 운영 정책 수립에서는 지역 데이터를 정밀하게 해석하고, 그 결과를 정책 항목별 판단 근거로 구조화하는 절차가 핵심 과제로 제기된다.
그러나 실제 정책 수립 과정에서는 이러한 해석과 정책 판단 근거의 구조화 방식이 충분히 체계화되어 있 다고 보기 어렵다. 지역 특성과 정책 판단 기준에 관한 정보는 다양한 행정 자료와 문헌에 분산되어 있으며, 이를 종합적으로 해석하여 정책 대안으로 정리하는 과정은 여전히 전문가 경험과 비정형적 분석에 크게 의존한다. 그 결과 정책 대안은 일관된 형식으로 정식화되기 어렵고, 대안 간 비교·검토 과정에서도 판단 근거의 명확성과 재현성이 충분히 확보되지 못한다. 따라서 지역 데이터에 대한 해석과 문헌 기반 판단 근거를 통합하여 정책 대안을 체계적, 일관적, 검토 가능한 형태로 작성할 수 있는 방법론적 접근이 요구된다.
이러한 한계를 완화하기 위한 기술적 대안으로 대규모 언어모델(Large Language Model, LLM)을 활용한 정책 지원 접근이 주목받고 있다(Maksoud et al., 2025;Nie et al., 2025;Ying et al., 2025). 최근 LLM은 정책 문서에서 필요한 정보를 추출 및 해석(Deng et al., 2025), 계획 평가(Fu et al., 2024), 교통 데이터 기반 상호작용 분석(Zhang et al., 2024) 등 다양한 의사결정 지원 영역에서 활용되고 있다. 도시·교통 계획 분야에서도 LLM은 여러 정보를 요약·구조화하고, 이를 정책 판단에 활용 가능한 형태로 재구성하는 도구로 검토되고 있다(Zheng et al., 2025). 이는 지역 데이터와 문헌 정보를 함께 반영해야 하는 DRT 정책 지원 맥락에서도 LLM 활용의 가능성을 시사한다.
다만 정책 설계에서 LLM을 직접 활용하기 위해서는 응답의 신뢰성과 근거 제시 가능성이 함께 확보되어야 한다. 정책 초안은 단순한 문장 생성 결과에 그쳐서는 안 되며, 제안 내용이 어떠한 자료와 문헌에 근거하는지를 명시적으로 설명할 수 있어야 한다. 그러나 일반적인 LLM은 사실과 불일치한 내용을 생성하거나 존재하지 않는 참고문헌을 제시하는 환각(Hallucination) 및 인용 오류의 위험을 내포한다(Ji et al., 2023;Walters and Wilder, 2023). 이러한 문제는 생성된 정책 응답의 검토 가능성과 활용 신뢰성을 저하시킬 수 있다. 이에 따라 최근에는 검색 증강 생성(Retrieval-Augmented Generation, RAG) 구조를 통해 외부 지식 자원에서 관련 근거를 검색하고, 이를 기반으로 응답을 생성하는 방식이 활용되고 있다(Lewis et al., 2020). RAG는 생성 과정에서 활용된 문헌 근거를 명시적으로 연결할 수 있다는 점에서 정책 응답의 추적 가능성과 설명 가능성을 높이는 데 유리하다(Socol de la Osa and Remolina, 2024).
따라서 본 연구는 이러한 관점에서 지역 적합성과 근거 기반성을 동시에 확보할 수 있는 RAG-LLM 기반 DRT 정책 지원 프레임워크를 제안한다. 제안 프레임워크는 DRT 운영 로그와 사회경제지표를 활용하여 지역의 수요 및 이동 특성을 구조화하고, DRT 관련 정책·학술 문헌을 RAG 기반 검색에 활용 가능한 문헌 근거 자원으로 구축한다. 이를 통해 지역 진단 정보와 문헌 근거를 함께 반영한 구조화된 정책 초안 생성을 목표로 한다. 이는 지역 데이터의 맥락성과 문헌 근거의 일반화된 정책 지식을 결합하여, 기존의 경험 의존적 정책 설계 과정을보다 체계적인 생성 절차로 전환하려는 시도이다. 구체적으로 제안 프레임워크는 지역 특징 추출(Regional Feature Extraction), 도메인 지식 구축(Domain Knowledge Construction), 정책 생성(Policy Generation)의 세 모듈로 구성되며, 지역 진단 프로파일과 문헌 근거를 결합하여 “지역 진단–운영 전략–핵심 성과지표(Key Performance Indicator, KPI)–근거 제시” 구조를 갖는 정책 초안을 생성한다.
본 연구의 차별성 및 기여는 다음 세 가지로 요약된다. 첫째, 기존 LLM 기반 도시·교통 정책 연구가 주로 정책 문서의 요약, 질의응답, 계획 평가 또는 커뮤니케이션 보조에 초점을 두었다면, 본 연구는 DRT 운영 정책 초안 생성을 위해 실제 DRT 운영 로그와 사회경제지표를 지역 진단 프로파일로 구조화하고 이를 생성 과정의 핵심 입력으로 활용한다. 둘째, 기존 RAG 접근이 주로 비정형 문헌 근거의 검색과 응답 생성에 초점을 두는 데 비해, 본 연구는 정형 지역 데이터에서 도출한 지역 진단 정보와 비정형 문헌 근거를 하나의 정책 생성 절차 안에서 결합하였다. 셋째, 생성된 정책 초안을 자유 서술형 응답이 아니라 “지역 진단–운영 전략–KPI–근거 제시”의 고정 스키마로 구성함으로써 지역 간 비교, 정책 항목별 검토, 근거 추적 가능성을 높인다. 이러한 점에서 본 연구는 DRT 정책 지원을 위한 데이터 기반 지역 진단, 문헌 근거 검색, 구조화된 정책 초안 생성을 통합한 프레임워크라는 의의를 가진다.
Ⅱ. 관련 연구
1. 도시·교통 정책 지원을 위한 LLM 기반 연구
최근 LLM의 발전은 도시·교통 분야에서도 다양한 형태의 의사결정 지원 가능성을 제시하고 있다. 선행 연구는 LLM을 활용하여 교통 데이터와 분석 결과를 자연어로 해석·설명하거나(Ying et al., 2025;Zhang et al., 2024), 정책 문서를 요약·정리하며(Deng et al., 2025), 질의응답 기반 정보 접근을 지원하고(Akbar et al., 2026), 계획 평가와 이해관계자 커뮤니케이션을 보조하는 방식(Fu et al., 2024;Zheng et al., 2025)으로 활용 범위를 확장해 왔다. 또한 주행 장면의 시각적 맥락을 결합한 궤적 예측과 위험 추론(Kim et al., 2026), 교통사고 판례 텍스트 기반 형사 판결 예측(Min and Noh, 2025)에도 LLM이 적용되고 있다. 이는 도시·교통 분야에서 LLM이 복잡한 데이터와 문헌 정보를 실무적으로 활용 가능한 형태로 전환하는 도구가 될 수 있음을 보여준다.
특히 이러한 연구들은 LLM이 단순 질의응답 도구를 넘어 분산된 자료를 요약하고 핵심 쟁점을 구조화하며, 분석 결과를 설명·예측 및 판단 지원에 활용할 수 있음을 보여준다. 그러나 이러한 활용은 주로 설명, 요약, 질의응답, 계획 평가 및 결과 예측과 같은 지원 기능에 초점을 두고 있으며, 지역 진단 결과와 문헌 근거를 결합하여 구조화된 정책 초안을 생성하는 문제까지 충분히 확장되지 못하였다.
도시·교통 정책은 서비스 공급 방식, 접근성 수준, 재정 투입, 운영 우선순위 등에 직접적인 영향을 미치므로, 정책 지원 산출물은 자연스러운 서술을 생성하는 수준에 머물러서는 안 된다. 정책 제안이 실무적으로 활용되기 위해서는 제안 내용이 어떠한 자료와 문헌에 기반하는지 확인할 수 있어야 하며, 관련 출처 또한 추적 가능한 형태로 제시될 필요가 있다. 따라서 도시·교통 정책 지원 문제에서 LLM을 실질적으로 활용하기 위해서는 생성 결과의 근거성과 검토 가능성을 함께 확보할 수 있는 방법론적 보완이 요구된다.
2. RAG 기술의 발전과 한계
RAG는 외부 문서를 검색하여 관련 근거를 확보한 뒤, 이를 기반으로 응답을 생성함으로써 생성 결과의 신뢰성과 최신성을 강화하는 대표적인 접근이다(Lewis et al., 2020). 최근에는 정책·행정, 전문 지식 기반 응답, 고신뢰 질의응답 등 근거 기반 생성이 요구되는 영역으로 그 활용 범위가 확대되면서, 검색 성능 향상과 근거 충실성 확보를 중심으로 관련 연구가 빠르게 발전해 왔다(Ren et al., 2025).
RAG 기술은 크게 검색 고도화, 응답 신뢰성 검증, 근거 구조화의 세 방향으로 활용될 수 있다. 먼저, 검색 고도화 측면을 살펴보면, 단순 키워드 기반 검색을 넘어 문맥 정보를 반영하는 의미 기반 검색(Dense retrieval)을 도입하여 관련 문서 검색의 정확도를 높이는 연구가 진행되었다(Lin and Lin, 2023). 응답 신뢰성 검증 측면에서는 검색된 문서에 기반한 응답 생성에 그치지 않고, 생성된 응답이 검색 근거에 충실한지, 인용이 정확한지, 근거와 주장 사이에 불일치가 없는지를 점검하는 절차가 함께 발전했다(Lin et al., 2024). 마지막으로, 근거 구조화 측면에서는 지식 그래프와 같은 구조화 지식의 결합뿐 아니라, 검색 및 인용의 단위가 되는 청킹(Chunking) 전략, 메타데이터 유지, 출처 위치의 표준화 등을 통해 응답의 추적 가능성과 검토 가능성을 높이려는 연구를 꼽을 수 있다(Chen et al., 2025;Linders and Tomczak, 2025).
그러나 이러한 발전에도 불구하고 다수의 기존 RAG 연구는 여전히 비정형 텍스트 기반 질의응답이나 문서 기반 생성 과제에 초점을 두고 있다(Lu et al., 2025). 특히 정책 의사결정 지원의 문제에서는 문헌 근거를 검색하여 응답에 반영하는 것만으로는 충분하지 않다. DRT 정책 생성을 예로 들자면, 문헌 근거의 검색·인 용뿐 아니라 정형 지역 데이터를 정책 항목별 판단 근거로 구조화하고 이를 문헌 근거와 결합하는 과정이 함께 요구된다(Lu et al., 2025;Wan et al., 2025). 그러나 기존 RAG 접근은 문헌 근거의 검색과 반영에는 강점을 보이지만, 정형 지역 데이터가 갖는 정책적 의미를 일관된 판단 구조로 연결하는 데에는 한계가 있다(Krishna et al., 2025;Yu et al., 2025). 또한 기존 RAG 기반 산출물이 서술형 중심으로 제시될 경우 지역 간 비교나 정책 대안 간 비교·검토에 필요한 판단 기준이 충분히 드러나지 않는 한계도 존재한다. 정책 지원 산출물은 단순한 설명문이 아니라 지역 진단 결과와 정책 판단 근거가 대응되는 구조로 제시되어야 실무적 활용성이 확보되기에, 정책 의사결정 지원 관점에서는 비정형 문헌 지식과 정형 지역 데이터를 함께 반영할 수 있는 맥락 설계와 정책 초안을 비교 및 검토 가능한 구조로 생성하기 위한 추가적인 접근이 필요하다.
Ⅲ. 방법론
본 연구에서는 DRT 운영 정책 생성을 위해 정책 항목별 판단 근거를 구조화하고 문헌 근거를 참조하는 RAG-LLM 프레임워크를 제안한다. 제안하는 프레임워크는 <Fig. 1>과 같이(1) 지역 특징 추출 모듈(Regional Feature Extraction Module), (2) 도메인 지식 구축 모듈(Domain Knowledge Construction Module), (3) 정책 생성 모듈(Policy Generation Module)의 세 모듈로 구성된다. 지역 특징 추출 모듈은 운영 로그와 사회경제지표를 바탕으로 지역 진단 프로파일을 생성하고, 도메인 지식 구축 모듈은 DRT 관련 문헌을 검색 및 인용 가능한 근거 단위로 재구성하여 외부 지식 자원을 구축한다. 이후 정책 생성 모듈은 사용자 질의, 지역 진단 프로파일, 검색된 문헌 근거를 통합하여 “지역 진단–운영 전략–KPI–근거 제시” 구조를 갖는 정책 초안을 생성한다.
1. 데이터 수집 및 전처리(Data Collection and Preprocessing)
본 연구는 지역 정형 데이터와 문헌 근거를 통합하는 RAG-LLM 기반 정책 지원 프레임워크를 구현하기 위해 DRT 운영 로그, 사회경제지표, DRT 운영 정책 관련 문헌의 세 가지 데이터 소스를 활용한다(<Table 1> 참조). 운영 로그와 사회경제지표는 지역 진단 프로파일을 구성하기 위한 정형 입력으로 사용되며, 문헌 데이터는 근거 검색 및 인용을 위한 외부 지식 입력으로 활용된다.
DRT 운영 로그는 2024년 11월부터 2025년 5월까지 약 7개월간 전국 67개 지역에서 수집된 차량 호출 및 배차 이력 데이터로 구성된다. 개별 로그 항목은 위도·경도 기반의 기점-종점(Origin-Destination, O-D) 정보, 호출 시각, 배차 결과, 운행 시간 등을 포함하며, 이를 통해 지역별 수요 규모와 시공간적 수요 패턴을 분석할 수 있다. 여기서 67개 지역은 지역 진단 데이터베이스 구축을 위한 전체 데이터 수집 범위를 의미한다. 다만 본 연구의 조건별 정책 초안 비교는 전체 지역 중 수요 규모, 인구구조, 대중교통 공급 여건, 운영 특성의 이질성을 고려하여 선정한 10개 사례 지역(A–J)을 대상으로 수행하였다. 사회경제지표는 동일 지역을 대상으로 구축된 고해상도 지역통계 자료로, 연령대별 인구 구조, 주요 시설 접근성, 소득 수준, 토지 이용 현황, 대중교통 공급 및 운영 여건 등 지역 여건을 설명하는 변수를 포함한다.
<Table 1>
Summary of data sources, analysis units, and roles in the proposed framework
| Attribute | DRT service logs | Socioeconomic indicators | Literature |
|---|---|---|---|
| Coverage | 67 DRT service regions | DRT service areas | DRT-related policy and research documents |
| Time frame / reference | Nov 2024–May 2025 | Reference year(s) of source data | Publication / search period of collected corpus |
| Unit of analysis | Trip / request level (by Grid ID, O-D pair, and hour) | High-resolution grid level | Evidence-unit level |
| Key variables | Request time, origin-destination coordinates, travel time, trip duration | Demographic composition, facility accessibility, income level, land use | Operational strategies, KPI definitions, and applicability conditions |
| Role in framework | Identification of regional demand patterns and operational characteristics | Provision of explanatory variables for regional demand and context | Retrieval and citation of supporting evidence for policy drafting |
본 연구에서는 운영 로그와 사회경제지표를 동일한 공간 단위에서 결합하기 위해 연구 대상 지역을 500m × 500m 그리드(Grid)로 분할하고, 각 데이터를 그리드 단위로 집계·매핑하였다. 이를 통해 운영 로그에서 관측된 수요 및 이동 패턴을 해당 지역의 사회·공간적 특성과 정합적으로 연결할 수 있도록 데이터 구조를 통일하였다. 집계된 운영 로그의 예시와 사회경제지표 변수군의 구성은 각각 <Table 2>, <Table 3>에 제시한다. 또한 운영 지역을 특정하거나 식별할 수 있는 정보는 익명화한다. 입력 자료는 공간 단위로 집계 가능한 공급·접근성 지표를 중심으로 구성되며, 노선 네트워크의 세부 연결 구조, 노선별·정류장별 이용량, 시간대별 수요 변동, 혼잡도, 환승 연결성과 같은 동적 운영 특성은 본 연구의 모델링 범위에 포함하지 않는다.
문헌 데이터는 RAG 기반 지식베이스 구축을 위해 수집한 DRT 관련 국내외 학술 논문 및 정책 보고서 약 80편으로 구성된다. 문헌 데이터의 목적은 정책 초안 생성 단계에서 운영 전략, 성과지표, 적용 조건, 근거 제시를 지원하기 위한 도메인 지식 자원으로 활용하는 것이다. 문헌 수집 대상은 DRT 및 유연형 대중교통 운영, 농어촌·고령자 이동성, 대중교통 접근성 개선, DRT 운영 성과 평가 및 KPI와 관련된 국내외 학술 논문과 정책 보고서를 중심으로 구성하였다. 직접 관련성이 낮거나 구체적인 운영 조건, 성과지표, 적용 맥락을 제공하지 않는 문헌은 지식베이스 구축 대상에서 제외하였다. 각 문헌은 운영 설계 항목(예: 운행권역, 배차 방식, 호출 채널, 요금 체계)과 성과 평가 항목(예: 서비스 품질 및 효율 관련 KPI)을 직접 참조할 수 있도록 정책 활용 단위의 근거 스니펫(Snippet)으로 분절된다. 또한 각 스니펫에는 출처 식별 정보와 문서 내 위치 정보를 포함한 메타데이터를 부여하여 검색 인덱스를 구축한다. 이러한 문헌 데이터는 정책 초안 생성 단계에서 운영 전략과 정량적 성과지표 제안이 특정 근거에 기반하여 제시되도록 하는 외부 지식 자원으로 활용된다.
<Table 2>
Example records from the aggregated DRT operational logs
Note: Pax denotes the total number of passengers. Adult pax, Teen pax, and Child pax denote passenger counts by age group. Total trips denotes the number of trip/request records aggregated by hour.
| Time | Total trips | Pax | Adult pax | Teen pax | Child pax | Origin Grid ID | Destination Grid ID |
|---|---|---|---|---|---|---|---|
| 14:00 | 1 | 1 | 1 | 0 | 0 | 34a70b | 34b69a |
| 15:00 | 1 | 3 | 1 | 0 | 2 | 34b69a | 35b69a |
| 16:00 | 1 | 2 | 0 | 0 | 2 | 34b69b | 34a68b |
| 17:00 | 2 | 2 | 2 | 0 | 0 | 35b68b | 34b70a |
| 18:00 | 2 | 2 | 1 | 1 | 0 | 34b68b | 34b69b |
| 19:00 | 2 | 4 | 0 | 2 | 2 | 34a69a | 34b69b |
<Table 3>
Summary of socioeconomic indicator groups used for regional diagnosis
Note: SGG = Si-Gun-Gu
| Category | No. of variables | Preprocessing | Intended role |
|---|---|---|---|
| Population structure | 33 | Grid-level aggregation / normalization | Demand structure / mobility vulnerability |
| Socioeconomic context | 17 | Standardization / ratio construction | Affordability / socioeconomic context |
| Transit supply and operation | 26 | Grid / SGG-level mapping / normalization | Baseline transport supply / access conditions |
| Climate exposure | 8 | Annual day-count aggregation | Environmental operating constraints |
| Land-use composition | 6 | Area ratio calculation | Activity / settlement patterns |
| DRT context | 1 | Grid-level mapping | Existing DRT service context |
2. 지역 특징 추출 모듈(Regional Feature Extraction Module)
지역 특징 추출 모듈의 목적은 정형 지역 데이터를 정책 항목별 판단 근거로 활용 가능한 지역 진단 프로파일로 변환하는 데 있다. 본 모듈은 단순한 수요 예측 자체보다 지역별 수요 수준과 그 형성 요인을 함께 구조화하여 정책 생성의 입력으로 제공하는 데 초점을 둔다. 이를 통해 기존 운영 지역에서는 관측된 수요 패턴과 영향 요인을 정리할 수 있으며, 신규 도입 지역과 같이 운영 이력이 부재한 경우에도 사회경제적 조건만으로 예상 이용 수준과 잠재적 영향 요인을 도출할 수 있다.
학습 데이터는 그리드 기반 정형 데이터셋을 바탕으로 구성하였으며, 사회경제지표를 설명 변수로, DRT 이용량 지표를 목표 변수로 설정한다. 이러한 설정은 지역의 구조적 특성과 실제 이용량 간의 대응 관계를 계량적으로 추정하기 위한 것이다. 이용량 추정 및 영향 요인 도출에는 비선형성과 변수 간 상호작용을 반영할 수 있는 트리 기반 알고리즘인 XGBoost(Chen and Guestrin, 2016)를 활용한다. XGBoost는 복합적인 사회경제 요인의 결합 효과를 반영할 수 있을 뿐 아니라, 각 입력 변수의 상대적 기여도를 변수 중요도(Feature importance) 형태로 산출할 수 있어 해석 가능성이 요구되는 지역 진단 프로파일 생성에 적합하다.
모듈의 출력은 지역 단위 진단 프로파일(Regional diagnostic profile)로서, 지역 개요, 이용량 수준, 핵심 영향 요인, 그리고 주요 변수와 이용량 간 관계에 대한 해석 요약으로 구성된다. 여기서 이용량 수준은 운영 로그 기반 관측치와 모델 기반 추정치를 함께 요약하는 방식으로 정리되며, 핵심 영향 요인은 변수 중요도 상위 항목을 중심으로 제시된다. 또한 각 변수의 정책적 의미를 후속 단계에서 활용할 수 있도록 단순 수치 나열이 아닌, 지역 수요 특성과 이동 여건을 설명하는 해석 중심 형태로 재구성하였다. 이러한 진단 프로파일은 정책 생성 모듈에서 지역 맥락을 제공하는 입력으로 사용되며, 정책 초안이 지역과 무관한 일반론적 서술로 확장되는 것을 억제하고 지역 특성에 정합적인 정책 논리 전개를 유도한다.
3. 도메인 지식 구축 모듈(Domain Knowledge Construction Module)
도메인 지식 구축 모듈은 DRT 관련 학술 논문 및 정책 보고서를 정책 설계에 직접 활용 가능한 근거 단위(Evidence unit)로 재구성하고, 질의 및 지역 진단 프로파일에 정합한 근거를 안정적으로 검색·제공할 수 있는 지식베이스를 구축한다. 본 모듈은 문헌의 논리적 맥락을 유지하면서도 정책 항목 수준의 검색 정밀도를 확보하기 위해 다층 청킹(Multi-granularity chunking)과 하이브리드 검색을 결합한 절차를 채택한다.
문헌 분절은 거시적 단위 및 미시적 단위의 두 가지 형태로 수행한다. 거시적 단위(Macro-level context chunk)는 정책 적용 조건, 제도적 전제, 기대 효과, 한계와 같이 전략 선택의 배경이 되는 문맥을 보존하기 위한 단위로, 정책 초안 생성 시 근거의 정당화 논리와 해석 가능성을 유지하는 데 유리하다. 미시적 단위(Micro-level context chunk)는 운행권역 설정, 배차 방식, 호출 채널, 요금 설계, 성과지표 등 개별 정책 항목과 직접 연결되는 세부 근거를 정밀하게 검색하기 위한 단위이다. 이러한 다층 청킹 구조는 근거 단위가 지나치게 길어 세부 항목 검색 성능이 저하되거나, 반대로 지나치게 짧아 전후 문맥이 손실되는 문제를 완화하기 위한 것이다.
각 근거 단위에는 문헌 식별자와 문서 내 위치 정보(예: 절, 페이지, 단락)를 포함한 메타데이터가 포함되며, 생성된 운영 전략 및 KPI가 어떠한 문헌에 기반하는지 항목 수준에서 추적 가능하도록 한다. 근거 검색 단계에서는 임베딩 기반 의미 검색과 키워드 기반 검색을 결합한 하이브리드 검색을 적용하여 후보 근거 집합을 구성하였다. 의미 검색은 질의 의도를 반영한 포괄적 탐색에 유리하고, 키워드 검색은 제도 명칭, 지표 명칭, 특정 운영 용어와 같은 희소 표현의 정확한 매칭을 보완한다. 이를 통해 본 모듈은 정책 초안 생성에 활용될 문헌 근거를 검색 가능하고 인용 가능한 형태로 구조화한다.
4. 정책 생성 모듈(Policy Generation Module)
정책 생성 모듈은 지역 진단 프로파일과 문헌 근거를 통합하여 정책 검토에 활용 가능한 구조화된 DRT 운영 정책 초안을 생성하는 단계이다. 본 모듈은 사용자 질의에 대해 지역 진단 정보를 바탕으로 핵심 문제를 정리하고, 지식베이스에서 검색된 근거를 참조하여 운영 전략과 KPI 제안이 근거 범위 내에서 전개되도록 설계되었다.
본 연구에서 사용한 Mistral-Small-3.2-24B-Instruct-2506(Mistral AI, 2025)는 지시 이행 정확도가 향상되고 반복 생성 오류가 감소한 instruction-tuned 모델로 보고되어, 컨텍스트와 출력 형식의 준수가 필요한 고정 스키마 기반 정책 초안 생성에 적용하였다. 본 연구는 LLM 모델 간 절대 성능 비교보다, 동일한 생성 모델을 고정한 상태에서 지역 진단 정보와 문헌 근거의 주입 여부가 정책 초안의 구조성, 필드 충실도, 컨텍스트 정합성 및 지역 이질성 반영도에 미치는 영향을 검토하는 데 초점을 둔다. 이에 따라 이후 비교 실험에서는 동일 한 생성 모델과 동일한 출력 스키마를 적용하고, 지역 진단 정보와 문헌 근거의 제공 수준만을 달리하여 컨텍스트 구성의 효과를 비교하였다. 입력은(1) 지역 특징 추출 모듈에서 생성된 지역 진단 프로파일과(2) 도메인 지식 구축 모듈에서 검색된 근거 스니펫 집합으로 구성된다. 모듈은 먼저 사용자 질의의 목적과 요구되는 정책 항목을 해석한 뒤, 지역 진단 프로파일에 포함된 수요 특성, 운영 특성, 핵심 영향 요인을 바탕으로 우선적으로 고려해야 할 지역 문제와 제약 조건을 정리한다. 이후 해당 진단과 직접 연결되는 운영 전략 및 KPI 후보를 검색된 근거 집합으로부터 우선적으로 참조하여 최종 정책 초안을 생성한다.
정책 초안은 비교 가능성과 사후 검토 가능성을 확보하기 위해 “지역 진단–운영 전략–KPI–근거 제시”의 4개 섹션으로 고정하였다. 지역 진단 섹션은 지역 수요 및 운영 특성과 주요 문제를 데이터 기반으로 요약한다. 운영 전략 섹션은 진단에서 확인된 제약을 완화하기 위한 실행 항목을 운행권역, 공급량, 운영시간, 호출 및 배차 방식 등 정책 구성 요소와 연결하여 제시한다. KPI 섹션은 제안된 전략의 효과를 현장에서 모니터링하고 평가할 수 있도록 지표명, 정의, 산출식, 단위, 집계 기간, 목표 또는 해석 기준을 포함하는 형태로 구성한다. 마지막으로 근거 제시 섹션은 전략 및 KPI 항목별로 참조한 근거 스니펫을 매핑하여 출처를 추적 가능하게 제시함으로써, 초안이 임의적 서술로 확장되는 것을 억제하고 정책 항목별 검토 가능성을 높인다.
Ⅳ. 실험 및 결과
본 장에서는 제안한 RAG-LLM 기반 프레임워크가 입력 컨텍스트의 제공 수준에 따라 정책 응답의 구조적 일관성, 항목 충실성, 응답-컨텍스트 유사도, 지역 이질성 반영도에서 어떠한 차이를 보이는지를 비교·분석한다. 평가는 동일 질의 집합과 동일 모델 설정을 유지한 상태에서 입력 컨텍스트 제공 범위를 달리한 조건 비교 방식으로 수행하였다.
1. 실험 구성
실험에는 앞서 구축한(1) 그리드 단위로 집계한 DRT 운영 로그, (2) 동일 공간 그리드에 매핑한 사회경제지표, (3) DRT 관련 문헌 데이터셋을 사용하였다. 정책 초안 비교를 위해 컨텍스트 제공 수준에 따른 세 조건(C0–C2)을 정의하였으며, 각 조건의 입력 구성과 비교 목적은 <Table 4>에 요약하였다. C0는 외부 컨텍스트를 제공하지 않는 기준 조건이며, C1은 지역 진단 프로파일만을 제공하는 조건, C2는 지역 진단 프로파일과 문헌 근거를 함께 제공하는 조건으로, 본 연구에서 제안하는 프레임워크의 최종 구성에 해당한다.
본 연구는 지역 진단 정보의 주입 효과와 문헌 근거 결합에 따른 추가 효과를 단계적으로 검증하는 데 초점을 둔다. 이에 따라 문헌 근거만을 단독으로 제공하는 조건은 비교 축에서 제외하였다. 조건 간 비교 가능성을 확보하기 위해 모든 조건에서 동일한 질의 집합, 생성 모델, 출력 스키마를 적용하였으며, 출력 스키마는 “지역 진단–운영 전략–KPI–근거 제시” 구조로 고정하였다. 프롬프트 템플릿은 <Table 5>와 같이 시스템 역할, 입력 컨텍스트, 과업 정의, 생성 제약 조건, 출력 스키마로 구성하였다. C1과 C2에서는 제공된 입력 컨텍스트의 범위 안에서 진단, 전략, KPI, 근거 항목을 작성하도록 하였으며, 제공되지 않은 정보나 근거를 임의로 추가하지 않도록 제약하였다. C0는 지역 진단 프로파일과 문헌 근거를 제공하지 않은 기준 조건으로 설정하였으며, 동일한 출력 스키마를 적용하되 특정 지역 정보나 문헌 인용이 필요한 내용은 생성하지 않도록 하였다. 예산, 차량 대수, 운전자 수급, 관련 법제도와 같은 실무적 정책 제약 조건은 모든 사례 지역에 대 해 일관된 입력 변수로 구축되지 않으므로, 본 연구의 정책 초안 생성 과정에는 직접 반영하지 않았다. 입력 컨텍스트에 해당 정보가 없는 경우에는 이를 제안의 전제로 사용하지 않고, 추가 검토가 필요한 항목으로 구분하도록 하였다.
<Table 4>
Comparison conditions defined by context provision level (C0–C2)
| Condition | Provided Context | Purpose of comparison |
|---|---|---|
| C0 | - | Baseline without external context |
| C1 | Regional diagnostic profile (JSON) | Effect of structured regional diagnosis |
| C2 | Regional diagnostic profile + Literature-based evidence | Additional effect of literature-based evidence |
<Table 5>
Core prompt template enforcing evidence-grounded generation
| [System] DRT policy drafting assistant (audit-critical). Use provided inputs when available. [Inputs] REGION_JSON (optional), EVIDENCE_KB (optional) [Task] Output Schema: <Diagnosis> → <Strategy> → <KPI> → <Evidence> [Rules] Grounding: no unsupported claims. If missing support, write “Not specified / Insufficient evidence” Citations: cite key sentences with {R:field} and/or [S#] Traceability: each <Strategy> item must address at least one <Diagnosis> constraint KPI: define measurable KPIs; include formula/unit/target when evidence allows [Output] <Diagnosis>, <Strategy>, <KPI>, <Evidence> |
2. 평가지표
평가에는 정책 초안의 형식적 일관성과 내용적 충실성을 함께 비교하기 위해 정량 평가와 정성 분석을 병행하였다. 정량 평가는(1) 출력이 사전 정의한 출력 스키마를 준수하는지를 평가하는 SCR-Formal(Schema Compliance Rate-Formal), (2) 각 섹션별 필수 정보 항목의 충실도를 평가하는 FC(Field Completeness), (3) 생성 응답과 입력 컨텍스트 간 의미적 정합성을 평가하는 ACS(Answer-Context Similarity), (4) 생성된 정책 초안이 지역별 핵심 특징 변수를 진단 및 운영 문장에 얼마나 반영하는지를 평가하는 RHA(Regional Heterogeneity Alignment)의 네 지표를 사용하였다. 각 지표는 조건 에서 생성된 응답 집합을 기준으로 산출하며, 해당 조건의 응답 수를 로 둔다. 한편 정량 지표만으로 확인하기 어려운 “지역 진단–운영 전략–KPI–근거 제시” 구조 내 항목 간 논리적 연결성과 근거 제시의 명시성은 정성 분석에서 검토하였다.
SCR-Formal은 정책 초안이 사전에 정의한 출력 스키마를 따르는지 확인하기 위한 지표이다. 본 연구의 출력 스키마는 “지역 진단, 운영 전략, KPI, 근거 제시”의 4개 섹션으로 구성된다. 전체 필수 섹션 집합을 로 정의하고, 각 샘플 에서 실제로 포함된 섹션의 집합을 로 둔다. 최종 SCR-Formal 점수는 조건 의 응답 개에 대하여 각 샘플의 구조 준수 비율을 합산·평균한 값으로 정의되며, 수식 (1)과 같다.
이 지표는 조건별 산출물이 동일한 출력 스키마를 충족하는지를 확인함으로써 이후 FC, ACS, RHA를 동일한 비교 틀에서 해석하기 위한 형식적 전제 조건을 점검하는 데 사용한다.
FC는 필드 충실도를 평가하기 위한 지표이다. 본 연구에서 FC는 정책 응답이 출력 스키마 내 필수 레이블을 포함하는지를 기준으로 산출한다. 근거 제시 섹션의 포함 여부는 SCR-Formal에서 확인하므로, FC는 진단, 전략, KPI 섹션의 필수 레이블을 대상으로 한다. <Table 6>에 제시한 바와 같이 필수 레이블 정보 집합은 진단 3개, 전략 3개, KPI 5개로 구성되며, 총 11개이다.
필수 레이블 집합을 , 샘플 의 생성 응답을 , 레이블 포함 여부를 판별하는 지시 함수를 로 둔다. 조건 의 응답 수를 라 할 때 FC는 수식 (2)와 같이 계산한다.
여기서 는 응답 에 필수 레이블 가 포함되면 1, 포함되지 않으면 0의 값을 갖는 지시 함수이다. FC는 정책 검토에 필요한 최소 정보 단위의 누락 여부를 비교하기 위한 지표로, 필수 레이블의 포함 여부를 평가한다. 따라서 각 레이블에 포함된 서술 내용의 정책적 타당성, KPI 산출식의 현장 적용 가능성, 제안 전략의 실제 효과는 직접 평가하지 않는다.
<Table 6>
Required labels used for FC calculation
| Section | Required labels |
|---|---|
| Diagnosis | Regional overview; regional characteristics; key issues |
| Strategy | Service area; operating method; core strategy |
| KPI | KPI name; definition; calculation formula; unit / aggregation period; objective / interpretation |
ACS는 생성 응답과 입력 컨텍스트 간 의미 유사도를 평가하기 위한 지표이다. 본 연구에서는 ACS를 생성 응답이 제공된 지역 진단 정보와 문헌 근거의 의미적 범위를 반영하는지를 비교하기 위한 보조 지표로 사용하였다. 샘플 의 생성 응답을 , 입력 컨텍스트 로 둔다. C1에서 는 지역 진단 프로파일이며, C2에서 는 지역 진단 프로파일과 문헌 근거를 결합한 입력이다. C0는 외부 컨텍스트를 제공하지 않으므로 ACS 산출 대상에서 제외한다.
본 연구는 평가용 임베딩 모델로 BAAI/bge-m3(Chen et al., 2024)를 사용하였다. 생성 응답과 입력 컨텍스트를 각각 임베딩 벡터로 변환하고, 두 임베딩 벡터 간 코사인 유사도(Cosine similarity)를 조건별로 평균하여 ACS를 산출한다. 조건별 ACS 산출 대상 응답 수를 로, 임베딩 함수를 로 정의할 때 ACS는 수식 (3)과 같이 계산한다.
여기서 와 는 각각 생성 응답과 입력 컨텍스트의 임베딩 벡터이다. ACS 값이 높을수록 생성 응답이 제공된 입력 컨텍스트와 더 높은 유사도를 보였음을 의미한다. 다만 ACS는 임베딩 기반 의미 유사도 지표이므로, 높은 값이 생성 응답의 사실 정확성, 정책적 적절성, 또는 현장 적용 가능성을 직접 보장하는 것은 아니다.
RHA는 지역별 핵심 특징 변수가 생성된 정책 초안의 진단 및 운영 전략 문장에 반영된 정도를 평가하기 위한 지표이다. 본 연구에서는 지역 특징 추출 모듈에서 XGBoost 기반 수요 예측 모델을 대상으로 TreeExplainer를 적용하고, 이를 통해 산출한 지역별 평균 절대 SHAP 값(Mean absolute SHAP value)을 특징 변수 중요도로 사용하였다(Lundberg and Lee, 2017;Lundberg et al., 2020). 각 지역의 핵심 특징 변수는 SHAP 값 상위 8개 특징 변수로 선정하였다. RHA 계산에서는 상위 8개 특징 변수의 중요도 합이 1이 되도록 정규화한 뒤, 이를 특징 변수별 가중치로 적용하였다.
지역 의 번째 핵심 특징 변수에 대한 중요도를 , 정규화 가중치를 , 조건 에서 해당 특징 변수와 생성된 진단·전략 문장 간 반영 점수(alignment score)를 로 둔다. 이때 지역 의 RHA는 수식 (4)와 같이 계산한다.
여기서 는 특징 변수명의 직접 출현 여부, 특징 변수 설명과 생성 문장 간 토큰 겹침, 동일한 임베딩 모델로 변환한 벡터 간 코사인 유사도를 결합하여 산출하였다. 조건 에서 평가한 응답 수를 라 할 때, 조건별 평균 RHA는 수식 (5)와 같이 계산한다.
RHA가 높을수록 생성된 정책 초안의 진단 및 운영 전략 문장이 해당 지역의 핵심 특징 변수를 더 많이 반영했음을 의미한다. RHA는 지역 이질성 반영도를 조건별로 비교하기 위한 보완 지표이며, 실제 정책 효과나 실무 제약 충족 여부를 직접 평가하지 않는다.
3. 정량 평가 결과
정량 평가는 지역별 수요 및 운영 여건의 이질성을 고려하여 선정한 10개 사례 지역(A–J)을 대상으로 수행하였다. 각 사례 지역에 대해 C0, C1, C2 조건에서 동일 질의와 동일 출력 스키마를 적용해 정책 초안을 생성하고, SCR-Formal, FC, ACS, RHA를 산출하였다. <Table 7>은 조건별 평균 정량 지표 결과를 제시한다. C0는 외부 컨텍스트를 제공하지 않는 기준 조건, C1은 지역 진단 프로파일을 제공한 조건, C2는 지역 진단 프로파일과 문헌 근거를 함께 제공한 조건이다. 따라서 C0와 C1의 차이는 지역 진단 프로파일 제공에 따른 변화를, C1과 C2의 차이는 문헌 근거 결합의 추가 효과를 비교하기 위한 기준으로 해석하였다. 전체적으로 SCR-Formal은 모든 조건에서 동일하였고, FC, ACS, RHA는 C2에서 가장 높은 값을 보였다.
<Table 7>
Average performance comparison across 10 regions
| Condition | SCR-Formal | FC | ACS | RHA |
|---|---|---|---|---|
| C0 | 1.000 | 0.455 | - | 0.193 |
| C1 | 1.000 | 0.745 | 0.589 | 0.898 |
| C2 | 1.000 | 1.000 | 0.666 | 0.988 |
SCR-Formal은 모든 조건에서 1.000으로 나타났다. 이는 출력 스키마 고정이 조건 간 비교에 필요한 형식적 전제 조건을 충족했음을 의미한다. 따라서 이후 FC, ACS, RHA에서 관찰되는 차이는 출력 형식의 차이가 아니라, 입력 컨텍스트 제공 수준의 차이에 의해 발생한 효과로 해석할 수 있다. SCR-Formal은 조건별 응답이 동일한 형식 기준을 충족했는지 확인하는 통제 지표로 해석하였다.
FC는 C0에서 0.455, C1에서 0.745, C2에서 1.000으로 단계적 증가를 보였다. 이는 외부 컨텍스트가 없는 C0에서는 “지역 진단–운영 전략–KPI–근거 제시” 구조 자체는 유지되더라도 KPI의 정의·산출식·단위, 집계 기간, 목표 또는 해석 기준 등 섹션 내부의 필수 레이블이 누락되는 경우가 많았음을 의미한다. 반면 C1에서는 지역 진단 프로파일 제공으로 진단과 전략 서술이 구체화되면서 항목 누락이 완화되었다. C2에서는 문헌 근거까지 함께 제공되면서 전략과 KPI를 근거와 연결하여 구성하는 과정이 안정화되었고, 전 항목에서 필수 필드가 충족되는 경향이 확인되었다. 이는 C2 응답이 정책 검토에 필요한 최소 정보 단위를 가장 안정적으로 포함했음을 의미한다.
ACS는 외부 컨텍스트가 제공된 C1과 C2에 대해서만 산출하였다. 평균 ACS는 C1에서 0.589, C2에서 0.666으로 나타났다. C2 생성 응답은 C1 생성 응답보다 입력 컨텍스트와 더 높은 의미 유사도를 보였다. 이는 지역 진단 프로파일에 문헌 근거를 함께 제공한 조건에서 응답이 입력 컨텍스트의 의미적 범위와 더 가깝게 작성되었음을 의미한다. <Fig. 2>의 지역별 비교에서도 10개 사례 지역(A–J) 모두에서 C2의 ACS가 C1보다 높게 나타났다. 따라서 ACS의 증가는 특정 지역에 한정된 결과라기보다, 사례 지역 전반에서 일관되게 확인된 경향으로 해석할 수 있다. 다만 ACS는 의미 유사도 기반 지표이므로, 높은 값이 정책 내용의 사실 정확성이나 현장 적합성을 직접 의미하지는 않는다.
RHA는 C0에서 0.193, C1에서 0.898, C2에서 0.988로 나타났다. C0의 낮은 RHA 값은 외부 지역 진단 정보 없이 생성한 응답에서 지역별 핵심 특징 변수가 진단 및 운영 전략 문장에 제한적으로만 반영되었음을 의미한다. C1에서 RHA가 크게 증가한 것은 지역 진단 프로파일 제공이 응답의 지역 핵심 특징 변수 반영도를 높이는 데 주요하게 작용했음을 보여준다. C2에서 RHA가 C1보다 추가로 상승한 것은 문헌 근거의 결합이 지역 핵심 특징 변수를 보다 구체적인 진단 및 운영 전략 문장으로 전개하는 데 보조적으로 기여했음을 의미한다. 다만 C1에서도 이미 높은 RHA 값이 나타났으므로, C2의 추가 상승은 새로운 지역 특성이 추가로 반영되었다기보다 지역 진단 정보와 문헌 근거의 결합을 통해 핵심 특징 변수가 응답 문장에 더 안정적으로 반영된 결과로 해석하는 것이 적절하다.
종합하면, A–J 10개 사례 지역에 대한 정량 결과에서 SCR-Formal은 모든 조건에서 동일하였고, FC, ACS, RHA에서는 C2가 가장 높은 값을 보였다. 이는 출력 스키마가 통제된 상태에서 지역 진단 프로파일과 문헌 근거를 함께 제공한 조건이 필수 레이블 포함, 응답-컨텍스트 유사도, 지역별 핵심 특징 변수 반영 측면에서 가장 높은 값을 보였음을 의미한다. 다만 본 정량 평가는 자동 산출 가능한 지표를 기준으로 조건별 정책 초안을 비교한 것이며, 실제 운영 성과나 예산·차량·법제도 등 실무 제약의 충족 여부를 직접 검증한 것은 아니다.
4. 정성 평가 결과
정성 평가는 정량 지표가 포착하기 어려운 “지역 진단–운영 전략–KPI–근거 제시” 구조 내 항목 간 논리적 연결성과 근거 제시의 명시성을 검토하기 위해 수행하였다. 사례 지역의 여건과 C0–C2 응답 간 차이를 요약한 결과는 <Table 8>에 제시하였다. 본 절에서 사용한 사례 지역은 67개 지역 중에서도 75세 이상 고령 인구 비중이 높고, 지하철 부재와 제한된 노선 운행 빈도로 인해 주요 시설 접근성이 취약하며, 폭염·열대야와 같은 기후 스트레스가 동시에 나타나는 지역이다. 본 절에서는 동일 지역 사례를 기준으로 C0–C2 응답을 비교하고, (1) 진단의 지역 맥락 반영, (2) 운영 전략의 구체화, (3) KPI의 측정 가능성, (4) 근거와 주장 간 연결의 명시성을 중심으로 차이를 해석한다.
<Table 8>
Summary of qualitative differences across C0, C1, and C2 for the case region
| Evaluation aspect | C0 | C1 | C2 |
|---|---|---|---|
| Diagnosis | Generic issues listed | Region-specific signals included | Diagnostic result structurally organized |
| Strategy | Broad directions | Region-linked actions | Operational design specified |
| KPI | Incomplete | Partially specified | Measurable and complete |
| Evidence mapping | None | Limited / implicit | Explicit citation mapping |
| Overall draft completeness | Low | Moderate | High |
진단 단계에서는 C0가 일반적 진단에 머문 반면, C1과 C2는 사례 지역의 여건을 반영한 진단을 제시하였다. C0는 도시-농촌 접근성 격차, 고령화, 관광 인프라 제약 등 보편적 문제를 제시하였으나, 해당 지역의 수 요·이동 제약이 어떤 조건에서 발생하는지는 구체적으로 설명하지 못하였다. 반면 C1은 75세 이상 고령 인구 비중, 지하철 부재, 노선·운행 빈도 제약, 폭염·열대야 등 지역 진단 프로파일에 포함된 관측 신호를 직접 반영함으로써 진단의 구체성을 높였다. 다만 C1에서는 진단 정보가 문제 구조로 연결되기보다 병렬적으로 제시되는 경향이 남아, 정책 설계자가 활용할 수 있는 제약 조건의 논리적 구조화까지는 충분히 전개되지 않았다. C2는 고령자 이동성 제약, 보행 접근성 부족, 기후 부담을 고려하여 문제를 구성하고, 철도역·병원 등 주요 시설 접근성과 관련된 제약을 함께 제시하였다. 이는 C2가 사례 지역의 주요 제약을 진단 결과와 운영 전략이 대응되는 정책 검토 단위로 구조화했음을 의미한다.
전략 제안 단계에서는 C2가 진단 결과를 운영 설계 요소로 연결하는 정도가 가장 높게 나타났다. C0는 도시-농촌 연결 강화, 고령자 친화 서비스, 관광지 연계, 운영시간 조정 등 방향성은 제시하였으나, 운행권역 설정, 정류장 및 가상정류장 운영, 운영시간·공급량 조정 기준, 배차 규칙 등 DRT 정책 설계에서 필요한 운영 요소를 충분히 구체화하지 못하였다. C1은 고령 인구 집중 구역 우선 서비스, 폭염·열대야 기간 운영시간 및 공급 확대, 보행 접근성 취약 지역 우선 배치 등 지역 신호와 연계된 전략을 제시함으로써 전략 항목의 구체성을 높였다. 그러나 어떤 진단 정보가 어떤 전략 선택으로 이어지는지에 대한 연결 구조와 문헌 근거는 명시적으로 제시되지 않았다. C2는 고령자 중심 서비스 구역화, 기후 대응 운영, 주요 시설 연계 정류장 최적화, 수요 예측 기반 운영 등 전략을 제시하면서 진단에서 도출한 제약 조건을 운영 설계 요소로 직접 연결하였다. 이는 정책 검토자가 조정 대상 운영 요소를보다 명확하게 파악하는 데 기여한다.
KPI 및 근거 매핑 측면에서는 C2에서 측정 가능성과 근거 추적성이 가장 뚜렷하게 나타났다. C0는 KPI의 명칭과 개략적 정의를 제시하더라도 산출식, 단위, 목표 또는 해석 기준이 누락되어 평가 설계로서의 완결성이 제한적이었다. C1은 “고령 인구의 보행권 내 DRT 정류장 접근 비율”과 같이 지역 특성과 연결된 KPI 정의를 제시함으로써 개념적 적합성은 개선되었으나, 산출 방식과 목표 또는 해석 기준이 생략되는 경우가 남아 있었다. 즉, 실제 지역 특성을 반영하는 KPI 후보는 제시되었으나 이를 측정 가능한 평가 항목으로 구체화하는 데에는 한계가 있었다. C2는 KPI 정의와 함께 산출식(예: 주요 시설까지의 평균 거리), 단위 및 집계 기간, 목표 또는 해석 기준을 포함하여 KPI를 측정 가능한 형태로 제시하였다. 또한 [S1], [S4] 등 근거 출처를 연결하여 각 KPI와 전략이 어떤 문헌 근거에 기반하는지 확인할 수 있도록 하였다. 이는 사례 지역의 제약이 진단 서술에 머무르지 않고, 측정 가능한 KPI와 근거 제시 항목으로 연결되었음을 의미한다.
정성 평가를 종합하면, C1은 사례 지역 여건 반영을 강화하는 데 효과적이었으나 전략 및 KPI의 정당화와 검증 가능성까지 일관되게 확보하기에는 한계가 남았다. 반면 C2는 지역 진단, 운영 전략, KPI를 근거와 함께 연결하는 구조를 강화하여, 전략과 KPI가 어떤 근거에 기반하는지 응답 내부에서 확인할 수 있도록 하였다. 이는 정책 설계자가 검토·수정·보완을 수행하기 위한 초안으로서 C2의 완결성이 상대적으로 높게 나타났음을 의미한다. 대표 출력의 예시는 <Table 9>에 제시하였다.
<Table 9>
Representative excerpts of generated outputs for C0, C1, and C2 in the case region
| Condition | Output |
|---|---|
| C0 | <Diagnosis> Disparities in transportation accessibility between urban and rural areas. Public transport usage is low; demand is shifting due to population aging; tourist-oriented transport infrastructure is limited. DRT is proposed to connect urban areas, major tourist destinations, and rural regions, aiming to improve accessibility and tourist convenience. [ ... ] <Strategy> Strengthen urban–rural connectivity via expanded DRT service. Senior-friendly service: Improve convenience for older users. Tourist mobility support: Connect major tourist attractions using DRT. Flexible operations: Adjust operating hours based on demand to improve efficiency. Service expansion: Increase coverage to reduce accessibility gaps between urban and rural areas. [ ... ] <KPI> Service Utilization Rate Definition: Utilization rate of DRT services (used as a proxy for service efficiency). Formula / Unit / Target: Not specified in the output. [ ... ] <Evidence> None. |
| C1 | <Diagnosis> Aging-dominant region with limited public transport supply. A high share of residents aged 75+; no subway; limited routes and service frequency. Many heatwave and tropical-night days (and relatively many rainy days), which may increase summer mobility needs. Walkable access to public transport remains insufficient despite the high elderly population. <Strategy> Prioritize elderly-focused service and demand-adaptive operations. Priority zones: Serve areas with high elderly populations and key activity regions. Seasonal operations: Increase operating hours/vehicle supply during heatwave and tropical-night periods. Accessibility-first deployment: Target areas with poor walkable access to existing public transport to improve elderly mobility. Forecasting & flexible routing: Use demographic and climate signals for demand prediction; operate demand-driven routes rather than fixed routes. <KPI> Elderly Population Accessibility Index Definition: Percentage of residents aged 75+ living within walking distance of DRT stops. Formula / Unit / Target: Not specified in the output. <Evidence> None. |
| C2 | <Diagnosis> Accessibility constraints for elderly mobility, compounded by climate stress. Aging is prominent (75+); no subway; limited routes and low walkability. Walking distance to major facilities (e.g., rail stations, hospitals) is long, indicating inadequate accessibility. Frequent heatwaves and tropical nights intensify mobility difficulty, increasing the need for adaptive transport options [ ... ] <Strategy> Elderly-centered service design with accessibility and climate adaptation. Elderly-focused service zones: Prioritize high-elderly areas to enhance mobility convenience. Climate-response operations: Provide adaptive service during heatwave and tropical-night periods. Stop optimization: Add stops linked to key facilities (e.g., rail stations, hospitals) to improve access. Demand forecasting model: Use population and climate data to support efficient dispatch and operations. [ ... ] <KPI> Stop Accessibility Index [S1], [S4] Definition: Average distance from DRT stops to key facilities (e.g., rail stations, hospitals). Formula: (Average distance from DRT stops to key facilities) / 1000 Unit / Aggregation: km / quarterly Target / Interpretation: Reduce average distance to within 1 km. [ ... ] <Evidence> [S1]: Study on Improvement Measures for Bus Services in Rural and Fishing Village Areas [S4]: Public Transportation Accessibility and Improvement Directions in Rural and Fishing Village Areas [ ... ] |
5. 논의 및 고찰
본 연구의 결과는 지역 진단 프로파일과 문헌 근거를 결합한 RAG-LLM 구성이 DRT 운영 정책 초안을 구조화되고 검토 가능한 형태로 제시할 수 있음을 보여준다. 특히 C0, C1, C2 조건 간 비교 결과, 지표 차이는 단순한 정보량 증가라기보다, 입력 정보의 유형과 역할 차이에 의해 나타난 것으로 해석된다. C1은 지역 진단 프로파일을 제공함으로써 응답이 지역별 수요 및 운영 여건을 직접적으로 반영하도록 유도하였고, C2는 여기에 문헌 근거를 결합함으로써 지역 진단, 운영 전략, KPI 간 연결과 근거 제시를보다 명시적으로 강화하였다. 즉, 지역 진단 프로파일은 응답의 지역 특성 반영에 기여하였고, 문헌 근거는 전략과 KPI가 어떠한 근거에 기반하는지를 추적 가능한 형태로 정리하는 데 기여하였다. 이러한 결과는 DRT 정책 지원에서 지역 정보와 문헌 근거가 대체 관계에 있는 입력이 아니라, 서로 다른 역할을 수행하는 보완적 입력임을 보여준다.
또한 본 연구에서 채택한 “지역 진단–운영 전략–KPI–근거 제시” 구조는 생성형 AI 기반 정책 응답을 비교 및 검토 가능한 단위로 표준화한다는 점에서 방법론적 의미를 갖는다. DRT 정책 설계는 운행권역, 공급 규모, 배차 방식, 호출 방식, 요금 체계 등 다수의 운영 설계 요소를 포함하므로, 응답이 자유 서술형으로만 제시될 경우 지역 간 비교와 사후 검토가 어렵다. 반면 본 연구의 출력 구조는 정책 담당자가 진단, 전략, KPI, 근거를 항목별로 확인할 수 있도록 구성되어 있다. 특히 KPI와 근거를 응답 내부에 함께 제시함으로써 전략 선택의 판단 기준을 추적 가능한 형태로 남긴다. 이러한 점에서 본 프레임워크는 단순한 텍스트 생성 도구라기보다, 정책 담당자와 운영기관이 응답의 근거를 확인하고 수정·보완할 수 있도록 지원하는 정책 초안 작성 도구로 이해하는 것이 적절하다.
실무 적용 측면에서 본 프레임워크는 신규 도입 지역과 운영 조정 지역 모두에서 사전 검토 단계의 초안 작성을 지원할 수 있다. 신규 도입 지역에서는 운영 이력이 충분하지 않더라도 사회경제지표 기반의 지역 진 단을 통해 잠재 수요와 이동 취약성 관련 맥락을 정리할 수 있다. 운영 조정 지역에서는 지역 진단 프로파일과 문헌 근거를 결합하여 운영 전략 후보와 KPI를 체계적으로 구성하는 데 활용될 수 있다. 다만 본 연구의 평가는 응답의 구조적 완결성, 맥락 정합성, 지역 이질성 반영도, 근거 연결성을 중심으로 이루어졌다. 따라서 제안된 전략이 실제 운영 성과와 이용자 편익으로 얼마나 이어지는지, 또는 예산·차량·운전자 수급·법제도 제약을 충족하는지는 후속 연구에서 추가로 검증할 필요가 있다.
Ⅴ. 결 론
본 연구는 DRT 운영 정책 초안 생성을 위해 DRT 운영 로그와 사회경제지표에서 도출한 지역 진단 프로파일과 DRT 관련 문헌 근거를 결합하는 RAG-LLM 기반 정책 지원 프레임워크를 제안하였다. 제안 프레임워크는 지역 특징 추출 모듈, 도메인 지식 구축 모듈, 정책 생성 모듈로 구성되며, “지역 진단–운영 전략–KPI–근거 제시” 구조를 갖는 정책 초안을 생성하도록 설계하였다. 이를 통해 지역 데이터의 맥락 정보와 문헌 근거를 하나의 생성 절차 안에서 함께 활용할 수 있도록 하였다.
실험 결과, 지역 진단 정보와 문헌 근거를 결합한 조건(C2)에서 필드 충실도, 응답-컨텍스트 유사도, 지역 이질성 반영도가 가장 높게 나타났다. 정성 평가에서도 C2는 지역 진단, 운영 전략, KPI, 근거 제시 간 대응 관계를 가장 명확하게 제시하였다. 이는 지역 진단 프로파일이 지역별 수요 및 운영 여건을 응답에 반영하고, 문헌 근거가 전략과 KPI의 근거 출처를 추적 가능한 형태로 제시하는 데 기여했음을 보여준다. 특히 본 연구에서 채택한 출력 구조는 정책 담당자가 핵심 판단 요소와 관련 근거를 함께 확인할 수 있도록 하여, 생성형 AI 기반 정책 초안을 실무 검토 과정에서 활용 가능한 초안 형태로 제시할 수 있음을 보인다.
본 연구의 의의는 방법론 측면과 데이터 측면에서 정리된다. 방법론적으로는 지역 진단 프로파일과 문헌 근거를 결합하고, DRT 정책 응답을 구조화된 초안 형태로 제시하였다는 점에서 의미가 있다. 또한 “지역 진단–운영 전략–KPI–근거 제시” 구조를 통해 정책 응답을 비교 및 수정 가능한 단위로 구성함으로써, 정책 담당자가 생성 결과를 검토할 수 있는 형식을 제시하였다. 데이터 측면에서는 시뮬레이션이나 제한된 사례가 아닌 실제 DRT 운행 데이터를 활용하였고, 행정구역 평균치 수준의 사회경제지표 대신 500m × 500m 그리드 단위 사회경제지표를 활용하여 지역 내부의 이질성을 반영하고자 하였다.
다만 본 연구는 다음과 같은 한계를 가진다. 첫째, 평가는 SCR-Formal, FC, ACS, RHA와 같은 자동 산출 지표와 “지역 진단–운영 전략–KPI–근거 제시” 구조 내 항목 간 연결성에 대한 정성 분석을 중심으로 수행되었다. 따라서 생성된 정책 초안이 실제 운영 성과나 이용자 편익으로 이어지는지, 또는 예산·차량·운전자 수급·법제도 제약을 충족하는지는 직접 검증하지 못하였다. 둘째, 조건별 정량·정성 비교 평가는 67개 전체 지역 중 수요 및 운영 여건의 이질성을 고려하여 선정한 10개 사례 지역에 한정하였다. 향후에는 도시·농어촌 유형, 대중교통 공급 수준, DRT 운영 방식이 다른 지역으로 평가 범위를 확대할 필요가 있다. 셋째, 본 연구는 Mistral-Small-3.2-24B-Instruct-2506 단일 모델과 현재의 프롬프트 및 검색 설정을 기준으로 수행하였다. LLM, 프롬프트 설계, 검색된 문헌 근거의 범위에 따라 응답 품질이 달라질 수 있으므로, 다양한 모델과 설정에 대한 추가 비교가 필요하다.
향후 연구에서는 전문가 평가와 운영 데이터 기반 사후 검증을 통해 생성된 정책 초안의 실무 적합성과 실행 가능성을 추가적으로 검토할 필요가 있다. 또한 예산, 차량 대수, 운전자 수급, 법제도 조건을 입력 컨텍스트와 생성 제약 조건으로 명시적으로 반영하고, 최적화·시뮬레이션 모듈과 연계하여 제안 전략의 적용 가능성을 평가할 필요가 있다. 종합하면, 본 연구의 프레임워크는 DRT 정책 최종안을 자동 생성하는 도구가 아니라, 정책 담당자와 운영기관이 근거를 확인한 뒤 수정·보완할 수 있는 근거 기반 정책 초안을 구조화하여 제공하는 지원 도구로 이해하는 것이 적절하다.
