김해시, 전국 지자체 최초 '행정·법률 특화 AI 검색 모델' 자체 개발 및 공개 배포

김해시가 전국 지방자치단체 가운데 처음으로 행정 문서와 법령에 특화된 인공지능(AI) 검색 모델을 자체 개발하고, 누구나 무료로 쓸 수 있도록 공개 배포한다고 밝혔다.

이번 모델은 ‘행정 전용 검색 AI’로, 수많은 행정 문서와 복잡한 법령 속에서 공무원이나 시민이 찾는 정확한 답을 빠르게 찾아준다. 김해시 AI정책과 공무원들이 직접 개발했으며, 고성능 그래픽처리장치(GPU) 서버를 자체 구축한 뒤 다국어 AI 모델(BGE-M3)에 공개된 AI허브 데이터 셋을 통해 약 60만 건의 행정 문서 학습 데이터와 행정법 데이터를 집중적으로 학습시키는 파인튜닝(미세조정) 기술을 적용했다.

이 모델은 문서의 의미를 빠르게 훑어 관련 후보를 추려 내고(임베딩), AI가 후보들을 꼼꼼히 대조해 가장 정확한 답을 맨 위로 끌어올리는(리랭커) 두 단계를 거쳐 정확도를 높였다.

또한, 외부 인터넷과 분리된 시청 내부망에서만 작동하여 시민 개인정보와 대외비 문서 유출 우려가 없으며, 자체 서버에서 직접 운영하므로 외부 유료 서비스 사용료 부담도 없다.

김해시는 자체 개발한 이 모델을 세계 최대 AI 공유 플랫폼 ‘허깅페이스(Hugging Face)’에 공개 배포하여 전국 240여 개 지자체 및 공공기관, 대학·연구소 등이 비용이나 보안 걱정 없이 활용할 수 있도록 할 예정이다. 이를 통해 국가 전체의 예산을 절감하는 효과도 기대된다.

앞으로 김해시는 이 모델을 기반으로 신뢰할 수 있는 자료를 검색하여 답변하는 방식(RAG)을 통해 AI의 ‘환각’ 현상을 줄이고, 민원 안내, 법령·지침 검색, 행정 상담 등 시민이 체감할 수 있는 행정 특화 서비스를 단계적으로 선보일 계획이다.

김해시 관계자는 “이번 모델 개발과 무상 공개는 김해시가 기술을 단순히 사다 쓰는 데서 나아가 직접 만들어 나누는 단계로 올라섰다는 의미”라며 “앞으로 시민을 위한 맞춤형 AI 행정서비스를 꾸준히 발굴하고, 전국 공공기관과 함께 성장하는 디지털 환경을 만드는 데 앞장서겠다”고 말했다.