인공지능(AI)이 다양한 산업으로 빠르게 확산되고 있지만, 항공우주/국방 산업과 같은 한 번의 오류도 허용되지 않는 미션 크리티컬(mission-critical) 환경에서는 이야기가 다릅니다. AI를 도입하는 과정 자체가 다른 어떤 기술보다 높은 정밀성과 신뢰성을 요구합니다.
이때 주목해야 할 개념이 바로 ‘모델 기반 시스템 엔지니어링(Model-Based Systems Engineering, MBSE)’ 입니다. MBSE는 복잡한 시스템을 구조적으로 이해하고 설계하도록 돕는 디지털 엔지니어링의 핵심 프레임워크로 여기에 AI를 결합하면 기존 방식으로 해결하기 어려웠던 문제들까지 새로운 방식으로 접근할 수 있습니다.
물론, AI와 MBSE 조합이 무조건적인 혁신을 보장하는 것은 아닙니다. AI가 가진 한계와 잠재적 위험을 충분히 이해하고, 인간이 중심이 되는 관리 체계를 갖추었을 때 비로소 두 기술의 가치를 온전히 실현할 수 있습니다.
AI4SE와 SE4AI
AI와 시스템 엔지니어링이 만나는 교차점에서는 두 가지 핵심적인 접근 방식이 주목받고 있습니다. 바로 ‘시스템 엔지니어링을 위한 AI(AI4SE)’와 ‘AI를 위한 시스템 엔지니어링(SE4AI)’이라는 상호보완적 접근 방식입니다.
AI4SE는 말 그대로 시스템 엔지니어링 업무를 더 스마트하게 만드는 접근입니다. 대규모 언어 모델(LLM, 딥러닝의 하위 분야)이나 자연어 처리(NLP)와 같은 AI 기법을 활용해 요구사항 분석, 문서 처리, 모델 생성 같은 반복 작업을 자동화하고, 엔지니어링 효율을 크게 높여줍니다.
반면 SE4AI는 AI 자체가 더 신뢰성 있게 활용될 수 있도록 돕는 접근법입니다. 구조화된 시스템 엔지니어링 방법론을 적용해 AI의 적용 맥락을 명확히 하고, 결과가 어떻게 도출되었는지 설명 가능성, 추적성을 강화하는 역할을 합니다.
결국 두 가지는 경쟁하는 개념이 아니라 서로를 보완하며 AI 기반 디지털 엔지니어링을 더욱 견고하게 만드는 두 축이라고 볼 수 있습니다. 안정적이고 책임있는 디지털 전환을 이루기 위해서는 이 두 방향을 균형있게 고려하는 것이 무엇보다 중요합니다.
MBSE(모델 기반 시스템 엔지니어링)는 특히 항공우주/국방 산업처럼 안정성이 최우선인 분야에서 엔지니어링 워크플로우의 디지털 백본 역할을 합니다. MBSE는 시스템 아키텍처 모델을 생성하여 요구사항, 기능, 구성요소, 제약 조건 등이 어떻게 연결되고 있는지 구조적으로 모델링하고 시각화할 수 있도록 지원합니다. 말 그대로 ‘어디가 어떻게 연결되어 있는가’를 한눈에 보여주는 시스템의 뼈대입니다.
이러한 프레임워크에 AI를 도입할 때 중요한 점은 AI가 인프라의 기초가 아니라 ‘애플리케이션 레이어의 강화 요소’로 다뤄줘야 한다는 것입니다. 다시 말해, AI는 막연히 도입하는 것이 아니라 다음과 같은 명확한 활용 정의가 선행되어야 합니다.
- 어떤 문제를 해결할 것인지
- 어떤 데이터를 기반으로 할 것인지
- 규제 요구사항을 충족할 수 있는지
결국 AI 도입 성공 여부는 얼마나 명확한 비즈니스 목표에 기반해 활용되었는가에 달려 있습니다. 미션 중심적이고, 데이터에 기반하며, 규제를 충족하는 방식으로 적용될 때 AI는 MBSE의 가치를 더욱 강화하며 디지털 엔지니어링 혁신을 가속화합니다.
블랙박스 AI vs 화이트박스 AI – MBSE에서 왜 중요할까요?
MBSE에서 AI의 역할을 제대로 이해하려면 먼저 ‘블랙박스(Black Box) AI’와 ‘화이트박스(White Box) AI’의 차이를 구분하는 것이 중요합니다.
블랙박스 AI (Black Box AI)
신경망 기반의 LLM처럼 블랙박스 AI는 매우 강력한 성능을 보여주지만, 내부 작동 방식이 불투명하다는 한계가 있습니다. 얼굴 특징을 인식하거나 비정형 텍스트를 분석하는 등 뛰어난 결과를 만들어낼 수 있지만, 그 결론에 어떻게 도달했는지 설명할 수 없다는 점이 핵심 문제입니다.
이러한 투명성 부족은 항공우주/산업처럼 다음 요소들이 필수적인 환경에서는 치명적인 리스크가 됩니다.
- 설명 가능성 (Explainability)
- 추적성 (Traceability)
- 법적 책임 (Accountability)
이 때문에 업계에서는 블랙박스 AI의 설명 가능성과 추적성을 강화하기 위한 다양한 연구가 활발히 이어지고 있습니다.
화이트박스 AI (White Box AI)
블랙박스 AI와 달리 화이트박스 AI는 내부 작동 방식이 완전히 공개된 AI입니다. 전문가 시스템이나 규칙 기반 엔진처럼 결과가 나온 이유를 명확히 설명할 수 있는 구조를 가지고 있어, 투명성이 중요한 산업에서 오랫동안 활용되어 왔습니다.
특히 금융, 항공우주/방산 산업처럼 결정을 정당화해야 하고, 같은 결과를 반복해서 재현할 수 있어야 하며, 법적 책임을 수반하는 이른바 미션 크리티컬 분야에서 화이트박스 AI는 안정성과 신뢰성을 보장하는 핵심 요소로 자리 잡아왔습니다. 하지만 분명한 한계도 있습니다.
화이트박스 AI 한계
- 새로운 상황에 대한 적응력이 낮다
- 비전문가가 이해하기에는 구조가 복잡하다
- 주어진 규칙이나 지식의 한계에 따라 블랙박스 AI보다 정확도가 떨어질 수 있다
즉, 높은 투명성과 재현성이라는 장점이 있는 대신 유연성과 성능 면에서는 블랙박스 AI보다 제한적일 수 있다는 의미입니다.
AI를 적용할 때 가장 중요한 고려 요소 중 하나는 정확도(accuracy)와 설명 가능성(explainability) 사이의 트레이드오프입니다. 흔히 말하듯 만능 해결책(silver bullet)은 없다는 것이지요. 모든 문제를 완벽하게 해결할 수 있는 단일 AI 모델은 존재하지 않습니다. 따라서 어떤 AI 접근 방식을 선택하든 해결하려는 문제의 성격, 기대되는 결과, 감수해야 할 위험 수준을 명확하게 이해한 상태에서 평가해야 합니다.
데이터 품질과 모델 구조의 중요성
미션 크리티컬 환경에서 이러한 우려가 더욱 커집니다. AI 시스템이 한 번 잘못 판단하면 인명 피해로 이어질 수 있는 치명적 결과를 낳을 수 있기 때문입니다. 그렇기에 이 영역에서는 데이터의 품질과 모델 구조의 신뢰성이 무엇보다 중요합니다.
불완전·불균형·인공적으로 생성된 데이터로 학습된 AI는 신뢰할 수 있는 예측을 수행하기 어렵습니다. 특히 과거 데이터가 제한적인 고장이나 이상 상황에서는 더욱 그렇습니다. 대표적인 예가 항공 데이터입니다.
매년 전 세계에서 수백만 건의 항공편이 운항되지만, 그중 심각한 고장이 발생하는 비율은 극히 적습니다. 이는 학습 데이터의 심각한 불균형을 유발합니다. 이 문제를 해결하지 못하면 AI 모델은 성능이 가장 중요하게 요구되는 그 순간에 제 기능을 발휘하지 못할 수 있습니다.
지식 격차와 전문 인력의 부족
많은 조직이 AI 활용에 대한 지식 격차 문제도 함께 겪고 있습니다. 흔한 오해 중 하나는 LLM이 곧 AI의 전부라고 생각하는 것입니다. 일부 경영진은 단순히 LLM만 도입하면 복잡한 엔지니어링 문제가 해결될 것이라 기대하지만, 이는 AI가 가진 근본적 한계와 시스템 통합 과정에서 발생하는 기술적 위험을 충분히 이해하지 못한 데서 비롯됩니다.
여기에 전문 인력의 부족이라는 현실적인 문제도 더해집니다. MBSE 환경에서 AI를 제대로 활용하려면 단순한 모델 사용을 넘어 다음 역할을 수행할 수 있는 복합적 전문성이 요구됩니다.
- 자동화와 도메인 지식을 연결하는 능력
- 멀티에이전트 시스템 구축
- 안전한 서비스 개발
- 데이터 파이프라인 관리
- 유기·합성 데이터의 생성, 정제, 학습 및 테스트 수행
즉, MBSE에서 AI를 성공적으로 적용하기 위해서는 AI 기술 역량, 시스템 엔지니어링 전문성, 그리고 데이터 엔지니어링 능력이 모두 요구됩니다. 많은 조직이 전문성을 갖춘 인력이 부족하기 때문에, AI 도입 과정에서 어려움을 겪게 되는 것입니다.
휴먼인더루프(Human-in-the-loop)가 MBSE에서 필수인 이유
앞서 언급한 여러 한계와 위험을 해결하기 위한 핵심 접근법 중 하나가 바로 휴먼인더루프(Human-in-the-loop) 방식입니다. AI가 생성한 결과물이 업무 맥락에 적합하고, 신뢰할 수 있으며, 윤리적으로 문제가 없는지를 보장하기 위해 반드시 인간의 검증과 감독이 필요합니다.
특히 A&D 산업처럼 복잡한 규제와 모든 결정이 설명 가능하고 방어 가능해야 하는 산업에서는 인간의 개입이 더욱 중요합니다. AI가 아무리 자동으로 설계나 요구사항을 생성하더라도, 결국 엔지니어의 최종 검토와 판단을 거쳐야만 실제 시스템에 반영될 수 있기 때문입니다.
휴먼인더루프(Human-in-the-loop) 시스템은 AI가 만들어낸 결과를 그대로 쓰지 않고, 도메인 전문가가 먼저 확인하고 검증한 뒤 의사결정에 반영할 수 있게 해주는 프로세스입니다. 이 과정을 통해 품질 관리가 강화되고, AI 결과에 대한 신뢰도가 높아지며, 법적·규제적 기준을 충족하는 능력도 향상됩니다.
CATIA Magic: 모델러와 비모델러를 연결하는 실질적인 다리
다쏘시스템(Dassault Systèmes)의 CATIA Magic은 MBSE에서 모델러와 비모델러를 자연스럽게 연결해주는 핵심 도구입니다. 스프레드 시트 동기화, 사양 모델링(specification modeling)과 같은 기능을 통해 흩어진 데이터를 한곳으로 모으고, 모델 중심의 협업 환경을 구축할 수 있도록 지원합니다.
실제로 많은 엔지니어들은 여전히 모델링 도구보다 스프레드시트와 문서 작업에 익숙합니다. CATIA Magic을 포함한 MBSE 플랫폼은 이러한 문서 기반 워크플로우를 통합해, 자동 데이터 가져오기, 사양에 대한 협업 검증, 일관된 시스템 모델 구축을 가능하게 합니다.
AI가 없어도 MBSE 자동화 도구 자체만으로도 반복적인 수작업을 줄이고 모델 생성 과정을 훨씬 단순하고 효율적으로 만들 수 있다는 점이 CATIA Magic의 중요한 가치입니다.
AI가 적용되면 MBSE 생산성은 어떻게 달라질까요? AI가 MBSE 프로세스에 적용되면 생산성은 한 단계 더 올라갑니다. 예를 들어, LLM을 활용해 비정형 문서에서 요구사항 같은 핵심 정보를 자동으로 추출하면, 엔지니어가 바로 작업을 시작할 수 있는 초기 모델 초안(draft)을 AI가 먼저 만들어 줍니다.
그러니까 이제는 문서 해석 -> 요구사항 수집 -> 구조화 이 모든 과정을 사람이 직접 반복할 필요 없이, AI가 1차 정리를 해주고 엔지니어는 검토 및 보완에만 집중할 수 있게 되는 것입니다. 이렇게 AI는 자동화의 출발점을 만들어주고, 그 위에서 사람이 품질과 정확도를 끌어올리며 MBSE 생산성 전체가 크게 향상됩니다.
MBSE와 AI의 양방향 흐름: 하이브리드 시스템의 완성
MBSE와 AI의 결합은 단순히 일방적인 보완 관계가 아닙니다. AI4SE와 SE4AI 두 패러다임을 동시에 강화하는 양방향 구조가 핵심입니다. 여기서 중요한 포인트는 다음 두 가지 흐름이 동시에 이루어진다는 점입니다.
1) AI -> MBSE: 비정형 데이터를 구조화된 정보로 전환
AI는 문서, 스프레드시트, 이메일, 보고서 같이 흩어져 있는 비정형 데이터를 MBSE에서 활용할 수 있는 요구사항, 매개변수, 사양 정보로 자동 변환합니다.
2) MBSE -> AI: AI의 행동을 규정하는 맥락과 규칙 제공
반대로 MBSE는 시스템 아키텍처, 구성요소 간 관계, 제약 조건, 기능 흐름 등 AI가 따라야 할 구조적 맥락과 규칙을 제공합니다.
이 양방향 구조가 중요한 이유는 하이브리드 AI 시스템에서는 블랙박스 AI의 불투명성을, 화이트박스 구조로 보완하기 때문입니다. MBSE 모델은 AI 행동의 논리적 근거를 제공함으로써 설명 가능성, 추적성, 안정성이 크게 강화합니다.
합리적인 의사결정의 기반은 ‘맥락을 이해하는 인간의 판단’
AI가 아무리 발전해도 중요한 의사결정의 마지막 단계는 여전히 인간의 몫입니다. 그 이유는 바로 ‘맥락(Context)’을 이해하는 능력이 아직까지는 인간에게만 있기 때문입니다.
우리가 데이터를 활용해 의미 있는 결정을 내리기까지는 다음과 같은 단계가 필요합니다. 이를 설명할 때 흔히 DIKW(데이터-정보-지식-지혜) 계층 구조가 활용됩니다.
- Data(데이터): 가공되지 않은 원시 정보
- Information(정보): 구조화된 형태로 정리된 데이터
- Knowledge(지식): 맥락이 더해져 도메인 의미를 갖춘 정보
- Wisdom(지혜): 전략적 판단과 의사결정에 활용되는 수준
AI는 데이터를 구조화해 정보 수준까지 끌어올리는 데 큰 역할을 할 수 있습니다. 하지만 정보를 ‘지식’으로 바꾸는 단계, 즉 ‘이 정보가 어떤 의미를 갖고, 어떤 시스템 맥락 안에 놓여 있는가’를 판단하는 데에는 여전히 MBSE가 제공하는 구조적 맥락이 필요합니다. 그리고 마지막 단계인 지혜, ‘이 상황에서 무엇을 선택해야 하는가?’, ‘어떤 리스크를 감수할 수 있는가?’와 같은 전략적, 윤리적 판단은 AI가 대신할 수 없는 인간 고유의 영역입니다.
A&D 산업처럼 잘못된 판단이 인명 피해로 이어질 수 있는 산업에서는 AI가 아무리 정확해도, 인간의 검증과 판단이 반드시 필요합니다. AI는 편리한 도구이지만 맥락의 미묘한, 윤리, 책임, 전략적 의도까지 이해하고 결정하는 수준에는 도달하지 못했기 때문입니다.
이 지점에서 AI 도입과 관련해 자주 나오는 질문이 있습니다. ‘AI가 MBSE 도입을 가속화할까?’ 결론부터 말하면, 그 답은 단순한 ‘예’도, ‘아니오’도 아닙니다.
AI는 확실히 전통적인 문서 중심 조직이 시스템 엔지니어링으로 전환하는데 도움을 줄 수 있습니다. 예를 들어, 문서에서 요구사항을 자동 추출해주는 기능, 흩어진 데이터를 더 쉽게 통합하고 정리해 주는 기능 등 이러한 기능들은 조직이 MBSE를 시작하는 데 필요한 초기 진입 장벽을 낮춰줍니다.
AI가 MBSE의 도구나 프로세스를 대체하는 것은 아닙니다. 오히려 AI는 시스템 엔지니어링 전체 생태계를 보완하며, 그 지원 덕분에 MBSE의 가치와 효과는 더욱 확대됩니다. 다만 MBSE를 조직에 온전히 정착시키기 위해서는 조직 구조와 업무 방식의 변화, 체계적인 교육과 인력 역량 강화, 그리고 충분한 기술 전문성 확보가 반드시 필요합니다.
AI의 한계를 이해하는 것이 성공의 핵심
AI의 한계를 올바르게 이해하는 것은 MBSE에 AI를 성공적으로 적용하기 위한 핵심 요소입니다. 앞으로 AI 기반 MBSE가 제대로 자리 잡기 위해서는 도메인 일관성, 맥락 기반의 모델링, 그리고 AI가 가진 기술적·실무적 한계에 대한 명확한 인식이 반드시 필요합니다.
이 과정에서 휴먼인더루프 시스템은 계속해서 중요한 역할을 담당하게 됩니다. 디지털 엔지니어링 생태계 안에서 각 구성 요소가 어떤 역할을 해야 하는지 분명하게 규정해주는 구조적 프레임워크와 함께 인간의 검증과 판단은 AI가 안전하게 활용될 수 있는 기반이 됩니다.
결국 중요한 원칙은 변하지 않습니다. AI를 MBSE에 적용하든, MBSE를 활용해 AI를 구조화하든 지능형 시스템의 신뢰성은 그것을 감독하는 인간의 판단만큼만 확보될 수 있다는 것입니다.
🔎 A&D 산업 혁신을 위한 다쏘시스템 솔루션 살펴보기
출처: Human-in-the-Loop AI in Model-Based Systems Engineering Turbocharges Defense Manufacturing