---
title: 사용자는 AI가 왜 그렇게 답했는지 알고 싶다
description: "AI가 UI 안에 스며드는 시대, 사용자는 왜 AI를 불신하고, 디자이너는 어떻게 신뢰를 설계할 수 있을까요? NNGroup의 State of UX 2026을 중심으로 설명 가능한 AI(XAI) 디자인의 네 가지 원칙을 살펴봅니다."
createdAt: 2026-04-15
author: 올리비아
category: tech
jobCategory: design
tags: [UX, AI, 설명 가능한 AI, 신뢰 디자인, XAI]
featured: false
canonical: "https://blog.careernote.io/article/designing-trust-in-ai-explainable-ux-principles"
source: CareerNote Blog
language: ko
---
어제 퇴근길, 음악 앱이 추천해준 플레이리스트를 틀었습니다. 첫 곡이 흘러나오는 순간 고개를 갸웃거렸습니다. 제 취향이 아니었거든요. 그런데 왜 이 곡이 추천되었는지 어디에도 설명이 없었습니다. 다음 곡도, 그다음 곡도 마찬가지였습니다. 저는 결국 플레이리스트를 닫고 직접 곡을 검색했습니다. 그 앱의 AI가 얼마나 정교한 알고리즘을 쓰는지는 모르겠지만, 제가 느낀 것은 단 하나 — "이 추천을 믿을 수 없다"는 감각이었습니다.

2026년, AI는 더 이상 별도의 기능이 아닙니다. 검색 결과를 요약하고, 이메일 초안을 쓰고, 일정을 조율하며 UI 안에 조용히 스며들고 있습니다. 그런데 흥미롭게도, AI의 능력이 커질수록 사용자의 신뢰는 오히려 흔들리고 있습니다.

## 사용자는 왜 AI를 불신하는가

닐슨 노먼 그룹(NNGroup)은 올해 발표한 *State of UX 2026* 보고서에서 **신뢰**를 2026년 UX의 최대 과제로 지목했습니다. AI 도입은 가속화되고 있지만, 준비되지 않은 채 출시된 AI 에이전트들이 사용자 경험을 훼손하면서, 한 번 데인 사용자들은 새로운 AI 기능에도 더 경계하게 된다는 것입니다.

인지심리학에서는 이 현상을 **자동화 편향**(Automation Bias)의 이면으로 설명합니다. 자동화 편향이란 자동화된 시스템의 추천을 자신의 판단보다 과도하게 신뢰하는 경향을 말합니다(Springer, AI & Society, 2025). 그런데 이 편향이 한 번 깨지면 — 즉 AI가 틀린 추천을 하거나 기대와 다른 결과를 내놓으면 — 사용자는 반대 극단으로 이동합니다. 시스템 전체를 불신하게 되는 것이죠. Frontiers in Psychology(2024)의 연구에 따르면, AI에 대한 신뢰는 상태적 신뢰(situational trust)와 성향적 신뢰(dispositional trust)로 나뉘는데, 상태적 신뢰는 맥락에 따라 급격히 변동합니다. 한 번의 나쁜 경험이 전체 시스템에 대한 신뢰를 무너뜨릴 수 있다는 뜻입니다.

저도 비슷한 경험이 있습니다. 예전에 공공기관의 뉴스레터 디자인을 맡았을 때, 가장 많은 시간을 쏟은 건 화려한 비주얼이 아니라 **정보의 위계를 정리하는 일**이었습니다. 기사 제목, 요약, 이미지의 비율과 흐름을 명확히 잡아야만 독자가 "이 정보는 믿을 만하다"고 느꼈거든요. 결국 신뢰의 출발점은 "내가 지금 무엇을 보고 있는지 이해할 수 있는가"라는 감각에 있었습니다.

## 신뢰의 네 기둥: 투명성, 통제감, 일관성, 실패 지원

NNGroup은 AI 경험에서 신뢰를 구축하기 위한 네 가지 기본 원칙을 제시합니다. **투명성**(Transparency), **통제감**(Control), **일관성**(Consistency), 그리고 **시스템이 실패했을 때의 지원**(Support when the system fails)입니다.

이 네 가지는 언뜻 당연해 보이지만, 하이데거(Martin Heidegger)의 기술 철학을 떠올리면 그 깊이가 달라집니다. 하이데거는 도구가 잘 작동할 때 우리는 도구의 존재를 의식하지 못한다고 했습니다. 망치로 못을 박을 때 우리는 망치를 인식하지 않습니다. 그런데 망치가 부러지는 순간, 망치는 비로소 "대상"으로 우리 앞에 나타납니다. 그는 이를 각각 **손안의 존재**(Zuhandenheit)와 **눈앞의 존재**(Vorhandenheit)라 불렀습니다.

AI도 마찬가지입니다. AI가 배경에서 조용히 잘 작동하면 사용자는 그 존재를 의식하지 않습니다. 하지만 AI가 예상과 다르게 행동하는 순간 — 추천이 빗나가거나, 자동 요약이 핵심을 놓치거나 — AI는 갑자기 "눈앞의 존재"가 됩니다. 이때 사용자에게 아무런 설명이 제공되지 않으면, 그것은 부러진 망치를 손에 쥔 채 왜 부러졌는지 모르는 상태와 같습니다. 신뢰가 무너지는 건 당연합니다.

디자이너의 역할은 바로 이 지점에 있습니다. AI가 **손안의 존재**로 머물 수 있도록 매끄러운 경험을 설계하되, 깨지는 순간에도 사용자가 당황하지 않도록 **투명한 되돌림 경로**를 마련해두는 것입니다.

## 보이지 않는 AI, 보여야 하는 이유

2026년, AI 인터페이스의 가장 두드러진 변화는 **앰비언트 AI**(Ambient AI)의 부상입니다. AI가 별도의 버튼 뒤에 숨는 것이 아니라, UI 안에 보이지 않는 레이어로 스며들어 인지 부하를 줄이는 방식이죠. 동시에 인터랙션 패러다임 자체가 **대화형 UI**(Conversational UI)에서 **위임형 UI**(Delegative UI)로 전환되고 있습니다. 챗봇과 대화하는 것에서, AI 에이전트에게 작업을 맡기고 관리하는 방식으로 바뀌는 것입니다.

이 전환은 설명 가능한 AI(Explainable AI, XAI) 디자인을 더 절실하게 만듭니다. 사용자가 직접 작업하지 않고 AI에게 위임한다면, AI가 왜 그런 결정을 내렸는지 이해하는 것이 더 중요해지기 때문입니다. XAI 시장이 2032년까지 332억 달러 규모로 성장할 것이라는 전망(Gartner)도 이 맥락에서 나옵니다.

돈 노먼(Don Norman)의 감성 디자인 이론은 여기서 실마리를 줍니다. 노먼은 디자인 경험을 세 단계로 나누었습니다. **본능적 반응**(Visceral) — 첫인상에서 느끼는 감각, **행동적 반응**(Behavioral) — 사용 과정에서의 효율과 만족, **성찰적 반응**(Reflective) — 사용 후 떠올리는 의미와 해석. AI 신뢰는 이 세 단계 모두에서 작동합니다. 첫 화면에서 AI의 역할이 시각적으로 명확히 드러나야 하고(본능적), 사용 중 AI의 판단이 부드럽게 전달되어야 하며(행동적), 사용 후 "이 AI는 나를 이해하고 있다"는 감각이 남아야 합니다(성찰적).

예전에 기능성 제품의 광고 디자인을 맡았을 때 비슷한 원리를 체감한 적이 있습니다. 제품의 내부 구조와 기능을 투명하게 보여주는 레이아웃을 설계했더니, 소비자 반응이 확연히 달랐습니다. "이게 왜 좋은지 이해가 된다"는 피드백이 돌아왔습니다. 복잡한 기술을 숨기는 것이 아니라 적절히 드러내는 것, 그것이 신뢰의 시작이었습니다. AI 인터페이스도 다르지 않습니다.

## 내일 당장 적용할 수 있는 것들

이론을 실무로 옮기는 것은 언제나 디자이너의 몫입니다. AI 신뢰 디자인을 프로젝트에 적용할 때 다음의 원칙들을 점검해보시기 바랍니다.

**투명성 설계**
- AI가 관여한 결과물에는 반드시 "AI가 생성/추천했습니다"라는 표시를 넣으세요
- "왜 이 결과가 나왔는지"를 한 문장으로 설명하는 마이크로카피를 추가하세요
- 설명은 기술 용어가 아닌 사용자의 언어로 작성하세요

**통제감 보장**
- AI 추천을 거부하거나 수정할 수 있는 경로를 항상 제공하세요
- "되돌리기"와 "직접 선택하기" 옵션을 눈에 보이는 위치에 배치하세요
- AI의 개입 수준을 사용자가 조절할 수 있는 설정을 고려하세요

**일관성 유지**
- AI의 응답 톤과 형식이 화면마다 달라지지 않도록 디자인 시스템 차원에서 관리하세요
- 같은 입력에 대해 매번 다른 결과가 나온다면, 그 이유를 함께 보여주세요

**실패 시 지원**
- AI가 틀렸을 때 사용자가 피드백을 보낼 수 있는 경로를 마련하세요
- "잘 모르겠습니다"라고 솔직하게 말하는 AI가 억지로 답을 내놓는 AI보다 신뢰를 얻습니다
- 오류 상태를 위한 전용 UI 패턴을 미리 설계해두세요

## 신뢰는 기능이 아니라 경험이다

결국 AI 시대의 디자이너에게 주어진 과제는 명확합니다. AI의 능력을 뽐내는 것이 아니라, 사용자가 AI와 함께하는 경험 속에서 자연스럽게 신뢰를 쌓아가도록 돕는 것입니다.

신뢰는 한 번에 만들어지지 않습니다. 투명하게 보여주고, 통제할 수 있게 하고, 일관되게 행동하며, 실패했을 때 솔직한 — 그 반복이 쌓여 비로소 "이 시스템은 믿을 만하다"는 감각이 됩니다. 0.3초의 트랜지션이 신뢰감을 만들어내듯, AI 경험의 작은 디테일 하나하나가 사용자와의 관계를 결정합니다. 좋은 디자인은 결국, 기술 뒤에 사람이 있다는 것을 느끼게 해주는 일이 아닐까요.

---

## 참고 자료

- Nielsen Norman Group, *State of UX 2026: Design Deeper to Differentiate*, 2026
- Springer, AI & Society, *Exploring Automation Bias in Human-AI Collaboration: A Review and Implications for Explainable AI*, 2025
- Frontiers in Psychology, *Developing Trustworthy Artificial Intelligence: Insights from Research on Interpersonal, Human-Automation, and Human-AI Trust*, 2024
- Martin Heidegger, *The Question Concerning Technology*, 1954
- Don Norman, *Emotional Design: Why We Love (or Hate) Everyday Things*, 2004
- Gartner, *Explainable AI Market Forecast*, 2026