Safety–Relational AI — Designing Safety for Long-Term Human–AI Interaction —

Notice (Version 1.3): This paper is a preliminary report aiming to conceptually present design principles concerning the long-term, iterative relationship between generative AI and humans. Version 1.3 adds connectivity with Shine's process consulting.Version 1.2 revised and expanded the SRAI design philosophy, proposing the concept of gradual enablement. Version 1.1 added prior research on human-centered design (Human-Centered AI/Automation) and socio-emotional interaction, clarifying this paper's positioning. It also included supplementary discussion on design ethics approaches that conceptualize autonomy as a long-term relational capability structure. We are currently translating the entire paper into English and refining terminology to enhance conceptual rigor and precision. Upon completion, the revised version will be published on arXiv and other platforms. Abstract The proliferation of generative AI is transforming human-AI interactions from one-off task execution or information retrieval into ongoing, daily, and iterative relationships. This shift necessitates redefining AI safety not merely as the appropriateness of individual outputs, but as the design of the relational structure itself—the dynamic formed as interactions accumulate over time. This paper defines a design philosophy that places relational safety at the highest level of design principles as Safety-Relational AI (SRAI). Relational safety here refers to the safety of the relational structure defined by the temporal dimension of repeated and accumulated interactions and the set of possibilities for actions, judgments, and involvement that humans maintain in their interactions with AI. This paper views the irreversible degradation of this set of possibilities over time in long-term human-AI interactions as a breakdown of the relational structure. Based on this stance, the paper identifies breakdown modes inherent to long-term, iterative interactions and proposes three principles—Safety, Stability, and Generation—as the SRAI Design Principles (SRAI-DP). Furthermore, assuming the safety of the relational structure is maintained, it introduces Progressive Enablement as a design principle to incrementally expand generative freedom tailored to the user. Finally, this paper presents the SRAI Framework (SRAI-Frame) as a conceptual framework for treating relational structures as analyzable design subjects, and the Safety-Relational Architecture of AI (SRAI-Arch) as an engineering response based on this framework. This paper attempts to clarify a design philosophy that captures the safety of generative AI not at the level of output or functionality, but at the level of the human-AI relationship formed over time. --- 注記(Version 1.3): 本稿は、生成AIと人間の長期的・反復的関係をめぐる設計思想を概念的に先行提示することを目的とした予備的報告である。Version1.3 では、シャインのプロセスコンサルティングとの接続を追加した。Version1.2では、SRAIの設計思想を加筆修正し、漸次的イネーブルメントの概念を提案した。なお、ver.1.1では、人間中心設計(Human-Centered AI / Automation)および社会感情的相互作用に関する先行研究を追加し、本論文の位置づけを明確化した。また、自律性を長期的・関係的能力構造として捉える設計倫理の方向性について補足的な議論を加えている。現在、概念的厳密さおよび表現の精緻化を目的として全編の英語翻訳および用語精査を進めており、完了次第、改訂版を arXiv等にて公開予定である。 Abstract 生成AIの普及により、人間とAIの相互作用は、単発のタスク実行や情報取得を超え、日常的かつ反復的に継続する関係へと移行しつつある。この変化に伴い、AIの安全性もまた、個々の出力内容の適否にとどまらず、相互作用が時間的に蓄積される中で形成される人間とAIの関係構造そのものを設計対象として捉え直す必要が生じている。 本論文は、人間とAIの関係性における安全を設計の最上位原理として据える設計思想を Safety-Relational AI(SRAI) と定義する。ここでいう関係性の安全とは、相互作用が反復・蓄積される時間的次元と、人間がAIとの相互作用において保持している行為・判断・関与の可能性集合によって規定される関係構造の安全である。本論文は、長期的な人間-AI相互作用において、この可能性集合が時間を通じて不可逆的に縮退することを、関係構造の破綻として捉える。 この立場に基づき、本論文では、長期的・反復的相互作用に固有の破綻モードを整理した上で、安全・安定・生成という三原則を SRAI Design Principles(SRAI-DP) として提案する。さらに、関係構造の安全が保たれている範囲を前提に、生成的自由度をユーザーに合わせ段階的に拡張する設計原理として 漸進的イネーブルメント(Progressive Enablement) を導入する。最後に、本論文は、関係構造を分析可能な設計対象として扱うための概念枠組み SRAI Framework(SRAI-Frame) と、それに基づく工学的応答としての Safety-Relational Architecture of AI(SRAI-Arch) を提示する。本論文は、生成AIの安全性を出力や機能の水準ではなく、時間を通じて形成される人間-AI関係の水準で捉える設計思想を明確化する試みである。