Designing Willem van der Maden Positive AI Designing Positive AI
DesigningPositive AI How optimizing for contextual wellbeing inspired a design method for artificial intelligence that promotes human flourishing Dissertation for the purpose of obtaining the degree of doctor at Delft University of Technology by the authority of the Rector Magnificus prof. dr. ir. T.H.J.J. van der Hagen; Chair of the Board for Doctorates to be defended publicly on Wednesday 8 May 2024 at 15:00 o’clock by Willem Lennert Antoon VAN DER MADEN Master in Psychology, Utrecht University, Nederland, born in Boxmeer, The Netherlands.
This dissertation has been approved by the promotors. Composition of the doctoral committee: Rector Magnificus, chairperson Prof. dr. P.P.M. Hekkert Delft University of Technology, promotor Dr. J.D. Lomas Delft University of Technology, copromotor Independent members: Prof. dr. J. Forlizzi Carnegie Mellon University Prof. dr. R. Calvo Imperial College London Prof. dr. L. Chen Eindhoven University of Technology Prof. dr. ir. I.R. van de Poel Delft University of Technology Prof. dr. ir A. Bozzon Delft University of Technology Keywords: design, wellbeing, artificial intelligence, cybernetics, positive psychology Printed by: Ipskamp Printing, Enschede Front & Back: Chanelle Hool Copyright © 2024 by W.L.A. van der Maden ISBN 978-94-6473-488-1 An electronic version of this dissertation is available at http://repository.tudelft.nl/.
Contents Contents iii Summary vii Samenvatting xiii 1 Introduction 1 1.1 Current research: Positive AI . . . . . . . . . . . . . . . . . . 4 1.2 Researchaim ........................... 4 1.3 Researchquestions ........................ 5 1.4 Researchapproach ........................ 6 1.5 Howtoreadthisdissertation . . . . . . . . . . . . . . . . . . 7 2 Background 9 2.1 ArtificialIntelligence....................... 10 2.1.1 Cybernetics........................ 11 2.1.2 EthicalAI......................... 15 2.1.3 AIAlignment....................... 17 2.2 Wellbeing ............................. 19 2.2.1 Hedonia&Eduaimonia . . . . . . . . . . . . . . . . . 20 2.2.2 Wellbeingashappiness. . . . . . . . . . . . . . . . . . 21 2.2.3 Wellbeing as flourishing & Positive Psychology . . . . 23 2.2.4 ‘Second-wave’ Positive Psychology . . . . . . . . . . . 23 2.2.5 ‘Third-wave’ Positive Psychology . . . . . . . . . . . . 26 2.2.6 Can wellbeing be experienced by communities? . . . . 27 2.2.7 Assessingwellbeing. . . . . . . . . . . . . . . . . . . . 29 2.2.8 Why should wellbeing be an objective for AI? . . . . . 31 2.2.9 WellbeingmetricsinAI . . . . . . . . . . . . . . . . . 32 2.3 Intermezzo: How might AI affect wellbeing? . . . . . . . . . . 34 2.4 The role of human-centered design . . . . . . . . . . . . . . . 36 2.4.1 Positive Design, Technology & Computing . . . . . . . 38 iii
iv CONTENTS 3 Seven key challenges for designing Positive AI 41 3.1 Introduction............................ 42 3.1.1 EthicalAI......................... 43 3.1.2 AIAlignment....................... 43 3.1.3 Why human-centered design? . . . . . . . . . . . . . . 44 3.1.4 Whywellbeing?...................... 45 3.1.5 Framingthechallenges. . . . . . . . . . . . . . . . . . 46 3.2 KeyChallenges.......................... 48 3.2.1 Challenges related to modeling wellbeing . . . . . . . 52 3.2.2 Challenges related to assessing wellbeing . . . . . . . . 56 3.2.3 Challenge related to designing for wellbeing . . . . . . 59 3.2.4 Challenges related to optimizing wellbeing . . . . . . . 61 3.3 Discussion............................. 63 3.3.1 Limitations and final remarks . . . . . . . . . . . . . . 67 4 Case study: My Wellness Check 69 4.1 Introduction............................ 70 4.2 Related work: designing AI for wellbeing . . . . . . . . . . . . 73 4.2.1 Cybernetics: a conceptual framework . . . . . . . . . . 74 4.3 Casestudy: MyWellnessCheck. . . . . . . . . . . . . . . . . 78 4.3.1 Theoretical approach to wellbeing . . . . . . . . . . . 79 4.3.2 Community-led survey design . . . . . . . . . . . . . . 80 4.3.3 Deploying the assessment of community wellbeing . . 82 4.4 Qualitativeresults ........................ 84 4.5 Designing for community action . . . . . . . . . . . . . . . . . 84 4.5.1 Experimental evaluation . . . . . . . . . . . . . . . . . 89 4.5.2 Experimentalresults . . . . . . . . . . . . . . . . . . . 91 4.6 Discussion............................. 92 4.6.1 Vision: designing AI for community wellbeing . . . . . 93 4.6.2 Limitations ........................ 95 4.6.3 Design thinking, AI thinking, and cybernetic thinking 96 4.7 Conclusions ............................ 98 5 Developing and evaluating a method for Positive AI 101 5.1 Introduction............................ 102 5.2 Background............................ 105 5.2.1 Artificial Intelligence . . . . . . . . . . . . . . . . . . . 105 5.2.2 Cybernetics: AI as sociotechnical system . . . . . . . . 106 5.2.3 Challenges of designing AI ............... 107 5.2.4 Challenges of designing AI for Wellbeing ........ 108
CONTENTS v 5.3 A Design Method for Positive AI . . . . . . . . . . . . . . . . 111 5.3.1 Development of the method . . . . . . . . . . . . . . . 112 5.3.2 Phases of the Positive AI Method . . . . . . . . . . . . 113 5.3.3 Method applied to fictional example . . . . . . . . . . 121 5.4 Multiple-casestudy........................ 122 5.4.1 Procedure......................... 123 5.4.2 Materials: Design outcomes . . . . . . . . . . . . . . . 124 5.4.3 Results of the case studies . . . . . . . . . . . . . . . . 128 5.5 Narrative-based study with experts . . . . . . . . . . . . . . . 131 5.5.1 Method .......................... 132 5.5.2 Results of the narrative-based study . . . . . . . . . . 133 5.6 Discussion............................. 133 5.6.1 Reflections on the case-study . . . . . . . . . . . . . . 135 5.6.2 Reflections on the expert study . . . . . . . . . . . . . 136 5.6.3 Limitations of the study . . . . . . . . . . . . . . . . . 137 5.6.4 The method & existing approaches . . . . . . . . . . . 138 5.6.5 Proposed adaptations & opportunities for future work 140 5.7 Conclusion ............................ 141 6 General discussion & Conclusion 143 6.1 Researchquestions ........................ 144 6.2 Summary and contributions to research and design . . . . . . 144 6.3 Recommendations ........................ 146 6.3.1 Integrate HCD in AI development cycles . . . . . . . . 147 6.3.2 Balance short-term needs with long-term wellbeing . . 151 6.3.3 Model and measure wellbeing in context . . . . . . . . 154 6.3.4 Establish multiple feedback loops . . . . . . . . . . . . 159 6.3.5 Focus on flourishing not merely mitigating harm . . . 164 6.3.6 Positive AI is a moving target, not an endpoint . . . . 165 6.4 Furtherconsiderations ...................... 168 6.4.1 Connecting the method to the broader field of AI . . . 168 6.4.2 Reflecting on wellbeing as orienting metric . . . . . . . 170 6.4.3 Limitations ........................ 172 6.5 Conclusion ............................ 175 Bibliography 177 Appendix 215 Acknowledgements 227
vi CONTENTS Curriculum Vitæ 229 List of Publications 231
Summary AI’s rise, from curatorial AI in YouTube to generative AI in ChatGPT, shows potential for both progress and harm. Adopting a Positive Design approach aimed at directly enhancing human wellbeing, this dissertation develops the concept of Positive AI. Key questions address how wellbeing manifests in AI systems, how it can be measured, how to design interventions, and how to evaluate them. Outcomes include conceptual frameworks, case studies demonstrating approaches, proposed methods, and evaluations. This culminates in recommendations to further mature these nascent perspectives and capabilities towards AI that actively cultivates human flourishing. Theoretical Framework and Challenges This dissertation introduces a cybernetics perspective (Section 2.1.1) to organize the challenges for designing AI for wellbeing (Chapter 3). Within this perspective, ‘sensors’ refer to components adept at measuring wellbeing indicators, while ‘actuators’ denote elements that respond to these measurements to improve outcomes. Connecting sensors and actuators creates assessmentaction feedback loops that promote continual alignment of systems with community wellbeing goals. Underscoring the constructivist nature of design, cybernetics foregrounds communication, ethical responsibility, and the social construction of meaning. It provides theoretical grounding for humancentered design that connects ethics and interaction through an emphasis on circular causality and the designer’s role as an active observer. This supports designing systems capable of nuanced, contextualized assessments and interventions to cultivate wellbeing. Consequently, seven key challenges (1-7) can be organized around four key questions: 1. Modeling the state of the system: How do we operationally define wellbeing within the context of a particular sociotechnical system? • For example: What wellbeing dimensions are important (1) in the context of Netflix and how do we attribute changes (2) in wellbeing to components of the system? vii
viii Summary 2. Assessing the state of the system: How do we translate qualitative experiences into assessment metrics? • For example: How can we elicit (3) how people feel about their interactions with TikTok, and how can these experiences be translated into metrics (4) that can be used for assessing future interventions and optimization processes? 3. Designing system actuators: How do we design interventions in AI systems that promote and enhance wellbeing? • For example: How do we know where in the sociotechnical system of ChatGPT we should and can intervene (5), and how do we know whether our potential interventions will achieve the desired effect? 4. Optimizing the system objective: How do we know whether we are getting close to our desired goal? • For example: How might we manage tradeoffs (6) between autonomy and social connection in designing for wellbeing on Reddit, and how do align immediate outcomes with long-term wellbeing goals (7)? Longitudinal Case-study Providing practical demonstrations of these challenges in context, Chapter 4 describes a case study at Delft University of Technology, presenting “My Wellness Check,” a cybernetic system for community wellbeing during COVID-19. The project, spanning two years, engaged 20,311 participants in seven iterative studies, each designed to enhance the assessment tool’s relevance to specific wellbeing needs. Notably, one of these studies, involving 1,719 participants, focused on a comparison experiment. This experiment contrasted a globally validated wellbeing instrument, a domain-specific instrument, and the project’s contextualized instrument, with the latter showing favorable outcomes. The design process of both the system “sensors” and its “actuators” was highly participatory, integrating feedback from students, staff, and other stakeholders. This community-led approach, alongside context-sensitive wellbeing assessments, formed a feedback loop that guided organizational actions and enhanced wellbeing, demonstrating the application of cybernetic principles in a complex sociotechnical context.
ix Developing and Evaluating a Design Method for Positive AI Seeking to address the key challenges outlined above, and informed by the empirical insights gained from the case study, Chapter 5 presents a novel approach to integrate wellbeing into AI design. This method, motivated by the gap in translating wellbeing concepts into AI design, aims to foster AI systems that respect and enhance human values and wellbeing. It employs a cybernetic approach within an iterative, collaborative framework, involving stakeholder feedback for continual refinement. The method systematically integrates wellbeing into AI design through distinct phases, each focusing on different aspects from contextualizing wellbeing needs to the continuous alignment of AI behavior with wellbeing goals. 1. Contextualize: Understanding wellbeing in specific contexts, considering the complex, multi-faceted nature of wellbeing and how it manifests in different settings. 2. Operationalize: Transforming the abstract model of wellbeing into actionable, measurable metrics. This phase involves refining the understanding of wellbeing and making the concepts tangible for application in AI design. 3. Design & Prototype: Developing AI interactions that aim to enhance wellbeing. This phase involves utilizing insights from the previous stages to ideate and create design strategies that align with wellbeing goals. 4. Test & Implement: Implementing the optimized interactions conceptualized in the design phase. This phase requires a collaborative effort from designers and engineers to realize the envisioned designs. 5. Restart: A continuous alignment process that revisits the contextual understanding and wellbeing model, ensuring ongoing relevance and alignment with evolving user needs and technological capabilities. The effectiveness of the method was exemplified through three distinct student projects, each applying the approach to a different domain: dating, nutrition, and music streaming. These projects effectively demonstrated the method’s versatility in guiding AI development with a focus on wellbeing. Key insights and learning outcomes from these projects were synthesized to refine and improve the methodology. Expert evaluations of the projects, considering design quality, technical feasibility, and wellbeing enhancement
x Summary potential, provided substantial evidence of the method’s practicality and efficacy in real-world applications. Recommendations Finally, chapter 5 synthesizes insights from across the research into a set of recommendations and reflections to advance the Positive AI agenda. The recommendations can be summarized as follows: 1. Integrate HCD methods into AI cycles. Wellbeing’s experiential nature means HCD principles like understanding human experiences, taking a systemic perspective, and iterative improvement can align AI with real-world impacts on users. HCD reveals diverse needs, enables ecosystem interventions, and supports gradual adaptation through prototyping. Overall, focusing design on human experiences makes HCD essential for developing AI that fosters wellbeing. 2. Balance immediate desires and long-term wellbeing in AI. Optimization often meets transient needs but struggles to support enduring fulfillment. AI should develop mechanisms to understand timeframes’ interplay on human flourishing. Contextual metrics alongside wellbeing assessments reveal optimal tradeoff scenarios. Rather than an “AI nanny,” research on aligning gratification and fundamental needs could enable wiser applications. Examples show design can resolve dilemmas by naturally aligning behaviors with interests. Overall, AI should consider transient impacts and lifelong trajectories in promoting wellbeing. 3. Model wellbeing in context by blending theories with local insights. Contextual modeling of wellbeing, integrating universal theories with local insights, not only tailors interventions to communityspecific needs, enhancing effectiveness and relevance but also ensures adaptability to cultural and technological changes, maintaining intervention relevance over time. This approach enables the precise attribution of wellbeing changes to interventions, fostering dynamic support tailored to immediate needs. Additionally, it facilitates a nuanced translation between quantitative data and qualitative experiences, grounding interventions in the rich, lived realities of individuals. Such a comprehensive understanding of wellbeing supports the development of interventions that are deeply resonant and impactful, fostering genuine human flourishing across diverse contexts.
xi 4. Establish multi-layer feedback loops. Weaving together the various facets of sociotechnical systems requires the establishment of multi-layer feedback loops. For example, by coupling qualitative insights with system metrics, there is a mechanism in place to scale up the conversation and make the translation between lived experiences and the system as a whole. By establishing many such loops— the recommendation discusses, for instance, the benchmarking loop, product development loop, and business loop—we ensure that the relevant facets of the system are included in the decision-making process. Engaging these feedback channels throughout the design process enables reciprocal learning between systems, users, designers, and other relevant stakeholders, fostering a continuous cycle of improvement and alignment. 5. Shift from mitigating harm to actively cultivating human flourishing. AI design often just avoids adverse impacts, but harm reduction alone cannot guarantee wellbeing. Positive AI applies Positive Design’s strength-based philosophy of enhancing lives rather than solely removing negatives. It proactively seeks opportunities like educational features tailored to interests. However, unintended consequences show the need for iteration. While complementary, Positive AI’s forward-looking approach more fully realizes potential versus reactive stances. Ultimately, designing systems to actively support thriving creates positive change beyond what harm avoidance alone achieves. 6. Positive AI is an ongoing process, not an endpoint. Wellbeing’s fluidity, inevitable alignment tradeoffs, and continuously evolving sociotechnical systems mean developers must persistently re-evaluate impacts and adapt systems to dynamic user needs. Rather than superficial “ethics washing,” achieving positive influence requires authentic commitment to iterative realignment. As contexts shift, so must systems remain supportive. Overall, continual assessments and modifications enable incremental progress versus treating alignment as a static box to check. The final section explores connections between the proposed Positive AI method and the broader field of AI, discussing future steps like empirical validation through industry collaborations and expanding diverse case studies across contexts. It also reflects on using wellbeing as the orienting metric, including merits like accounting for values contributing to human
xii Summary flourishing but also limitations like oversimplifying value complexity or ignoring non-human entities. Additionally, it acknowledges key limitations of the research itself, such as the lack of industry implementations and guidance on equitable participation. The section also examines the need to further explore unintended consequences and proactive ethical mitigation strategies. Overall, through multifaceted efforts spanning advocacy, policy, and community building, the Positive AI agenda can progressively guide innovation trajectories towards enhancing societal wellbeing. Conclusion In closing, this dissertation makes important headway in charting a path towards AI that actively prioritizes human wellbeing. While further efforts are needed to fully realize Positive AI’s potential, the concepts, methods, and recommendations presented aim to spur reflection and progress in steering innovation trajectories toward supporting societal flourishing.
Samenvatting De opkomst van Kunstmatige Intelligentie—hierna “Artificial Intelligence (AI)”—brengt zowel aanzienlijke mogelijkheden als risico’s met zich mee. Daarom is het cruciaal om juist nu AI-ontwikkelingen te sturen richting blijvend maatschappelijk voordeel. Vanuit de benadering van Positive Design, gericht op het direct verbeteren van het menselijk welzijn, ontwikkelt dit proefschrift het concept van Positive AI. Het verkent de rol van ontwerpers bij het sturen van AI-innovaties richting het holistisch ondersteunen van menselijke welbevinden, en niet alleen het optimaliseren van winst of gebruikersbetrokkenheid. Door middel van mensgerichte methoden streeft dit onderzoek naar het vergroten van kennis over en het verbeteren van technieken voor het meten van de impact van AI op welzijn, om zo interventies te ontwerpen die deze impact iteratief verbeteren. Centraal hierbij zijn vragen die gaan over hoe welzijn zich manifesteert in AI-systemen, hoe dit gemeten kan worden, hoe positieve interventies ontworpen kunnen worden, en hoe deze te evalueren zijn. De uitkomsten van het onderzoek, waaronder conceptuele kaders, casestudies, en ontwerpmethoden, leggen samen een solide basis voor AI die menselijke bloei bevordert. Dit leidt tot een reeks aanbevelingen bedoeld voor onderzoekers en professionals in verschillende vakgebieden. Deze ontluikende inzichten en vaardigheden kunnen zo verder worden ontwikkeld in de richting van AI die een blijvend positieve impact heeft op de wereld. Theoretisch Kader en Uitdagingen Dit proefschrift begint met de introductie van een cybernetisch kader (Sectie 2.1.1) om de uitdagingen voor het ontwerpen van AI voor welzijn te organiseren (Hoofdstuk 3). Binnen deze context verwijzen ‘sensoren’ naar componenten die bedreven zijn in het meten van welzijnsindicatoren. ‘Actuatoren’ daarentegen, duiden elementen aan die reageren op deze metingen om de resultaten te verbeteren. Het koppelen van sensoren en actuatoren creëert feedbacklussen die een continu proces van evaluatie en actie mogelijk maken en zo de afstemming van systemen op gemeenschappelijke welzijnsdoelen bevorderen. Door de nadruk te leggen op de constructivistische aard van ontwerp, brengt cybernetica communicatie, ethische verantwoordelijkheid xiii
xiv Samenvatting en de sociale constructie van betekenis naar voren. Het biedt theoretische onderbouwing voor mensgericht ontwerp dat ethiek en interactie verbindt door de nadruk te leggen op circulaire causaliteit en de rol van de ontwerper als actieve waarnemer. Binnen de context van Positive AI, helpt cybernetica bij het aanpakken van een aantal uitdagingen waarmee hedendaagse AI wordt geconfronteerd door het integreren van interdisciplinaire perspectieven die de voorrang geven aan menselijke betekenisgeving. Dit ondersteunt het ontwerpen van systemen die in staat zijn tot genuanceerde welzijnsevaluaties en AI-interventies om welzijn te cultiveren. Hierop volgend kunnen de zeven belangrijkste uitdagingen (1-7) rond vier kernvragen worden gecategoriseerd: 1. Het conceptualiseren van de staat van het systeem: Hoe definiëren we welzijn binnen de context van een bepaald sociotechnisch systeem? • Bijvoorbeeld: Welke dimensies van welzijn zijn belangrijk (1) in de context van Netflix en hoe wijzen we veranderingen (2) in welzijn toe aan componenten van het systeem? 2. Het beoordelen van de staat van het systeem: Hoe vertalen we kwalitatieve ervaringen naar beoordelingsmetrieken? • Bijvoorbeeld: Hoe kunnen we achterhalen (3) hoe mensen zich voelen over hun interacties met TikTok, en hoe kunnen deze ervaringen worden vertaald naar metrieken (4) die gebruikt kunnen worden voor het beoordelen van toekomstige interventies en optimalisatieprocessen? 3. Het ontwerpen van systeemactuatoren: Hoe ontwerpen we interventies in AI-systemen die welzijn bevorderen en versterken? • Bijvoorbeeld: Hoe weten we waar in het sociotechnische systeem van ChatGPT we moeten en kunnen ingrijpen (5), en hoe weten we of onze potentiële interventies het gewenste effect zullen bereiken? 4. Het optimaliseren van het systeemdoel: Hoe weten we of we dichter bij ons gewenste doel komen? • Bijvoorbeeld: Hoe kunnen we omgaan met afwegingen (6) tussen autonomie en sociale verbinding bij het ontwerpen voor welzijn op Reddit? En hoe kunnen we onmiddellijke resultaten afstemmen op langetermijndoelstellingen (7) voor welzijn?
xv Longitudinale Casestudy Om deze uitdagingen in de praktijk te demonstreren, beschrijft Hoofdstuk 4 een casestudy aan de Technische Universiteit Delft, waarbij “My Wellness Check” wordt gepresenteerd, een cybernetisch systeem voor gemeenschapswelzijn tijdens COVID-19. Het project duurde twee jaar betrok en 20.311 deelnemers in zeven iteratieve studies elk ontworpen om de relevantie van het beoordelingsinstrument voor specifieke welzijnsbehoeften te verbeteren. Een van deze studies was bijvoorbeeld een vergelijkend experiment met 1.719 participanten. Dit experiment vergeleek een wereldwijd gevalideerd welzijnsinstrument, een domeinspecifiek instrument en het gecontextualiseerde instrument van het project. Uit de vergelijking bleek dat het gecontextualiseerde instrument van het project, de meest gunstige resultaten toonde—wat insinueerde dat de contextuale aanpak succesvol was. Het ontwerpproces van zowel de ‘sensoren’ van het systeem als de ‘actuatoren’ was zeer participatief en integreerde feedback van studenten, personeel en andere belanghebbenden. Dit initieerde een feedbacklus voortkomend uit onze gemeenschapsgerichte benadering verrijkt met contextgevoelige welzijnsbeoordelingen. Deze lus, bestaande uit gerichte acties voortkomend uit systeemwijde welzijnsevaluaties, stuurde zo de institutionele acties van de TU Delft richting het gemeenschappelijke doen van welzijn. Dit proces kan worden gezien als een praktische demonstratie van de toepassing van cybernetische principes binnen een complex sociotechnisch systeem. Ontwikkelen en Evalueren van een Ontwerpmethode voor Positive AI Geïnformeerd door de empirische inzichten uit de casestudy, introduceert Hoofdstuk 5 een nieuwe methode om welzijn te integreren in het ontwerp van AI als antwoord op de eerdergenoemde uitdagingen. Het benadrukt de noodzaak om AI af te stemmen op complexe menselijke waarden door middel van participatief ontwerp. Deze methode is ontwikkeld om welzijnsconcepten effectief in AI-ontwerp te integreren. Het doel is AIsystemen te creëren die menselijke waarden en welzijn niet alleen respecteren, maar ook versterken. Deze methode hanteert een cybernetische aanpak binnen een iteratief en partifcipatief kader. Door actief feedback van belanghebbenden te integreren, faciliteert het een proces van continue verfijning. De methode integreert systematisch welzijn in AI-ontwerp door middel van verschillende fasen, elk gericht op verschillende aspecten, van het contextualiseren van welzijnsbehoeften tot de continue afstemming van AI-gedrag op welzijnsdoelen.
xvi Samenvatting • Contextualiseren: Het begrijpen van welzijn in specifieke contexten, rekening houdend met de complexe, veelzijdige aard van welzijn en hoe het zich in verschillende omgevingen manifesteert. Dit resulteert in een context-specifiek welzijnsmodel. • Operationaliseren: Het abstracte model van welzijn omzetten in bruikbare, meetbare metrieken. Deze fase omvat het verfijnen van het begrip van welzijn en het tastbaar maken van de concepten voor toepassing in AI-ontwerp. • Ontwerpen & Prototypen: Ontwerpen van AI-interacties die gericht zijn op het verbeteren van welzijn. Deze fase omvat het benutten van inzichten uit de voorgaande stadia om ideeën te bedenken en ontwerpstrategieën te creëren die in lijn zijn met welzijnsdoelen. • Testen & Implementeren: Implementeren van de geoptimaliseerde interacties bedacht in de ontwerpfase. Deze fase vereist een gezamenlijke inspanning van ontwerpers en ingenieurs om de bedachte ontwerpen te realiseren. • Herstarten: Een continu afstemmingsproces dat het contextuele welzijnsmodel herziet, om de voortdurende relevantie en afstemming met ontluikende gebruikersbehoeften en technologische capaciteiten te waarborgen. De effectiviteit van de methode werd geïllustreerd door drie verschillende studentenprojecten. Elk van deze projecten paste de benadering toe op een uniek domein: daten, voeding, en muziekstreaming. De projecten toonden effectief de veelzijdigheid van de methode aan in het sturen van AIontwikkeling met een focus op welzijn. Belangrijke inzichten en leerresultaten werden samengevoegd om de methodologie te verfijnen en te verbeteren. Expertevaluaties van de project uitkomsten namen verschillende aspecten onder de loep, waaronder ontwerpkwaliteit, technische haalbaarheid en het potentieel voor welzijnsverbetering. Deze evaluaties boden aanzienlijk bewijs van de toepasbaarheid en effectiviteit van de methode in praktische toepassingen. Aanbevelingen Tenslotte voegt Hoofdstuk 6 inzichten samen uit het gehele onderzoek in een reeks aanbevelingen en reflecties om de agenda van Positive AI te bevorderen. De aanbevelingen kunnen als volgt worden samengevat:
xvii 1. Integreer mensgerichte-methoden in AI-cycli. Gezien welzijn een ervaringsgericht concept is, zijn mensgerichte principes cruciaal. Het begrijpen van menselijke ervaringen, het hanteren van een systemisch perspectief, en het doorvoeren van iteratieve verbeteringen zijn essentieel om AI zo te ontwikkelen dat deze een positieve, daadwerkelijke impact heeft op gebruikers. HCD onthult diverse behoeften, maakt interventies in ecosystemen mogelijk en ondersteunt geleidelijke aanpassing door prototyping. Alles bij elkaar genomen, maakt de nadruk op menselijke ervaringen HCD onmisbaar voor het ontwikkelen van AI die welzijn bevordert. 2. Balanceer onmiddellijke verlangens en langetermijnwelzijn in AI. In de context van AI, richt optimalisatie zich vaak op het vervullen van kortstondige behoeften, maar worstelt om duurzame bevrediging te ondersteunen. AI moet mechanismen ontwikkelen om de wisselwerking van tijdframes op menselijke bloei te begrijpen. Contextuele metrieken naast welzijnsbeoordelingen onthullen optimale afwegingsscenario’s. In plaats van een “AI-oppas” kan onderzoek naar het afstemmen van bevrediging en fundamentele behoeften wijzere toepassingen mogelijk maken. Voorbeelden tonen aan dat ontwerp dilemma’s kan oplossen door gedragingen natuurlijk af te stemmen op belangen. Bovendien moet AI tijdelijke effecten en levenslange trajecten overwegen bij het bevorderen van welzijn. 3. Modelleer welzijn in context door theorieën te combineren met lokale inzichten. Contextueel modelleren van welzijn betekent het integreren van universele theorieën met lokale inzichten. Dit zorgt ervoor dat interventies niet alleen afgestemd zijn op de unieke behoeften van gemeenschappen, wat hun effectiviteit en relevantie verhoogt, maar ook flexibel zijn voor culturele en technologische verschuivingen. Door de relevantie van interventies over tijd te behouden, maakt onze aanpak een nauwkeurige koppeling van welzijnsveranderingen aan specifieke interventies mogelijk. Dit biedt dynamische ondersteuning die is aangepast aan directe behoeften en vertaalt kwantitatieve data naar kwalitatieve ervaringen. Zo worden interventies verankerd in de daadwerkelijk geleefde realiteiten van mensen, wat leidt tot diepgaande resonantie en impact, en ondersteunt het authentieke menselijke bloei in diverse contexten. 4. Creëer meerlaagse feedbacklussen. Het verweven van de verschillende facetten van sociotechnische systemen vereist het opzetten van
xviii Samenvatting meerlaagse feedbacklussen. Door bijvoorbeeld kwalitatieve inzichten te koppelen aan systeemmetrieken, ontstaat er een mechanisme om het gesprek op te schalen en de vertaalslag te maken tussen geleefde ervaringen en het systeem als geheel. Door vele van deze dergelijke lussen te creëren—de aanbeveling bespreekt bijvoorbeeld de benchmarkinglus, productontwikkelingslus en business-lus—zorgen we ervoor dat alle relevante facetten van het systeem worden meegenomen in het besluitvormingsproces. Het betrekken van deze feedbackkanalen gedurende het ontwerpproces maakt wederzijds leren mogelijk tussen systemen, gebruikers, ontwerpers en andere relevante belanghebbenden, wat een voortdurende cyclus van verbetering en afstemming bevordert. 5. Verander van een focus op het van het verminderen van schade naar het actief cultiveren van menselijke bloei. AIontwerp vermijdt vaak alleen negatieve effecten, maar schadebeperking alleen kan welzijn niet garanderen. Positive AI hanteert filosofie van Positive Design, die is gericht op het verbeteren van levens in plaats van slechts het oplossen van problemen. Het zoekt proactief naar kansen zoals onderwijsfuncties afgestemd op interesses. Echter, onbedoelde gevolgen tonen de noodzaak van iteratie aan. Hoewel ze elkaar aanvullen, biedt de proactieve benadering van Positive AI een completere realisatie van potentieel dan puur reactieve visies. Door systemen te ontwerpen die actieve ondersteuning bieden aan bloei, worden positieve veranderingen bewerkstelligd die verder gaan dan enkel het voorkomen van schade. 6. Positive AI is een doorlopend proces, geen eindpunt. Geziende fluïde aard van welzijn, de noodzaak van compromissen bij het maken van afstemmingen en de voortdurende evolutie van sociotechnische systemen, dienen ontwikkelaars regelmatig de impact te heroverwegen en de systemen aan te passen aan de veranderende behoeften van gebruikers. Dit vraagt om meer dan alleen cosmetische ‘ethiekverfraaiing’; het vereist een echte inzet voor continue herijking en aanpassing. Naarmate de contexten veranderen, is het essentieel dat systemen relevant en ondersteunend blijven. Deze voortdurende evaluatie en bijstelling bevorderen geleidelijke verbetering, in tegenstelling tot de benadering van AI alignment als een eenmalige taak. Het laatste gedeelte verkent hoe de voorgestelde Positive AI-methode aansluit bij het bredere veld van AI. Het bespreekt toekomstige stappen,
xix waaronder empirische validatie via industriële samenwerkingen en het uitbreiden van casestudies in diverse contexten. Het reflecteert ook op het gebruik van welzijn als de leidende norm, waarbij het de voordelen belicht, zoals de nadruk op waarden die bijdragen aan menselijke bloei. Echter, het wijst ook op beperkingen, zoals het oversimplificeren van de complexiteit van waarden of het negeren van niet-menselijke entiteiten. Het erkent tevens belangrijke beperkingen van het onderzoek, waaronder het gebrek aan industriële implementaties en richtlijnen voor eerlijke participatie. Verder onderzoekt het de noodzaak om onbedoelde gevolgen aan te pakken en proactieve ethische mitigatiestrategieën te verkennen. De Positive AI-agenda kan, via een breed scala aan inspanningen zoals belangenbehartiging, beleidsvorming en het opbouwen van gemeenschappen, geleidelijk innovatietrajecten richten op het verbeteren van het maatschappelijk welzijn. Conclusie Dit proefschrift markeert belangrijke vooruitgang in het vormgeven van een aanpak waarbij AI actief wordt ingezet voor menselijk welzijn. Hoewel verdere ontwikkelingen benodigd zijn om het volledige potentieel van Positive AI te realiseren, zijn de gepresenteerde concepten, methoden en aanbevelingen bedoeld om reflectie en vooruitgang te stimuleren in het sturen van AIinnovatietrajecten ter bevordering van menselijke bloei.
1 Introduction “We feel a responsibility to make sure our services aren’t just fun to use, but also good for people’s wellbeing” – Mark Zuckerberg, 2018 1
1 2 1. Introduction Figure 1.1: Ubiquitous curatorial AI. From left to right, the sequence of images showcases the personalization of content and choices through algorithms, including what we watch (video streaming), who we date (dating apps), what we listen to (music streaming), where we eat (restaurant recommendations), and the dances we learn and share (social media trends). Social media was our “first contact moment” with artificial intelligence (AI) (Harari, Harris, & Raskin, 2023). AI powering ubiquitous platforms such as Facebook and YouTube has fundamentally changed the fabric of society and how humans interact today. Specifically, personalized feeds, recommendations, and persuasive algorithms curate what we watch, who we date, listen to, where we eat, and what dances we do (Fig 1.1). Just as the printing press ushered in mass circulation of information centuries ago, social media embedded algorithmic systems into the lives of billions, portending AI’s potential for cultural progression (K. Crawford, 2021). While still a topic of hefty debate (Kross et al., 2021), some argue social media has eroded global democracy (Lorenz-Spreen, Oswald, Lewandowsky, & Hertwig, 2023), threatened public safety (Bursztyn, Egorov, Enikolopov, & Petrova, 2019; Müller & Schwarz, 2018), and damaged mental health (Keleş, McCrae, & Grealish, 2019). To critics, this signifies the loss of our first “battle” with AI (Harari et al., 2023; Tegmark, 2023). Social media opponents attribute these issues to platforms optimizing for narrow metrics like engagement over wellbeing (Han, Pereira, Lenaerts, & Santos, 2021; T. Harris, 2017; Stray et al., 2023). On the other hand, proponents maintain social media provides connection (Rimé, Bouchat, Paquette, & Mesquita, 2019), self-expression (Vogel & Rose, 2016), and information access (Kross et al., 2021). This illustrates AI’s capability to both do good and harm,
1 3 making it a “gray ball technology.”1 Recently, the exponential growth of generative AI (GenAI) models like ChatGPTand Stable Diffusion (Fig. 1.2) marks a “second contact moment” with AI (Harari et al., 2023). Namely, with a transformative potential on par with the internet (Floridi, 2023), it ushers in what some call the “Age of AI” (Kissinger, Schmidt, & Huttenlocher, 2021). The adoption of GenAI has been incredibly rapid, with ChatGPT leading the race to become the fastest-adopted application in history (Aydin & Karaarslan, 2023; K. Hu, 2023). As with the previous examples, it is a double-edged sword. On the one hand, GenAI promises significant efficiency gains and economic benefits (Chui, Hazan, Roberts, Singla, & Smaje, 2023) and can, for instance, be used to highly personalize education (Baidoo-Anu & Owusu Ansah, 2023). On the other, it ignited debates on risks like job displacement (Wach et al., 2023), content misuse (Rana, Chatterjee, Dwivedi, & Akter, 2022), and existential threats if AI becomes uncontrollable (Bostrom, 2003, 2014). Figure 1.2: Ubiquitous Generative AI. Left is a conversation with ChatGPT. Right, the interface of an instance of text-to-image model Stable Diffusion The evolution from curatorial AI to the current rise of generative AI highlights an urgent need to act decisively. This urgency stems from the realization that it is the responsibility of the current generation to ensure that AI has a positive impact and does not become a “black ball” technology that devastates civilization (Bostrom, 2019). This is particularly emphasized as GPT-42 arguably shows early “sparks” of artificial general intelligence (AGI) (Bubeck et al., 2023)—a form of AI that if not constrained can mean human extinction (Bostrom, 2014; Russell & Norvig, 2022; Turchin & Denkenberger, 1Bostrom (2019) likens technological inventions to picking balls from an urn: white for good, black for dangerous, and gray for mixed impact. He says while many inventions are useful, there might be rare, hazardous ones (like nuclear weapons) that are catastrophic by default unless civilization can stabilize and govern them properly. 2Refers to ‘Generative Pre-trained Transformer’ version number 4, developed by OpenAI
1 4 1. Introduction 2020). In other words, as emphasized in a recent seminal article: “The time of reckoning for Artificial Intelligence is now” (Ozmen Garibay et al., 2023, p. 391). Therefore, this dissertation aims to explore the design of AI systems that contribute positively to the world. Unlike perspectives that view AI as an adversary that needs to be bested in “battle,” this work adopts a proactive stance, focusing on leveraging its potential for good in pursuit of Positive AI 1.1. Current research: Positive AI As a member of the Delft Institute of Positive Design, in this research, I follow the approach of ‘Positive Design.’ This form of human-centered design (HCD) is explicitly aimed at increasing human flourishing and wellbeing (Desmet & Pohlmeyer, 2013). Later in this introduction, I will expand on the theoretical background of this design approach and its relation to positive technology and computing. Briefly, what unifies them is that in contrast to deficit-based approaches, positive approaches take a strengthsbased perspective that recognizes human potential. Grounded in positive psychology, it holistically considers multiple aspects of wellbeing and respects individual and cultural differences. The ultimate goal is to enable designers to intentionally create solutions that measurably3 improve human flourishing by actively promoting wellbeing. Thus, I embrace a positive design approach that entails leveraging AI to proactively cultivate individual and societal wellbeing—an approach I refer to as “Positive AI.” 1.2. Research aim To summarize, this dissertation seeks to ensure AI’s lasting positive societal impact. It aims to advance knowledge for designing AI that actively enhances human wellbeing. It explores the complementary role of human-centered design in aligning AI to human flourishing, building upon existing ethical and technical approaches. Through these methodologies, it aims to incorporate systemic and stakeholder perspectives to steer AI development toward supporting human wellbeing holistically, rather than solely optimizing for narrow metrics like engagement or profit. The project focuses on three interconnected objectives: 1. Understanding and assessing the wellbeing impact of AI systems; 3Measurably, in the sense that a core tenet of Positive Design is a necessity to empirically assess the impact of interventions, moving beyond mere good intentions.
1.3. Research questions 1 5 2. Using wellbeing assessments to inform iterative (re)design of AI systems via human-centered methods; 3. Translating this process in a generalizable framework for designing Positive AI. Figure 1.3: Intersection of Human-centered Design, Wellbeing, and Artificial Intelligence, forming the concept of Positive AI. 1.3. Research questions To achieve these objectives, the research has been broken down into the following research questions: 1. How does wellbeing manifest across different AI systems? • For instance: How might a system like Netflix influence various aspects of user wellbeing, such as belongingness or social connections? 2. How might wellbeing be operationalized in the context of AI? • For instance: What methods could be used to measure the impact of ChatGPT on facets of wellbeing, translating people’s lived experience with the platform into measurable metrics? 3. How might wellbeing-promoting systemic interventions be designed?
1 6 1. Introduction • For instance: What are the potential areas within the broader ecosystem of TikTok, such as the user interface or curation algorithms, where interventions could be implemented to enhance wellbeing? 4. How can the impact of interventions on wellbeing be evaluated? • For instance: How might we assess whether a positive intervention in Alexa’s voice interaction and response algorithms has the desired outcomes and no unintended consequences? 5. What are key design steps in designing Positive AI that generalize across contexts? • For instance: Are the processes to operationalize wellbeing in the context of YouTube the same as for Reddit? 1.4. Research approach In the context of AI, exploring wellbeing as a central phenomenon remains relatively novel and nascent. This area presents a fertile ground for innovative inquiry, with key variables and hypotheses still being identified and established. Accordingly, the research in this thesis is characterized by an exploratory character, employing a research-through-design approach (RtD). In one sentence: RtD is a method of designing and creating artifacts or systems to explore and understand complex problems, thereby contributing to both practical and theoretical understanding (Gaver, 2012). A distinction should be made between research into–, for–, and through–design (Stappers & Giaccardi, 2017). Evidently, the knowledge this thesis contributes is for design as characterized by (Zimmerman & Forlizzi, 2014). It is intended to advance the practice of design—AI design, to be specific. However, following that same characterization, the type of research activities discussed in this thesis can be typified as through design in the sense that they involve the creation and iterative development of systems and artifacts that speculate on and propose future possibilities for human wellbeing. This approach is not merely about advancing existing practices or technologies but about exploring new, transformative solutions, intending to synthesize them in a novel approach. Guided by the exploratory research-through-design approach, this work employs several complementary strategies to examine the core research questions from multiple angles:
1.5. How to read this dissertation 1 7 • Development of conceptual frameworks – Theoretical models like the cybernetic perspective on designing AI systems (Section 2.1.1) and the categorization of key challenges (Chapter 3) serve to organize current understanding and point to gaps needing further exploration. • Case studies – The My Wellness Check case study (Chapter 4) grounds the research in a real-world application, revealing contextual factors essential for community-centered AI. • Design methods – The Positive AI Design method represents a proposed tool to guide the process of developing wellbeing-focused AI. Its iterative development and evaluation (Chapter 5) provides practical insights into challenges and strategies. • Narrative scenarios – Speculative narratives (Chapter 5) provide necessary examples of AI concepts and can be used to reflect on potential wellbeing impacts before realization. • Controlled experiments – Comparative evaluations longitudinal studies, through user testing and expert review, provide vital feedback on the quality of proposed designs and methods (Chapters 4 and 5). 1.5. How to read this dissertation This dissertation revolves around three journal articles, each embodying a distinct facet of the research: a theoretical piece for a design publication, a psychological case study, and a methodological approach for an artificial intelligence journal. At TU Delft, it is common practice to include these articles verbatim, which, along with their non-chronological publication, may lead to some redundancy across the chapters. To mitigate this and provide clarity, each chapter begins with a preface that summarizes its objectives and its role within the broader narrative of the dissertation. The narrative unfolds as follows: • Chapter 2 provides a background and foundation for the dissertation by exploring the key themes of artificial intelligence, wellbeing, and human-centered design. It examines ethical and technical efforts to align AI with human values, explores multifaceted notions of wellbeing, and discusses pathways for human-centered design to ensure innovation remains responsive to human experience. • Next, Chapter 3 identifies seven key challenges in designing positive AI systems, encompassing theoretical, methodological, and fundamental
1 8 1. Introduction barriers. It advocates for an enhanced understanding of AI’s impact on wellbeing and provides guidance for design actions. • In Chapter 4, a case study is presented, applying cybernetic principles to design an intelligent assessment-action loop aimed at promoting community wellbeing during COVID-19. This chapter highlights the benefits of context-sensitive, participatory approaches in generating actionable insights. • Building upon these foundations, Chapter 5 introduces the Positive AI Design Method, a practical tool for developing AI with a focus on human flourishing. This method merges AI optimization with humancentered design principles oriented towards wellbeing. The chapter evaluates this method through student projects and expert reviews, discussing its strengths and areas for improvement. • Finally, Chapter 6 offers a general discussion and conclusion. It proposes six comprehensive recommendations for advancing the research agenda toward ubiquitous AI for wellbeing, synthesizing the insights gained from the preceding chapters.
2 Background Before exploring the detailed chapters of this dissertation, it is important to outline and build an understanding of its core themes: artificial intelligence, wellbeing, and human-centered design. Initially, the discussion will focus on defining AI and then exploring ethical and technical efforts aligning AI with human values and needs. Subsequently, the concept of wellbeing will be examined, encompassing its various interpretations, methods of assessment, and the implications of prioritizing it as a central goal for AI alignment. The final part of this section will explore the role of human-centered design, particularly emphasizing positive design, in enhancing current efforts. It’s important to note that while this section aims to provide a foundation for the dissertation, it does not intend to offer a comprehensive review of each theme due to its vast scope. Instead, it will highlight key contributions and theories that the dissertation builds upon. 9
2 10 2. Background 2.1. Artificial Intelligence The definition of AI has long been debated in the field. As AI pioneer John McCarthy stated, “As soon as it works, no one calls it AI anymore” (Vardi, 2012, p. 5). Gabriel (2020) cleverly points out, in the vernacular, “artificial intelligence” can refer to both a property of computerized systems and a set of techniques—such as machine learning (ML)—to achieve that capability. Therefore, it is good to separate the two, starting with the former. Before progressing further, clarifying the concept of ’intelligence’ is necessary. While a universally agreed-upon definition remains elusive, an analysis of decades-long perspectives reveals consistent themes in the core attributes of intelligence (Sternberg, 2003). A significant contribution comes from AI researchers Legg and Hutter (2007), who examine definitions from diverse sources, including dictionaries, encyclopedias, psychologists, and AI experts. These sources commonly emphasize abilities such as reasoning, problemsolving, understanding complex ideas, efficient learning, and adaptability to new situations. Synthesizing these perspectives, Legg and Hutter (2007, p. 9) define intelligence as “an agent’s ability to achieve goals in a wide range of environments.” This definition encapsulates intelligence as the capacity for flexible goal optimization, adaptable across various conditions, and underscored by fundamental skills like judgment, understanding, and continuous learning. The question arises: what constitutes the ‘artificial’ aspect of AI? According to a leading textbook in the field, AI research is centered on building intelligent agents rather than merely understanding intelligence (Russell & Norvig, 2022, p. 19). These researchers propose that an ‘intelligent’ agent chooses actions expected to maximize its performance measure based on its received inputs and inherent knowledge (Russell & Norvig, 2022, p. 58). They broadly define an agent as any entity capable of perceiving its environment through sensors and acting upon that environment through actuators (Russell & Norvig, 2022, p. 54). From this perspective, the ‘artificial’ nature of AI lies in its deliberate design, contrasting with biological intelligence, which naturally occurs in living organisms (Gabriel, 2020). In other words, any designed intelligent system is an instance of AI. As said, AI is often conflated with a prominent approach for achieving it, namely machine learning (ML) and its subfield deep learning (DL). At a high level, ML refers to a family of (statistical) techniques that computer systems use to learn from data without explicit programming (Domingos, 2012). This encompasses neural networks, which are then used in deep learning architectures. Specifically, DL employs multi-layer neural networks that learn hierarchical non-linear data representations with increasing levels
www.proefschriften.netRkJQdWJsaXNoZXIy MjY0ODMw