2022年3月，世界經濟論壇發布《兒童人工智慧》（
Artificial Intelligence for Children
）報告，旨在幫助公司開發值得信賴的人工智慧(AI)，幫助父母、監護人、兒童和青少年等了解人工智慧，並審慎地購買以及安全使用人工智慧產品
。報告最大的亮點在於提出兒童人工智慧產品設計的五大特點，分別是公平性、包容性、責任性、安全性和高透明性，並結合這五種特點對應的風險進行分析，給出相應的建議。
報告具體從兒童人工智慧面臨的機遇和挑戰、設計的基本原則和設計的五大特點展開。
摘譯 |朱哲/賽博研究院高級研究員
來源 |世界經濟論壇
兒童人工智慧領域的機遇與挑戰
新一代的兒童和青少年正史無前例地在由人工智慧（AI）塑造的世界中成長。他們日常生活中使用的許多產品都被人工智慧所包圍——從社交媒體到教育技術、視頻遊戲、智能玩具和揚聲器等。一方面，人工智慧決定了兒童在線觀看的視頻、學習時的課程以及他們的遊戲和與他人互動的方式。毫無疑問，人工智慧可以用來教育和增強兒童和青少年，並對社會產生積極影響。另一方面，人工智慧的影響範圍從簡單的推薦和定製引擎，到模擬人類行為、情感和互動的深度沉浸式體驗，這些系統可以取悅、教導和喚起年輕用戶的互動，使他們能夠按照自己的節奏和學習風格成長和發展。
但是，兒童和青少年也易於受到人工智慧帶來的潛在風險的影響，包括偏見、網絡安全等。如果沒有深思熟慮並在兒童發展專家和監護人的指導下操作，人工智慧可能會阻礙兒童和青少年的發展並侵犯他們的權利。
由此來看，人工智慧的設計必須具有包容性，尊重兒童用戶的權利，從而使其免受技術所帶來的潛在風險的影響。
兒童人工智慧產品設計的基本原則
目前，對兒童和青少年沒有確切的定義，一般來說，他們都是身體和大腦仍在發育的人，大多數還不能駕駛汽車或從事工作。聯合國將未滿18歲的人定義為兒童，因為前額葉皮層只在這個年齡段完成發育，甚至可以將兒童和青少年的年齡定在26歲以下。兒童的注意力較弱，詞彙量有限（在某些情況下）。年齡可以用時間來衡量，也可以用認知技能、身體靈活性或情緒智力測試的結果來衡量。但是相較於年齡本身，應該更多地把認知、情感和身體階段等因素作為產品設計的考慮條件。
聯合國《兒童權利公約》為保護兒童的權利、尊嚴、自主權和安全制定了許多原則。其中一條最為重要，即「在有關兒童的一切行動中，無論是由公共或私人社會福利機構、法院、行政當局或立法機構採取的行動，都應以兒童的最大利益為首要考慮。」
以人為本的設計是指首先從產品對象開始，採取以兒童為中心的設計方法，將需求、願望和使用場景置於技術能力之上。這樣既符合兒童和青少年的社會心理發展階段，又將需要在面對風險方面承擔更多的責任。設計人工智慧產品除了考慮可取性，還要考慮適用性和安全性。因此，這些原則不僅僅適用於狹義的兒童和青少年智能玩具市場，作為人工智慧產品設計開發者更要注重對安全漏洞的抵禦和防護。
兒童人工智慧產品設計的五大特點
報告提出產品設計符合的五大特點包括公平性、包容性、責任性、安全性和透明性，具體來看：
公平性
建議人工智慧驅動的兒童和青少年工具的設計者、開發者、維護者、檔案管理員和研究人員在設計公平的人工智慧系統時，要注意其工作的敏感性和道德後果。每當收集數據、設計系統或銷售產品時，設計者需要履行公平和誠實的道德義務，並做好工作和避免傷害。成年人有責任幫助他們成長並保護他們，這些義務就顯得更加緊迫。然而，由人工智慧和機器學習（ML）驅動的技術和系統可以改變人們之間的互動方式，也給用戶帶來了潛在的偏見、排斥問題，缺乏公平性。
公平性的風險包括：
1）違反信任和允許的行為；
2）情感和發展方面的傷害；
3）偏見和不平等的影響。
應對建議：
1）採用積極主動的策略進行治理。例如設置一些問題調查表，對是否願意公開記錄、是否會帶來好結果、是否對個人性格有影響等進行調查。
2）建立持續的道德評估。建議在兒童合作組織的倫理評估工具中找到一些開展持續反思的策略，在開發周期中建立持續的道德評估。
3）採用道德管理實現公平。這是根據產品既定道德目標來理解、評估、質疑和更新技術的做法，定期對項目的整體健康狀況進行考量顯得至關重要。
4）為了解產品的運行和可能出現偏差方面，可用數據進行測試和訓練。測試和訓練可考慮該產品是如何定義和衡量AI中的偏見，又是如何被補救的，並從進行的研究綜合中發現差距或優勢等。
包容性
設計產品時建立包容性，可能會減輕造成認知、情感或社會的困擾和傷害。包容是人們情感、心理和身體安全感的基本要素。人類是社會性動物，所有人都渴望有歸屬感並自然而然地適應排斥、包容和由此產生的不確定感。兒童和青少年往往缺乏必要的應對技能來管理排斥（真實或感知的）的負面感覺。排斥感會傷害兒童的自信、自我價值感和發展。
包容性的風險包括：任何人工智慧模型都會將其程式設計師和數據中的偏見內部化，這可能會在設計和實踐中造成無意的排斥，尤其對兒童和青少年不利。
應對建議：
1）建立研究計劃、諮詢委員會等多類人群的反饋機制。產品設計中應該包括用戶、家長/監護人和教育專家，以及教育專業人士在每個階段的開發反饋。這種反饋應儘早收集（最好是在編寫任何代碼之前），並且在產品出廠後繼續收集反饋。
2）積極尋找用戶體驗失敗的原因。建議將兒童和青少年納入到發展周期的每個步驟中，並不斷地記錄產品是如何使各種兒童和青少年成功參與的。由此可以決定排除某個用戶類型，這些記錄在案並在內部分享和討論，以建立共識。
3）為了解產品的運行和可能出現偏差方面，可用數據進行測試和訓練。承認人工智慧偏見的存在，了解人工智慧的局限性，並記錄如何能夠減輕偏見、緩解偏見是否會引入新偏見、了解人工智慧並發現其改進的方法等。
責任感
具有責任感的人工智慧設計應考慮到兒童和青少年的情感、心理和身體安全。一方面，產品團隊需要考慮他們是否有技能或專業知識來充分評估向兒童和青少年介紹其人工智慧產品的風險。另一方面，產品的構思、設計、規劃、開發和測試應以年齡和發展階段的適當性為基礎，並採用最科學的方法來測試適當性。在這個傳統的產品周期中，人工智慧設計的責任感主要體現在產品設計團隊間的合作，包括與對象及其監護人，以及學習科學、倫理學、教育學等其他相關研究領域專家等。
責任感的風險包括：
1）技術的不完善；
2）不成熟的、不靈活的人工智慧模式等。
應對建議：
除了建立研究計劃、諮詢委員會等多類人群的反饋機制和積極尋找用戶體驗失敗的原因外，還可採取以下措施：
1）重視溝通隱私和安全影響。設計產品時需要考慮如何遵守數據的管理、如何通知用戶與產品有關的商業活動、人工智慧如何使用才能安全地與他人互動等問題。
2）圍繞著人工智慧的行為，以及根據用戶的需求進行調整的方法來建立策略。
安全性
社會心理發展通常以安全感為前提。身處混亂、危險和不可預測的環境很難讓兒童和青少年獲得進一步的發展。因為處於危險中的兒童的大腦會將其寶貴的資源分配給維持自己的生命而不是獲得進一步的發展。然而，無論他們的經歷如何，這對兒童和青少年來說都是沉重的代價。
兒童和青少年很容易發現自己處於危險之中，但是他們的前額葉皮層發育不全，意味著他們預測後果的能力較差，更容易衝動，缺乏自制力，而且他們會尋求即時的滿足，可能沒有能力限制自己的行為等。正是由於這些原因，產品團隊必須站在監護人的盟友的立場，共同承擔起保護兒童和青少年的責任，使其免受傷害。
安全性的風險包括：
1）有意無意的惡意、傾向性和幼稚的做法；
2）不安全的社會環境；
3）存在用戶泄露或其他造成潛在傷害和威脅的情形；
4）存在數據隱私和安全漏洞。
應對建議：
1）開展用戶研究。具體分析遭遇惡意使用、傷害兒童和青少年等的具體情形。
2）建立一個多變量的測量策略。需要多個指標來衡量產品運作狀況，包括定量（發生了什麼）和定性（為什麼發生）。
3）在兒童、監護人和技術人員之間建立透明、可解釋的關係模型來減輕風險。
4）建立一個涉及兒童和青少年的認知、情感和身體的安全計劃，避免遭到黑客的攻擊。
透明度
透明度孕育著信任，高透明度將增強產品的參與感，增添產品設計的樂趣。人工智慧的透明度可以有多種形式。一是，所有產品都必須有明確的免責聲明。根據當地法規，向對象提供明確的免責聲明，應鼓勵產品團隊建立人工智慧標籤系統，這也是工具包的一部分，在每個產品中，既可以在實體包裝上，也可以通過二維碼在網上訪問。二是，針對兒童和青少年的人工智慧產品應有六種類別和解釋，包括年齡、無障礙環境、攝像頭和麥克風、網絡、人工智慧的使用、數據的應用，以便在產品、購買者（父母/監護人或其他人員）之間建立透明度。
缺乏透明度的風險包括：人工智慧模型本身可能不具有透明性，包括兒童和青少年以及他們的父母和監護人在內都難以理解其運行的過程。缺乏透明度的人工智慧可以無視法律，混淆同意，並將父母和監護人排除在程序之外，還可能給用戶的隱私和安全帶來影響。
應對策略：
1）確認使用條款通俗易懂（非技術性用戶也能理解）。
2）明確告知高風險技術的使用情況（如面部識別和情感識別）以及如何管理這些數據。
3）將更安全的選項作為默認選項，並允許監護人在閱讀其特定的使用條款後選擇進入高級功能。
4）清楚地說明為構建的應用程式建立的年齡組。
5）提供指導技術的使用環境。
6）為監護人建立警報機制，以便在使用過程中發現風險時進行及時干預。
結論
通過報告可以了解到，即使是再完善的人工智慧設計公司也會忽視人工智慧中潛在的兒童風險問題，面臨人工智慧操作帶來的風險和挑戰。報告建議各方應該在兒童發展、目的適用性、無偏見和隱私方面追求儘可能高的道德和社會標準，為人工智慧在兒童和青少年中的廣泛運用創造更大的潛力和價值。
如需獲取《Artificial Intelligence for Children》全文，請於「賽博研究院」公眾號後台回復「報告4」，即可查閱！歡迎關注及轉發~
「國內+國際」隱私保護人員權威認證培訓
賽博研究院是國內個人信息保護專業人員權威認證品牌（CISP-PIP）的官方指定授權培訓機構，BSI中國是國際隱私專業協會（IAPP）獨家授權的中國區官方培訓合作夥伴，雙方就CISP-PIP與IAPP兩大培訓認證課程體系展開重磅合作，共同推進數據隱私專業人才培養，提升各類企業數據安全合規能力。
諮詢電話：021-61432696
丁老師 15601773140
陳老師 17821177889
CYBER RESEARCH INSTITUTE