人工智能教育應(yīng)用的偏見風(fēng)險分析與治理

　　[摘要]在倡導(dǎo)教育包容與公平的時代背景下，教育面臨著以個性化、自適應(yīng)為特征的智能技術(shù)所帶來的偏見風(fēng)險。在智能教育產(chǎn)品的研發(fā)過程中，潛在的設(shè)計偏見、數(shù)據(jù)偏見和算法偏見會使教育領(lǐng)域面臨多重風(fēng)險，如教育活動的公平性受阻、教育系統(tǒng)內(nèi)部的歧視加劇、教育中的多元化特質(zhì)消解和學(xué)生思想窄化。學(xué)校、科技公司、監(jiān)管機構(gòu)等組織應(yīng)當(dāng)攜手共進，提前偵測偏見風(fēng)險并加強治理，包括：提升研發(fā)團隊的教育理解和多元眼光，讓師生成為產(chǎn)品的合作創(chuàng)造者，加強偏見檢測和道德評估過程，建立可解釋、可審查、可糾正的系統(tǒng)優(yōu)化機制，開展面向師生的人工智能素養(yǎng)教育，確立人工智能在教育中的應(yīng)用范圍和倫理規(guī)范，從而爭取實現(xiàn)人機良性互動，打造多元包容的智能教育環(huán)境。

　　[關(guān)鍵詞]人工智能教育應(yīng)用；人工智能倫理；教育包容；算法偏見；數(shù)據(jù)偏見

　　一、引言

　　當(dāng)前，關(guān)于人工智能教育應(yīng)用（ArtificialIntelligenceinEducation，簡稱AIED）的討論非常熱烈。無論是作為輔助教學(xué)、校園管理的工具，還是學(xué)科教育的重要內(nèi)容，人工智能都為教育發(fā)展注入了新動力。有支持者主張，AI是基于真實教育數(shù)據(jù)做出決策的，較之人類決策更加客觀、公正和權(quán)威。然而，真的是這樣嗎？普林斯頓大學(xué)的一項研究發(fā)現(xiàn)，AI和人類一樣帶有偏見，它們會將女性群體與“家庭”“藝術(shù)”掛鉤，將男性群體與“事業(yè)”“野心”掛鉤，將有色人種群體與一些令人不悅的詞語掛鉤[1]。隨著AI在各行業(yè)中承擔(dān)起愈發(fā)重要的決策角色，諸如此類的偏見足以對我們的真實世界產(chǎn)生影響，教育領(lǐng)域也不例外。

　　二、研究背景

　　有學(xué)者指出：“‘適應(yīng)與個性’和‘包容與公平’都是現(xiàn)代教育技術(shù)發(fā)展的重要范疇，但令人驚訝的是，卻鮮有這兩個領(lǐng)域交匯處的研究。”[4]AIED及相應(yīng)的創(chuàng)新教育模式一方面能夠促進優(yōu)質(zhì)資源共享，彌合教育鴻溝，推動教育公平進程；但另一方面，因社會權(quán)力結(jié)構(gòu)分布帶來的偏見，可能會因為對適應(yīng)性教學(xué)和個性化學(xué)習(xí)的追求而被鞏固和加劇。如今，我們站在這個十字路口，應(yīng)當(dāng)厘清教育包容與公平和適應(yīng)與個性之間的關(guān)系，充分認(rèn)識研究AIED中所存在的偏見問題的意義。

　?。ㄒ唬┲悄軙r代下教育包容與公平的新局面

　　包容與公平始終是教育的核心主題。聯(lián)合國教科文組織（UNESCO）將“確保包容和公平的優(yōu)質(zhì)教育，讓全民終身享有學(xué)習(xí)機會”作為2030年教育分支的可持續(xù)發(fā)展目標(biāo)之一[5]。經(jīng)濟合作與發(fā)展組織（OECD）將教育公平和教育包容作為衡量教育成功的兩項標(biāo)準(zhǔn)[6]。當(dāng)AI進入教育場景，教育包容與公平的內(nèi)涵也必將迎來新的變化。只有在確保AIED不會阻礙教育包容與公平的前提條件下，才能真正可持續(xù)性地為教育賦能。

　?。ǘ﹤€性化支持與教育歧視的一線之隔

　　實現(xiàn)個性化學(xué)習(xí)基本上是教育領(lǐng)域終極追求的目標(biāo)[7]。過去數(shù)十年，教育技術(shù)越來越強調(diào)以學(xué)生為導(dǎo)向，推動個性化自適應(yīng)學(xué)習(xí)的發(fā)展[8]，如智能導(dǎo)師系統(tǒng)、教學(xué)機器人、智能學(xué)習(xí)伙伴、自動化評估系統(tǒng)、虛擬現(xiàn)實技術(shù)教育應(yīng)用、個性化慕課等[9]。但是，當(dāng)偏見悄悄潛入其中，“因材施教”可能因此變味，與“教育歧視”僅是一線之隔。

　　三、AIED的偏見生成機制

　　有學(xué)者指出，社會不公是由社會結(jié)構(gòu)性壁壘和個人認(rèn)知性壁壘構(gòu)成的[12]。前者是指歷史上的不公在政策、實踐、價值觀中的滲透；后者是指用于維持社會不公結(jié)構(gòu)的個人層面的思考活動會潛在地加深理解、行為、決策中的刻板印象。這兩層壁壘作用于AIED，使之沿襲甚至強化帶有偏見的社會思考模式，導(dǎo)致學(xué)習(xí)者被無限循環(huán)的偏見所包圍。偏見會貫穿于AIED的生命周期———從系統(tǒng)的初步設(shè)計、收集數(shù)據(jù)、建立數(shù)據(jù)庫、算法編寫、模型訓(xùn)練，直至應(yīng)用落地，可歸納為以下三種生成機制：

　?。ㄒ唬┰O(shè)計偏見：特定群體被排除在目標(biāo)受眾之外有報道稱，尼康某型號的相機在拍攝亞洲人時總是會彈出“是否有人眨眼？”的提示。加納裔美國研究員喬伊·布拉姆維尼（JoyBuolawini）在使用實驗室設(shè)備的時候，屢次遭到人臉識別系統(tǒng)的“無視”，某天她帶上了一張白色面具，系統(tǒng)居然成功識別了她的“面部信息”[13]。有些產(chǎn)品在設(shè)計之初就忽略了某些特殊群體的存在，致使某些特定學(xué)習(xí)者群體無法與其他學(xué)生同等獲取系統(tǒng)的服務(wù)。有研究者指出，這是一個教育發(fā)展至今都未曾面臨過的、全新的歧視維度[4]。

　　（二）數(shù)據(jù)偏見：社會結(jié)構(gòu)性壁壘的復(fù)制與重現(xiàn)數(shù)據(jù)正在重塑著我們的教育，從課堂分析到成績預(yù)測，從招生入學(xué)到生涯規(guī)劃等，越來越多的教育活動在不斷被數(shù)據(jù)化。數(shù)據(jù)科學(xué)家維克托·邁爾-舍恩伯格（ViktorMayer-Sch觟nberger）指出，大數(shù)據(jù)和教育的結(jié)合將超越過去那些“力量甚微的創(chuàng)新”而創(chuàng)造真正的變革[15]。用于訓(xùn)練、學(xué)習(xí)、挖掘的原始數(shù)據(jù)是AI系統(tǒng)的基石，其中立程度直接影響系統(tǒng)輸出的結(jié)果[16]。

　　四、AIED的偏見風(fēng)險分析

　　隨著AI逐步深入教育場景，背后的偏見問題在應(yīng)用過程中漸漸暴露和發(fā)酵，社會爭議性事件屢有發(fā)生。如果缺乏對偏見問題的敏感度，事前疏于評估偏見風(fēng)險，可能導(dǎo)致出現(xiàn)范圍更廣、程度更深的負(fù)面影響事件。

　?。ㄒ唬┙逃顒拥墓叫允艿阶璧K

　　隨著AI在教育中的全方位應(yīng)用，偏見風(fēng)險會滲透在各類教育活動中。例如：在預(yù)測學(xué)生下一次統(tǒng)考成績時，某些學(xué)生可能因為所在學(xué)區(qū)的成績差而被系統(tǒng)認(rèn)定將會表現(xiàn)不佳；一位學(xué)生正在回答簡答題時，智能系統(tǒng)的自動糾正功能改變了她的遣詞造句，甚至違背了她原本想表達的意思；AI在與某學(xué)生交流時習(xí)得了性別歧視并在和其他學(xué)生的交流時復(fù)制重現(xiàn)......雖然上述情況也許尚未出現(xiàn)，但在未來一旦發(fā)生，就很可能引發(fā)社會關(guān)注，有損教育公平。

　?。ǘ┙逃到y(tǒng)內(nèi)部的歧視加劇

　　以學(xué)生為中心的智能學(xué)習(xí)環(huán)境中，偏見可能會導(dǎo)致特定學(xué)生群體遭到排斥，在性別、文化、地域、知識水平、家庭經(jīng)濟水平等方面加劇群體之間的歧視和隔離。如果說，不透明的全方位數(shù)據(jù)采集是對學(xué)生隱私權(quán)的“一次傷害”，那在此基礎(chǔ)上形成帶有偏見的決策和歧視性干預(yù)，對學(xué)生所造成“二次傷害”的影響則更深更廣。在“算法中立”的幌子下，雖然我們并非有意制造歧視，但是最脆弱的社會階層很可能會受到不公平的對待[27]。有學(xué)者發(fā)現(xiàn)了針對特定學(xué)生群體的價格歧視———在報名某權(quán)威的SAT在線輔導(dǎo)服務(wù)時，輸入亞洲人社區(qū)的郵編，將會被收取更高的費用，高達其他地區(qū)學(xué)生的兩倍[28]。

　　五、AIED的風(fēng)險防治策略

　　智能教育產(chǎn)品的每個發(fā)展環(huán)節(jié)都需要關(guān)注偏見問題，組建團隊、確定用戶需求、產(chǎn)品設(shè)計開發(fā)、宣傳推廣、應(yīng)用落地都須嚴(yán)格把關(guān)?？缥幕椒☉?yīng)該被納入政策制定、產(chǎn)品研發(fā)、團隊建設(shè)等環(huán)節(jié)中。學(xué)校管理者和決策者、產(chǎn)品設(shè)計者和開發(fā)者、學(xué)生、教師、家長、科研工作者應(yīng)當(dāng)攜手推進教育環(huán)境包容性和多元化的建設(shè)。

　　（一）提升研發(fā)團隊的教育理解與多元眼光

　　如果技術(shù)人員對于教育過程不夠熟悉，對于教育本質(zhì)理解不足，缺乏情境體驗和背景知識，就很可能基于錯誤或片面的教育認(rèn)識在系統(tǒng)開發(fā)過程中嵌入自己的偏見，導(dǎo)致算法模型與教學(xué)實踐脫節(jié)。首先，應(yīng)該提升研發(fā)團隊的教育理解力。智能教育企業(yè)應(yīng)當(dāng)注重培養(yǎng)員工對教育的正確認(rèn)識，比如可以邀請教育學(xué)領(lǐng)域?qū)＜议_展面向企業(yè)管理者和工程師的講座、工作坊等培訓(xùn)活動，修正他們在教育方面的認(rèn)知偏見。其次，研發(fā)團隊同質(zhì)化也是導(dǎo)致偏見的重要原因。因為人們往往難以察覺自身的內(nèi)隱偏見，對于他人利益敏感度不足，同質(zhì)化的研發(fā)團隊更容易忽視與自身不同的群體需求，收集的數(shù)據(jù)也更多是來自同群體的樣本。如開發(fā)圖像識別系統(tǒng)時，非洲程序員的訓(xùn)練集里黑人照片更多，而亞洲程序員更多用黃種人的照片。因此，不少倫理專家都提出，組建研發(fā)團隊時要關(guān)注成員在社會屬性上的異質(zhì)程度[4]。最后，還應(yīng)該關(guān)注成員之間的學(xué)科異質(zhì)性，構(gòu)建問題解決的多元眼光。如地域偏見可能不會因為團隊里增加了幾位偏遠地區(qū)的成員就被消除，但當(dāng)團隊中有計算機專家、數(shù)據(jù)科學(xué)家、教育專家、倫理學(xué)家等一系列技術(shù)和非技術(shù)角色時，就能夠更全面地理解教育中的地域偏見問題，從而為尋找創(chuàng)新解決方案提供多元視角。

　?。ǘ┳寧熒蔀橹悄芙逃a(chǎn)品的合作創(chuàng)造者

　　互聯(lián)網(wǎng)時代下“共同創(chuàng)造”成為匯聚各方力量的創(chuàng)新模式，師生無疑是教育技術(shù)重要的合作創(chuàng)造者[31]。智能教育產(chǎn)品的最終目標(biāo)是幫助解決教育領(lǐng)域的問題。因此，企業(yè)應(yīng)鼓勵師生群體充分參與產(chǎn)品研發(fā)，積極與企業(yè)人員對話，清楚地傳達需求和困惑。企業(yè)應(yīng)對典型群體或特殊群體的需求展開充分的調(diào)研，邀請具有典型性或者特殊性的教師代表和學(xué)生代表，通過問卷、訪談、課堂觀察等方式洞察用戶行為，建立起鮮明的、動態(tài)的師生用戶畫像，在此基礎(chǔ)上推進研發(fā)進程。

　　結(jié)語

　　迄今為止，國內(nèi)AI在教學(xué)中的應(yīng)用還沒有達到“廣泛”的水平，絕大多數(shù)智能教育產(chǎn)品都還處于弱AI的范疇，其中的偏見傾向尚不足以造成嚴(yán)重后果。但也許在不遠的未來，AI將會獲得更大的能力，足以左右孩子的教育和成長，控制人類的生活與思想。在感嘆著AI為教育帶來深刻變革與全新機遇，享受著智能化的服務(wù)與支持的同時，我們應(yīng)當(dāng)時刻保持著對于潛在“紅線”的敏感和警惕。正如哲學(xué)家羅伯特·所羅門（RobertSolomon）所說：“我們曾經(jīng)建立起來的那些關(guān)系，最終將會被用來塑造我們。”[34]17

　　參考文獻

　　[1]CALISKANA，BRYSONJJ，NARAYANANA.Semanticsderivedautomaticallyfromlanguagecorporacontainhuman-likebiases[J].Science，2017，356（6334）：183-186.

　　[2]張中學(xué)，宋娟.偏見研究的進展[J].心理與行為研究，2007（2）：150-155.

　　[3]王旭.“紅線政策”與美國住房市場的反歧視立法[J].社會科學(xué)戰(zhàn)線，2016（5）：89-98.

　　[4]KNOXJ，WANGY，GALLAGHERM.Artificialintelligenceandinclusiveeducation[M].Singapore：Springer，2019.

　　[5]WorldEducatorsForum.Education2030：incheondeclarationandframeworkforactiontowardsinclusiveandequitablequalityeducationandlifelonglearningforall[M].Paris：UnitedNationsEducational，ScientificandCulturalOrganization，2015.

　　[6]劉寶存，屈廖健.PISA2012教育成功和地區(qū)的基本經(jīng)驗[J].比較教育研究，2015，37（6）：14-20，29.

　　沈苑，汪瓊

《人工智能教育應(yīng)用的偏見風(fēng)險分析與治理》

上一篇：后疫情時期何以發(fā)展教師在線教學(xué)勝任力

下一篇：基礎(chǔ)教育信息化發(fā)展的問題審視與戰(zhàn)略調(diào)整