文/中國銀行企業(yè)級架構(gòu)建設(shè)辦公室資深經(jīng)理宋首文隨著以ChatGPT為代表的生成式人工智能的爆發(fā)式發(fā)展，針對大語言模型的研究和產(chǎn)業(yè)應(yīng)用成為科技界的熱點領(lǐng)域。在金融業(yè)，大語言模型能夠應(yīng)用在智能客服、智能營銷、智能投顧、智能辦公、智能風(fēng)控等諸多場景，從而為銀行轉(zhuǎn)變管理模式、提升服務(wù)質(zhì)效提供有效助力，也已成為未來銀行數(shù)字化轉(zhuǎn)型的路徑依賴。同時應(yīng)用大語言模型過程中，也要對其中可能蘊(yùn)含的數(shù)據(jù)風(fēng)險、模型風(fēng)險和決策風(fēng)險等潛在風(fēng)險因素保持清醒認(rèn)識，并采取合理措施予以防控。引言黨的二十大報告提出，要實施創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略，開辟發(fā)展新領(lǐng)域新賽道，不斷塑造發(fā)展新動能新優(yōu)勢，構(gòu)建包括人工智能技術(shù)在內(nèi)的一批新增長引擎。近期召開的中央金融工作會議強(qiáng)調(diào)，要做好五篇金融大文章，其中包括科技金融與數(shù)字金融。金融業(yè)因其信息豐富、數(shù)據(jù)龐雜、知識專業(yè)、人才密集等天然特征，擁有與大模型深度結(jié)合的基因，因而成為大模型應(yīng)用落地的重要場景。2022年11月30日，OpenAI推出ChatGPT，引發(fā)了全球范圍內(nèi)的新一輪AI狂潮，科技巨頭紛紛涌入賽道加速布局。隨著微軟率先將GPT-4應(yīng)用于搜索引擎，國內(nèi)科技領(lǐng)軍企業(yè)百度、華為、阿里等也加快了大模型的開發(fā)和應(yīng)用，先后推出了文心一言、盤古、通義千問等大模型產(chǎn)品。今年3月，彭博推出了應(yīng)用于金融業(yè)的大語言模型BloombergGPT，引發(fā)了市場對金融領(lǐng)域大模型的關(guān)注。大模型技術(shù)發(fā)展帶來的產(chǎn)業(yè)變革將成為科技金融、數(shù)字金融發(fā)展的重要推動力。目前，銀行業(yè)正加速推進(jìn)數(shù)字化轉(zhuǎn)型。數(shù)字化轉(zhuǎn)型的愿景就是要利用數(shù)字化手段提升企業(yè)管理和服務(wù)水平，強(qiáng)化創(chuàng)新能力，發(fā)展新業(yè)務(wù)模式。國內(nèi)多家銀行已積極探索大模型應(yīng)用場景。如農(nóng)業(yè)銀行推出了ChatABC大模型，工商銀行在遠(yuǎn)程銀行、智慧辦公、研發(fā)等企業(yè)內(nèi)部場景進(jìn)行了大模型應(yīng)用的初步探索，招商銀行重點應(yīng)用于全流程財富管理，投產(chǎn)了FinGPT創(chuàng)意中心等。大模型的發(fā)展及特點大語言模型（后續(xù)簡稱大模型）是大規(guī)模語言模型（Large Language Model）的簡稱，是一種網(wǎng)絡(luò)參數(shù)規(guī)模達(dá)到億級以上的深度學(xué)習(xí)復(fù)雜神經(jīng)網(wǎng)絡(luò)算法，能夠自動從大量的非結(jié)構(gòu)化數(shù)據(jù)中學(xué)習(xí)、處理數(shù)據(jù)和生成結(jié)果，具有解決復(fù)雜問題的理解能力，向用戶輸出個性化內(nèi)容。與過去自然語言處理（NLP）領(lǐng)域常見的算法和模型不同，大模型能夠充分挖掘海量未標(biāo)注數(shù)據(jù)蘊(yùn)含的信息，這為大模型帶來了突破性的語義理解和泛化輸出能力。以ChatGPT為代表的大模型在許多復(fù)雜的NLP任務(wù)上給出了前所未有的出色表現(xiàn)。在ChatGPT火爆出圈之后，許多其他領(lǐng)域的生成式人工智能產(chǎn)品也相繼涌現(xiàn)，如自動編程輔助工具CopilotX、AI繪畫生成工具Stable Diffusion、智能視頻生成工具pika等，這些產(chǎn)品正在深刻地改變?nèi)藗児ぷ骱蜕畹姆绞剑矊ξ磥碓S多行業(yè)的商業(yè)模式帶來深遠(yuǎn)影響。大模型的發(fā)展歷程作為NLP領(lǐng)域的前沿技術(shù)，大模型的發(fā)展史與人類探尋機(jī)器處理語言的歷程密不可分。在NLP發(fā)展過程中，其基本思路由以人為設(shè)定的規(guī)則為主，逐步演化為基于統(tǒng)計歸納和深度學(xué)習(xí)的模型處理。總體來看，大模型的發(fā)展經(jīng)歷了如下幾個階段：萌芽期（1950—2005）：以CNN為代表的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型階段。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，簡稱CNN）是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一。CNN通過卷積操作來提取輸入數(shù)據(jù)的局部特征，并通過池化層減小數(shù)據(jù)的空間尺寸，最終通過全連接層實現(xiàn)分類，主要應(yīng)用于計算機(jī)視覺領(lǐng)域，如圖像識別。卷積神經(jīng)網(wǎng)絡(luò)奠定了深度學(xué)習(xí)在計算機(jī)視覺等領(lǐng)域的基礎(chǔ)，為后續(xù)大模型的發(fā)展提供了關(guān)鍵的技術(shù)經(jīng)驗支持。成長期（2006—2019）：以Transformer為代表的全新神經(jīng)網(wǎng)絡(luò)模型階段。在這一階段，Word2Vec模型和GAN（對抗式生成網(wǎng)絡(luò)）相繼誕生，深度學(xué)習(xí)進(jìn)入了生成模型研究的新階段。2017年，Transformer架構(gòu)是由Google創(chuàng)造性地提出的。這是一種基于自注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，不再依賴于卷積或循環(huán)結(jié)構(gòu)，而是通過自注意力機(jī)制來處理輸入序列，用于自然語言處理、計算機(jī)視覺等方面，并由此奠定了大模型的算法架構(gòu)基礎(chǔ)。爆發(fā)期（2020年至今）：以GPT為代表的預(yù)訓(xùn)練大模型階段。生成式預(yù)訓(xùn)練轉(zhuǎn)換器（Generative Pre-trained Transformer，簡稱GPT）是一種基于Transformer架構(gòu)的生成式預(yù)訓(xùn)練模型，經(jīng)由龐大的語料庫訓(xùn)練后，可根據(jù)用戶輸入的文字內(nèi)容生成對應(yīng)文字回答。隨著模型規(guī)模的增加，GPT具有更強(qiáng)大的學(xué)習(xí)和生成能力。2022年11月，OPENAI推出ChatGPT3.5，在智能問答、內(nèi)容創(chuàng)作、翻譯等方面的能力顯著提升。GPT模型在自然語言處理領(lǐng)域取得了重大的突破，推動了預(yù)訓(xùn)練大模型在人工智能領(lǐng)域的快速發(fā)展。2023年12月，谷歌公司發(fā)布人工智能大模型Gemini。它包括三個版本：功能最強(qiáng)的Gemini Ultra被定位為GPT-4的競爭對手；Gemini Pro是中端版本，適用于多任務(wù)處理；而Gemini Nano則用于特定任務(wù)和移動端設(shè)備。目前，Gemini Pro版本已率先上線并實裝至谷歌聊天機(jī)器人Bard中。在官方發(fā)布的演示中，通過合理輸入提示詞，Gemini表現(xiàn)出較強(qiáng)的邏輯推理、互動、創(chuàng)作和解決問題的能力，包括跟蹤游戲內(nèi)容、識別手勢、給出正確的行星排列順序等。且由于Gemini是原生多模態(tài)大模型，即強(qiáng)調(diào)訓(xùn)練過程中就采用多模態(tài)數(shù)據(jù)輸入，因此其在處理多模態(tài)任務(wù)方面相較于GPT-4版本具有優(yōu)勢，例如可基于大量論文數(shù)據(jù)生成對比分析圖表等。Gemini的發(fā)布標(biāo)志著生成式人工智能領(lǐng)域進(jìn)入了谷歌與OpenAI兩大陣營兩強(qiáng)“軍備競賽”的階段，將有助于大模型整體的多元化創(chuàng)新發(fā)展，行業(yè)的頭部效應(yīng)也將更加明顯。大模型基本邏輯及技術(shù)特點以GPT為代表的大模型在處理文本時的基本邏輯是采用自回歸的預(yù)測方式，基于前一個語句的單詞來生成下一個詞，它通過在大規(guī)模文本數(shù)據(jù)集上進(jìn)行無監(jiān)督預(yù)訓(xùn)練來掌握語言的統(tǒng)計特征和語義表示，學(xué)習(xí)單詞之間的關(guān)系、句子的語法信息和文本的上下文語義。GPT是基于Transformer架構(gòu)建立的，自2017年被Google提出后，Transformer已成為了BERT、GPT等預(yù)訓(xùn)練模型的核心結(jié)構(gòu)。Transformer架構(gòu)相較于過去運用較多的LSTM等模型，能夠在處理長文本時更好地捕捉間隔較長的語義關(guān)聯(lián)，同時，它能夠高效利用GPU進(jìn)行分布式訓(xùn)練，顯著提升建模效率。至此，Transformer架構(gòu)已成為NLP領(lǐng)域最主流、應(yīng)用最廣泛的架構(gòu)。典型的Transformer架構(gòu)包含一個編碼器（Encoder）和一個解碼器（Decoder）。其中，編碼器用于學(xué)習(xí)輸入序列的表示，解碼器用于生成輸出序列。對于輸入的文本，Transformer架構(gòu)首先會對其進(jìn)行轉(zhuǎn)換，將其編碼為詞向量和位置信息，使模型獲取輸入的每個單詞和其在整個序列中的位置。隨后，編碼器會對編碼后的數(shù)據(jù)采用專注力機(jī)制進(jìn)行處理，計算輸入序列中每個位置與其他位置之間的關(guān)聯(lián)程度，從而為每個位置分配不同的權(quán)重。這些權(quán)重信息體現(xiàn)了不同語句元素的重要性，代表了模型所捕捉到的序列中的關(guān)聯(lián)信息。而在解碼器模塊，會再次通過專注力機(jī)制，并經(jīng)過多層神經(jīng)網(wǎng)絡(luò)的計算，給出最終的輸出詞預(yù)測概率。相較于傳統(tǒng)的NLP模型，基于Transformer架構(gòu)的大模型具有如下顯著特征：海量磅礴的數(shù)據(jù)規(guī)模盡管對何種規(guī)模的模型稱其為“大”，還沒有官方的定義，早期的大模型參數(shù)一般在百萬、千萬級別，而目前NLP領(lǐng)域的大模型具有的參數(shù)往往在數(shù)十億數(shù)量級之上。以GPT-3版本為例，其擁有的參數(shù)達(dá)到1750億個，為完成訓(xùn)練所需要的語料庫數(shù)據(jù)量達(dá)到45TB之巨。大模型帶來的卓越性能表現(xiàn)離不開海量基礎(chǔ)數(shù)據(jù)的積累和強(qiáng)大基礎(chǔ)計算資源的支撐。智能強(qiáng)大的涌現(xiàn)能力在模型規(guī)模不斷拓展過程中，一旦突破某個閾值，其在語義理解、邏輯推理等復(fù)雜任務(wù)上的性能表現(xiàn)就會顯著提升，這類帶來“質(zhì)變”的能力被稱為“涌現(xiàn)能力”。大模型所體現(xiàn)出的涌現(xiàn)能力主要包括強(qiáng)大的上下文學(xué)習(xí)能力和知識推理能力等，ChatGPT在很多場景下表現(xiàn)出很高的“理解”的智慧。跨語言跨領(lǐng)域的泛化能力對機(jī)器學(xué)習(xí)模型而言，泛化能力是指將學(xué)習(xí)到的知識、經(jīng)驗和策略應(yīng)用到新領(lǐng)域、新場景下的能力，這也是人們始終追求的通用人工智能的關(guān)鍵能力。大模型在處理與訓(xùn)練數(shù)據(jù)集不同的主題或風(fēng)格的內(nèi)容時能給出良好的表現(xiàn)，可以在未經(jīng)過直接訓(xùn)練的語言上較好地執(zhí)行任務(wù)，也能夠應(yīng)對各種不同的場景，如文本摘要、文本生成、機(jī)器翻譯和智能問答等。大模型的發(fā)展趨勢目前，大模型所引發(fā)的技術(shù)變革正如火如荼，各大科技公司都在理論研究、模型構(gòu)建和產(chǎn)業(yè)應(yīng)用等方面積極布局。未來，大模型領(lǐng)域前景廣闊潛力巨大，隨著探索的不斷深入，大模型的發(fā)展必將呈現(xiàn)出多元化的發(fā)展趨勢，主要如下：大小模型協(xié)同并進(jìn)：大模型發(fā)展迅速，但是在模型部署、資源損耗、數(shù)據(jù)標(biāo)注等方面面臨非常大的挑戰(zhàn)。大型模型能力的提升，關(guān)鍵在于高質(zhì)量真實數(shù)據(jù)的投喂。通過模型量化、蒸餾等方式，將大模型沉淀的知識與能力向小模型輸出，由小模型執(zhí)行實際任務(wù)，然后將執(zhí)行結(jié)果反饋給大模型。通過這種迭代閉環(huán)的數(shù)據(jù)循環(huán)，大模型能力持續(xù)強(qiáng)化，形成有機(jī)循環(huán)的智能體系。行業(yè)領(lǐng)域垂直滲透：目前，許多企業(yè)級場景在落地大模型會面臨缺乏行業(yè)深度、不懂企業(yè)、無法保證所有權(quán)等問題，這是由于通用大模型缺乏專業(yè)領(lǐng)域訓(xùn)練語料以及缺少產(chǎn)品設(shè)計考慮。未來，垂直大模型是重要的發(fā)展方向，通用模型會和各領(lǐng)域的專有知識深度融合滲透，在模型訓(xùn)練和優(yōu)化中使用特定領(lǐng)域的數(shù)據(jù)，以確保模型更好地理解和適應(yīng)該領(lǐng)域的語境和特點，從而創(chuàng)造更高的價值。多種模態(tài)深度融合：多模態(tài)是指能夠?qū)⒉煌愋偷臄?shù)據(jù)，如圖像、文字、視頻、語音等，結(jié)合起來進(jìn)行準(zhǔn)確處理，更接近于人類的認(rèn)知模式。通過不同類型的數(shù)據(jù)之間的相互關(guān)聯(lián)和結(jié)合，能夠進(jìn)一步提高模型的準(zhǔn)確性和魯棒性，展現(xiàn)出更高的性能和智能。多模態(tài)大模型的跨感知理解能力和生成能力為大模型應(yīng)用提供了廣闊的新領(lǐng)域，可以高效賦能于各領(lǐng)域場景。公有私用專業(yè)對接：隨著許多開源大模型的呈現(xiàn)，以及相關(guān)廠商大模型的逐步商業(yè)化，大模型在純應(yīng)用端的發(fā)展也在提速迭代。小型企業(yè)、專業(yè)化公司雖然不具備豐富的人工智能算法和模型知識等基礎(chǔ)設(shè)施和人才，但也能使用大模型提供的在線接口和服務(wù)，結(jié)合自身的專業(yè)背景和行業(yè)實踐，通過合理選擇應(yīng)用切入方向，比如通過為大模型設(shè)置有效提示詞等方式，也能打造具備強(qiáng)大功能的專屬應(yīng)用。大模型在商業(yè)銀行的應(yīng)用從ChatGPT等大模型所展現(xiàn)的應(yīng)用場景和價值來看，大模型在商業(yè)銀行的應(yīng)用前景十分廣闊，從前臺到中后臺的各業(yè)務(wù)條線，都可以深入挖掘大模型的應(yīng)用潛力，有效助力銀行拓展挖掘細(xì)分市場，優(yōu)化金融服務(wù)水平，提升內(nèi)部管理效能，降低自身運營成本。在發(fā)展大模型應(yīng)用的過程中，銀行要先行先試、循序漸進(jìn)，綜合平衡成本收益，著眼于可落地性，深入挖掘?qū)嶋H需求，在探索中不斷積累完善，穩(wěn)步提升客戶的獲得感和內(nèi)部用戶的便捷感知。現(xiàn)階段，大模型在商業(yè)銀行的主要應(yīng)用場景可包括智能客服、智能營銷、智能投顧、智能辦公和智能風(fēng)控等方面。智能客服使用機(jī)器客服替代部分人工服務(wù)的場景，已在銀行業(yè)廣泛應(yīng)用。但是，許多銀行智能客服數(shù)字化程度不高，存在知識庫問題匹配不精確、提問語義解析不準(zhǔn)確、上下文理解不充分、答案抽取能力不高等問題。而大模型在內(nèi)容生成和語義理解方面有突出優(yōu)勢，因此，許多銀行寄望于借助大模型技術(shù)來提高客戶服務(wù)的質(zhì)量和效率，具體體現(xiàn)在以下三個方面：第一，準(zhǔn)確識別客戶意圖。基于大模型加持的智能客服，橫跨多個知識庫條目，精準(zhǔn)定位關(guān)鍵知識點，能夠回溯多輪對話，更好地理解上下文。在通用大模型的基礎(chǔ)上，疊加金融客服領(lǐng)域的數(shù)據(jù)和專業(yè)經(jīng)驗，進(jìn)行垂直領(lǐng)域定向訓(xùn)練，客服機(jī)器人可以綜合考慮用戶提示語和用戶習(xí)慣，準(zhǔn)確識別客戶意圖。為避免錯誤話術(shù)納入大模型訓(xùn)練范疇，銀行須對海量數(shù)據(jù)進(jìn)行合規(guī)方面的AI核查。第二，改善提升對話體驗。大模型的多模態(tài)感知與多維表達(dá)能力讓智能客服提升了客戶情緒識別效果，使溝通更具情感色彩，通過更加擬人化、富有個性的表達(dá)方式，增強(qiáng)用戶對人機(jī)對話的接受度和意愿度。高質(zhì)量的對話體驗可以拉近人和機(jī)器的距離，降低轉(zhuǎn)人工率，提升客服支持的效率與服務(wù)滿意度......本文僅代表個人觀點，不代表所在單位意見。付費￥5閱讀全文文章來源丨《清華金融評論》2024年2月刊總第123期本文編輯丨王茅責(zé)編丨丁開艷校對丨蘭銀帆初審丨徐蘭英終審丨張偉Review of Past Articles -0102