<sup id="zebix"><mark id="zebix"></mark></sup>

    <nav id="zebix"><code id="zebix"></code></nav>

      1. <form id="zebix"></form>

        <nobr id="zebix"></nobr>
        <var id="zebix"></var>

        當前位置:CIO技術探討 → 正文

        公司部署自己的大型語言模型的5種方法

        責任編輯:cres 作者:Maria Korolov |來源:企業網D1Net  2023-11-17 15:33:04 原創文章 企業網D1Net

        GenAI是歷史上發展最快的新技術,GenAI正在改變世界,改變我們創建圖像和視頻、音頻、文本和代碼的方式。
         
        根據戴爾9月份對IT決策者的一項調查,76%的人表示,GenAI將對他們的公司產生“重大”影響,大多數人預計在未來12個月內將看到有意義的結果。
         
        大型語言模型(LLM)是一種關注文本和代碼而不是圖像或音頻的GenAI,盡管一些模型已經開始集成不同的形式。當今公司中最受歡迎的LLM是ChatGPT和其他OpenAI GPT模型,Anthropic的Claude,Meta的Llama 2,以及來自Abu Dhabi技術創新研究所的開源模型Falcon,該模型以支持英語以外的語言而聞名。
         
        公司有幾種部署LLM的方式,比如允許員工訪問公共應用程序,使用Prompt工程和API將LLM嵌入現有軟件,使用矢量數據庫提高準確性和相關性,微調現有模型,或者構建自己的LLM。
         
        部署公有LLM
         
        Dig Security是一家以色列云數據安全公司,其工程師使用ChatGPT編寫代碼,首席執行官Dan Benjamin說:“每個工程師都會用東西來幫助他們更快地編寫代碼。”而ChatGPT是最早也是最簡單的編碼助手之一,但它有一個問題——你永遠不能確定你上傳的信息是否不會被用于培訓下一代模型。Dig Security通過兩種方式解決了這一可能性,首先,該公司使用安全網關來檢查上傳了哪些信息。
         
        “我們的員工知道他們不能上傳任何敏感的東西,”Benjamin說。“它被封住了。”
         
        其次,該公司將其工程師輸送到運行在Azure私有云上的ChatGPT版本,這意味著Dig Security擁有自己的獨立ChatGPT實例。Benjamin說,即使用這種腰帶和吊帶的方法來確保安全,這也不是一個完美的解決方案。“沒有完美的解決方案。任何認為存在的公司,都是在自欺欺人。
         
        例如,某人可以使用VPN或個人計算機訪問ChatGPT的公有版本,這就是另一種程度的風險緩解的用武之地。
         
        “這一切都是關于員工培訓,”他說,“并確保他們了解自己需要做什么,并在數據安全方面接受過良好的培訓。”
         
        Dig Security公司并不孤單。
         
        加州SkyHigh Security公司營銷總監Tracy Holden表示,2023年上半年,近100萬最終用戶通過公司基礎設施訪問了ChatGPT,用戶數量在1-6月之間增長了1500%。
         
        在Netskope Threat Labs 7月份的一份報告中,發布到ChatGPT的源代碼比任何其他類型的敏感數據都多,每月每10000個企業用戶發生158起事件。
         
        最近,公司已經得到了更安全、更適合企業的選擇,比如微軟的Copilot,它將易用性與額外的控制和保護結合在一起。在11月初的OpenAI DevDay上,首席執行官Sam Altman表示,目前有1億活躍用戶在使用該公司的ChatGPT聊天機器人,200萬開發者在使用其API,超過92%的財富500強公司都在使用OpenAI平臺。
         
        矢量數據庫和RAG
         
        對于大多數希望定制LLM的公司來說,檢索增強生成(RAG)是可行的。如果有人在談論嵌入或向量數據庫,這就是他們通常的意思,它的工作方式是用戶提出一個問題,比如說,關于公司的政策或產品,這個問題并不是馬上就交給LLM的,相反,它首先被處理,用戶是否有權訪問該信息?如果有訪問權,則通常從矢量數據庫中檢索所有可能相關的信息,然后,問題和相關信息被發送到LLM,并嵌入到優化提示中,該優化提示還可以指定LLM應該使用的回答和語氣的優選格式。
         
        矢量數據庫是一種在一系列列表中組織信息的方式,每個列表都按不同的屬性排序,例如,你可能有一個按字母順序排列的列表,你的回復越接近字母順序,它們就越相關。
         
        按字母順序排列的列表是一維向量數據庫,但向量數據庫可以有無限多個維度,使你可以根據它們與任意數量的因素的接近程度來搜索相關答案,這使得它們非常適合與LLM一起使用。
         
        Salesloft是一家銷售平臺供應商,其首席產品和工程官Ellie Fields表示:“目前,我們正在將所有內容轉換為矢量數據庫。是的,它們正在發揮作用。”
         
        而且,它比使用簡單的文檔為LLM查詢提供上下文更有效,她說。
         
        該公司主要使用ChromaDB,這是一個開源的矢量存儲,主要用于LLM。Salesloft使用的另一個矢量數據庫是PgVECTOR,這是針對PostgreSQL數據庫的矢量相似性搜索擴展。
         
        “但我們也用FAISS和Pinecone做了一些研究,”她說。FAISS,或Facebook AI Similarity Search,是Meta提供的一個開源庫,支持多媒體文檔中的相似性搜索。
         
        Pinecone是一個專有的基于云的矢量數據庫,也受到開發人員的歡迎,它的免費層支持多達10萬個矢量。一旦從矢量數據庫中檢索到相關信息并嵌入到提示符中,查詢就會被發送到在Microsoft Azure上的私有實例中運行的OpenAI。
         
        “我們將Azure認證為我們平臺上的新子處理器,”Fields說。“當我們為客戶的信息配備了新的處理器時,我們總是讓他們知道。”
         
        但Salesloft也與谷歌和IBM合作,并正在開發也使用這些平臺的GenAI功能。
         
        “我們肯定會與不同的供應商和不同的模式合作,”她說。情況一周又一周在變化。如果你不看不同的車型,你就錯失良機了。因此,RAG允許企業將他們的專有數據與模型本身分開,隨著更好的模型的發布,更容易交換模型。此外,矢量數據庫甚至可以實時更新,而不需要對模型進行更多的微調或重新訓練。
         
        “我們已經更換了模型,從OpenAI到Azure上的OpenAI,”Fields說,“我們已經在不同的OpenAI模型之間進行了切換,我們甚至可能針對我們的客戶群的不同部分支持不同的型號。”
         
        她補充說,有時不同的型號有不同的API。“這不是小事,”她說,但換掉一個模型仍然比再培訓容易。“我們還沒有找到一個用例來更好地服務于微調,而不是矢量數據庫,”Fields補充道。“我相信有一些用例,但到目前為止,我們還沒有找到性能更好的用例。”
         
        Salesloft推出的LLM的首批應用之一是添加了一項功能,允許客戶向潛在客戶生成銷售電子郵件。“客戶花了很多時間來寫這些電子郵件,”Fields說。“它很難開始,而且有很多作家的障礙。”因此,現在客戶可以指定目標角色、他們的價值主張和行動號召-他們會收到三封可以個性化的不同草稿電子郵件。Fields說,Salesloft使用OpenAI的GPT 3.5撰寫這封電子郵件。
         
        本地運行的開源模型
         
        總部位于波士頓的Ikigai Labs提供了一個平臺,允許公司構建定制的大型圖形模型,或設計用于處理結構化數據的人工智能模型,但為了使界面更易于使用,Ikigai在其前端安裝了LLM,例如,該公司使用了Falcon開源LLM的70億參數版本,并在自己的環境中為一些客戶運行它。
         
        為了向LLM提供信息,Ikigai使用了也在本地運行的矢量數據庫,它建立在邊界森林算法的基礎上,聯合創始人兼聯合首席執行官Devavrat Shah說。
         
        “四年前在麻省理工學院,我和我的一些學生嘗試了大量的矢量數據庫,”同時也是麻省理工學院人工智能教授的Shah說,“我知道它會有用的,但沒這么有用。”
         
        他表示,將模型和矢量數據庫都保存在本地意味著數據不會泄露給第三方。“對于那些愿意向他人發送查詢的客戶,我們使用OpenAI,”Shah說。“我們是不可知論者。”
         
        構建了自己的ChatPWC工具的普華永道,也是LLM不可知論者。“ChatPWC讓我們的員工更有能力,”該公司合伙人、Gen AI Go-Market戰略負責人Bret Greenstein說,例如,它包括用于生成職位描述的預置提示。“它有我所有的格式、模板和術語,”他說,“我們有人力資源、數據和提示專家,我們設計的東西能產生非常好的招聘信息。現在,沒有人需要知道如何使用令人驚嘆的提示語來生成職位描述。”
         
        該工具是基于Microsoft Azure構建的,但該公司也為谷歌云平臺和AWS構建了它。“我們必須為我們的客戶服務,他們存在于每個云上,” Greenstein說。同樣,它也進行了優化,在后端使用不同的型號,因為這是客戶想要的。他補充說:“我們讓每一種模式都能發揮作用。Llama 2,Falcon——我們什么都有。”
         
        當然,市場變化很快,Greenstein建議企業對他們的人工智能部署采取“不后悔”的政策。
         
        “人們可以做很多事情,”他說,“比如建立獨立于模型的數據,以及建立治理。”然后,當市場發生變化,一種新的模式出現時,數據和治理結構仍將是相關的。
         
        微調
         
        管理咨詢公司AArete采用了開源模型GPT 2,并根據自己的數據對其進行了微調。該公司負責數字技術服務的副總裁Priya Iragavarapu說:“這是輕量級的。我們想要一個開源的,能夠在我們的環境中獲取并發布它的軟件。”
         
        如果AArete使用托管模型并通過API連接到它,則會出現信任問題。她說:“我們擔心來自提示的數據可能最終會出現在哪里,我們不想冒這些風險。”
         
        在選擇開源模型時,她會考慮以前的下載次數、社區支持和硬件要求。
         
        她說:“基礎模式也應該有一些任務相關性。”有一些模型適用于特定的任務。例如,我最近研究了一個擁抱臉模型,它可以將PDF中的內容解析為結構化格式。
         
        金融界和醫療保健行業的許多公司都在根據自己的額外數據集對LLM進行微調。
         
        她說:“基本的LLM是在整個互聯網上接受培訓的。”通過微調,公司可以創建專門針對其業務用例的模型。
         
        一種常見的方法是創建一個問題和答案的列表,并根據這些問題和答案微調一個模型。事實上,OpenAI在8月份開始允許使用問答方法對其GPT 3.5型號進行微調,并在11月的DevDay上推出了一套新的GPT 4微調、定制和RAG選項。
         
        這對于客戶服務和幫助臺應用程序特別有用,在這些應用程序中,公司可能已經擁有常見問題數據庫。
         
        同樣在戴爾的調查中,21%的公司更愿意在自己的環境中使用自己的數據來重新培訓現有模型。
         
        Constellation Research公司副總裁兼首席分析師Andy Thurai說:“最受歡迎的選擇似乎是Llama 2。” Llama 2有三種不同的尺寸,對于月用戶少于7億的公司是免費的,公司可以在自己的數據集上對其進行微調,并相當快地推出新的定制模型,他表示。事實上,Hugging Face LLM排行榜目前由Llama 2的不同微調和定制主導。在Llama 2之前,Falcon是最受歡迎的開源LLM,他補充道。“現在是一場軍備競賽。”他說,微調可以創建一個針對特定業務用例更準確的模型。“如果你使用的是一個廣義的Llama模型,精度可能會很低。”
         
        與RAG嵌入相比,微調也有一些優勢。在嵌入的情況下,公司必須對每個查詢進行矢量數據庫搜索。“而且你已經有了數據庫的實現,” Thurai說。“這也不是一件容易的事。”
         
        微調也沒有上下文窗口限制。有了嵌入,可以添加到提示符的信息就只有這么多了。如果一家公司確實進行了微調,他們不會經常這樣做,就在基礎人工智能模型的顯著改進版本發布時。
         
        最后,如果一家公司有一個快速變化的數據集,可以結合嵌入使用微調。“你可以先對其進行微調,然后對增量更新進行RAG,”他說。
         
        Forrester Research分析師Rowan Curran預計,在未來一年左右的時間里,將出現大量微調的、特定于領域的模型,公司還可以提煉模型,使其在特定任務中更有效率,但他說,只有一小部分公司——10%或更少——會這么做。
         
        普華永道的Greenstein表示,開發SaaS應用等應用的軟件公司可能會進行微調。“如果你有一個高度可重復的模式,微調可以降低你的成本,”他說,但對于企業部署,RAG在90%到95%的情況下效率更高。
         
        加拿大企業搜索和推薦公司Coveo的ML副總裁Sebastien Paquet補充道:“我們實際上正在研究針對特定垂直市場的微調模型。”我們有一些專門的垂直領域有專門的詞匯,比如醫學垂直領域。銷售卡車零部件的企業有自己的零部件命名方式。
         
        然而,就目前而言,該公司使用的是在Azure私有云上運行的OpenAI的GPT 3.5和GPT 4,并隔離了LLM API調用,以便Coveo可以在需要時切換到不同的型號。它還針對特定的用例使用了一些來自Hugging Face的開源LLM。
         
        從頭開始構建LLM
         
        很少有公司會從頭開始建立自己的LLM,畢竟,根據定義,它們是相當大的。OpenAI的GPT 3具有1750億個參數,并在45TB的數據集上進行訓練,訓練成本為460萬美元。據OpenAI首席執行官Sam Altman稱,GPT 4的成本超過1億美元。
         
        正是這種大小賦予了LLM魔法和處理人類語言的能力,具有一定程度的常識,以及遵循指令的能力。
         
        “你不能僅僅靠自己的數據來訓練它,”Insight的杰出工程師Carm Taglienti說。“在數千萬參數上進行訓練是有價值的。”
         
        今天,幾乎所有的LLM都來自大型超大規模公司或OpenAI和Anthropic等專注于人工智能的初創公司。
         
        即便是在構建自己的模型方面擁有豐富經驗的公司,也不愿創建自己的LLM。
         
        例如,Salesloft多年來一直在構建自己的人工智能和機器學習模型,包括使用更早技術的GenAI模型,但對從頭開始構建全新的尖端基礎模型猶豫不決。
         
        “這是一個巨大的計算步驟,至少在這個階段,我認為我們還沒有開始。”Fields說。
         
        關于企業網D1net(www.shixingcraft.com):
         
        國內主流的to B IT門戶,同時在運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。同時運營19個IT行業公眾號(微信搜索D1net即可關注)。
         
        版權聲明:本文為企業網D1Net編譯,轉載需在文章開頭注明出處為:企業網D1Net,如果不注明出處,企業網D1Net將保留追究其法律責任的權利。

        關鍵字:大型語言模型

        原創文章 企業網D1Net

        x 公司部署自己的大型語言模型的5種方法 掃一掃
        分享本文到朋友圈
        當前位置:CIO技術探討 → 正文

        公司部署自己的大型語言模型的5種方法

        責任編輯:cres 作者:Maria Korolov |來源:企業網D1Net  2023-11-17 15:33:04 原創文章 企業網D1Net

        GenAI是歷史上發展最快的新技術,GenAI正在改變世界,改變我們創建圖像和視頻、音頻、文本和代碼的方式。
         
        根據戴爾9月份對IT決策者的一項調查,76%的人表示,GenAI將對他們的公司產生“重大”影響,大多數人預計在未來12個月內將看到有意義的結果。
         
        大型語言模型(LLM)是一種關注文本和代碼而不是圖像或音頻的GenAI,盡管一些模型已經開始集成不同的形式。當今公司中最受歡迎的LLM是ChatGPT和其他OpenAI GPT模型,Anthropic的Claude,Meta的Llama 2,以及來自Abu Dhabi技術創新研究所的開源模型Falcon,該模型以支持英語以外的語言而聞名。
         
        公司有幾種部署LLM的方式,比如允許員工訪問公共應用程序,使用Prompt工程和API將LLM嵌入現有軟件,使用矢量數據庫提高準確性和相關性,微調現有模型,或者構建自己的LLM。
         
        部署公有LLM
         
        Dig Security是一家以色列云數據安全公司,其工程師使用ChatGPT編寫代碼,首席執行官Dan Benjamin說:“每個工程師都會用東西來幫助他們更快地編寫代碼。”而ChatGPT是最早也是最簡單的編碼助手之一,但它有一個問題——你永遠不能確定你上傳的信息是否不會被用于培訓下一代模型。Dig Security通過兩種方式解決了這一可能性,首先,該公司使用安全網關來檢查上傳了哪些信息。
         
        “我們的員工知道他們不能上傳任何敏感的東西,”Benjamin說。“它被封住了。”
         
        其次,該公司將其工程師輸送到運行在Azure私有云上的ChatGPT版本,這意味著Dig Security擁有自己的獨立ChatGPT實例。Benjamin說,即使用這種腰帶和吊帶的方法來確保安全,這也不是一個完美的解決方案。“沒有完美的解決方案。任何認為存在的公司,都是在自欺欺人。
         
        例如,某人可以使用VPN或個人計算機訪問ChatGPT的公有版本,這就是另一種程度的風險緩解的用武之地。
         
        “這一切都是關于員工培訓,”他說,“并確保他們了解自己需要做什么,并在數據安全方面接受過良好的培訓。”
         
        Dig Security公司并不孤單。
         
        加州SkyHigh Security公司營銷總監Tracy Holden表示,2023年上半年,近100萬最終用戶通過公司基礎設施訪問了ChatGPT,用戶數量在1-6月之間增長了1500%。
         
        在Netskope Threat Labs 7月份的一份報告中,發布到ChatGPT的源代碼比任何其他類型的敏感數據都多,每月每10000個企業用戶發生158起事件。
         
        最近,公司已經得到了更安全、更適合企業的選擇,比如微軟的Copilot,它將易用性與額外的控制和保護結合在一起。在11月初的OpenAI DevDay上,首席執行官Sam Altman表示,目前有1億活躍用戶在使用該公司的ChatGPT聊天機器人,200萬開發者在使用其API,超過92%的財富500強公司都在使用OpenAI平臺。
         
        矢量數據庫和RAG
         
        對于大多數希望定制LLM的公司來說,檢索增強生成(RAG)是可行的。如果有人在談論嵌入或向量數據庫,這就是他們通常的意思,它的工作方式是用戶提出一個問題,比如說,關于公司的政策或產品,這個問題并不是馬上就交給LLM的,相反,它首先被處理,用戶是否有權訪問該信息?如果有訪問權,則通常從矢量數據庫中檢索所有可能相關的信息,然后,問題和相關信息被發送到LLM,并嵌入到優化提示中,該優化提示還可以指定LLM應該使用的回答和語氣的優選格式。
         
        矢量數據庫是一種在一系列列表中組織信息的方式,每個列表都按不同的屬性排序,例如,你可能有一個按字母順序排列的列表,你的回復越接近字母順序,它們就越相關。
         
        按字母順序排列的列表是一維向量數據庫,但向量數據庫可以有無限多個維度,使你可以根據它們與任意數量的因素的接近程度來搜索相關答案,這使得它們非常適合與LLM一起使用。
         
        Salesloft是一家銷售平臺供應商,其首席產品和工程官Ellie Fields表示:“目前,我們正在將所有內容轉換為矢量數據庫。是的,它們正在發揮作用。”
         
        而且,它比使用簡單的文檔為LLM查詢提供上下文更有效,她說。
         
        該公司主要使用ChromaDB,這是一個開源的矢量存儲,主要用于LLM。Salesloft使用的另一個矢量數據庫是PgVECTOR,這是針對PostgreSQL數據庫的矢量相似性搜索擴展。
         
        “但我們也用FAISS和Pinecone做了一些研究,”她說。FAISS,或Facebook AI Similarity Search,是Meta提供的一個開源庫,支持多媒體文檔中的相似性搜索。
         
        Pinecone是一個專有的基于云的矢量數據庫,也受到開發人員的歡迎,它的免費層支持多達10萬個矢量。一旦從矢量數據庫中檢索到相關信息并嵌入到提示符中,查詢就會被發送到在Microsoft Azure上的私有實例中運行的OpenAI。
         
        “我們將Azure認證為我們平臺上的新子處理器,”Fields說。“當我們為客戶的信息配備了新的處理器時,我們總是讓他們知道。”
         
        但Salesloft也與谷歌和IBM合作,并正在開發也使用這些平臺的GenAI功能。
         
        “我們肯定會與不同的供應商和不同的模式合作,”她說。情況一周又一周在變化。如果你不看不同的車型,你就錯失良機了。因此,RAG允許企業將他們的專有數據與模型本身分開,隨著更好的模型的發布,更容易交換模型。此外,矢量數據庫甚至可以實時更新,而不需要對模型進行更多的微調或重新訓練。
         
        “我們已經更換了模型,從OpenAI到Azure上的OpenAI,”Fields說,“我們已經在不同的OpenAI模型之間進行了切換,我們甚至可能針對我們的客戶群的不同部分支持不同的型號。”
         
        她補充說,有時不同的型號有不同的API。“這不是小事,”她說,但換掉一個模型仍然比再培訓容易。“我們還沒有找到一個用例來更好地服務于微調,而不是矢量數據庫,”Fields補充道。“我相信有一些用例,但到目前為止,我們還沒有找到性能更好的用例。”
         
        Salesloft推出的LLM的首批應用之一是添加了一項功能,允許客戶向潛在客戶生成銷售電子郵件。“客戶花了很多時間來寫這些電子郵件,”Fields說。“它很難開始,而且有很多作家的障礙。”因此,現在客戶可以指定目標角色、他們的價值主張和行動號召-他們會收到三封可以個性化的不同草稿電子郵件。Fields說,Salesloft使用OpenAI的GPT 3.5撰寫這封電子郵件。
         
        本地運行的開源模型
         
        總部位于波士頓的Ikigai Labs提供了一個平臺,允許公司構建定制的大型圖形模型,或設計用于處理結構化數據的人工智能模型,但為了使界面更易于使用,Ikigai在其前端安裝了LLM,例如,該公司使用了Falcon開源LLM的70億參數版本,并在自己的環境中為一些客戶運行它。
         
        為了向LLM提供信息,Ikigai使用了也在本地運行的矢量數據庫,它建立在邊界森林算法的基礎上,聯合創始人兼聯合首席執行官Devavrat Shah說。
         
        “四年前在麻省理工學院,我和我的一些學生嘗試了大量的矢量數據庫,”同時也是麻省理工學院人工智能教授的Shah說,“我知道它會有用的,但沒這么有用。”
         
        他表示,將模型和矢量數據庫都保存在本地意味著數據不會泄露給第三方。“對于那些愿意向他人發送查詢的客戶,我們使用OpenAI,”Shah說。“我們是不可知論者。”
         
        構建了自己的ChatPWC工具的普華永道,也是LLM不可知論者。“ChatPWC讓我們的員工更有能力,”該公司合伙人、Gen AI Go-Market戰略負責人Bret Greenstein說,例如,它包括用于生成職位描述的預置提示。“它有我所有的格式、模板和術語,”他說,“我們有人力資源、數據和提示專家,我們設計的東西能產生非常好的招聘信息。現在,沒有人需要知道如何使用令人驚嘆的提示語來生成職位描述。”
         
        該工具是基于Microsoft Azure構建的,但該公司也為谷歌云平臺和AWS構建了它。“我們必須為我們的客戶服務,他們存在于每個云上,” Greenstein說。同樣,它也進行了優化,在后端使用不同的型號,因為這是客戶想要的。他補充說:“我們讓每一種模式都能發揮作用。Llama 2,Falcon——我們什么都有。”
         
        當然,市場變化很快,Greenstein建議企業對他們的人工智能部署采取“不后悔”的政策。
         
        “人們可以做很多事情,”他說,“比如建立獨立于模型的數據,以及建立治理。”然后,當市場發生變化,一種新的模式出現時,數據和治理結構仍將是相關的。
         
        微調
         
        管理咨詢公司AArete采用了開源模型GPT 2,并根據自己的數據對其進行了微調。該公司負責數字技術服務的副總裁Priya Iragavarapu說:“這是輕量級的。我們想要一個開源的,能夠在我們的環境中獲取并發布它的軟件。”
         
        如果AArete使用托管模型并通過API連接到它,則會出現信任問題。她說:“我們擔心來自提示的數據可能最終會出現在哪里,我們不想冒這些風險。”
         
        在選擇開源模型時,她會考慮以前的下載次數、社區支持和硬件要求。
         
        她說:“基礎模式也應該有一些任務相關性。”有一些模型適用于特定的任務。例如,我最近研究了一個擁抱臉模型,它可以將PDF中的內容解析為結構化格式。
         
        金融界和醫療保健行業的許多公司都在根據自己的額外數據集對LLM進行微調。
         
        她說:“基本的LLM是在整個互聯網上接受培訓的。”通過微調,公司可以創建專門針對其業務用例的模型。
         
        一種常見的方法是創建一個問題和答案的列表,并根據這些問題和答案微調一個模型。事實上,OpenAI在8月份開始允許使用問答方法對其GPT 3.5型號進行微調,并在11月的DevDay上推出了一套新的GPT 4微調、定制和RAG選項。
         
        這對于客戶服務和幫助臺應用程序特別有用,在這些應用程序中,公司可能已經擁有常見問題數據庫。
         
        同樣在戴爾的調查中,21%的公司更愿意在自己的環境中使用自己的數據來重新培訓現有模型。
         
        Constellation Research公司副總裁兼首席分析師Andy Thurai說:“最受歡迎的選擇似乎是Llama 2。” Llama 2有三種不同的尺寸,對于月用戶少于7億的公司是免費的,公司可以在自己的數據集上對其進行微調,并相當快地推出新的定制模型,他表示。事實上,Hugging Face LLM排行榜目前由Llama 2的不同微調和定制主導。在Llama 2之前,Falcon是最受歡迎的開源LLM,他補充道。“現在是一場軍備競賽。”他說,微調可以創建一個針對特定業務用例更準確的模型。“如果你使用的是一個廣義的Llama模型,精度可能會很低。”
         
        與RAG嵌入相比,微調也有一些優勢。在嵌入的情況下,公司必須對每個查詢進行矢量數據庫搜索。“而且你已經有了數據庫的實現,” Thurai說。“這也不是一件容易的事。”
         
        微調也沒有上下文窗口限制。有了嵌入,可以添加到提示符的信息就只有這么多了。如果一家公司確實進行了微調,他們不會經常這樣做,就在基礎人工智能模型的顯著改進版本發布時。
         
        最后,如果一家公司有一個快速變化的數據集,可以結合嵌入使用微調。“你可以先對其進行微調,然后對增量更新進行RAG,”他說。
         
        Forrester Research分析師Rowan Curran預計,在未來一年左右的時間里,將出現大量微調的、特定于領域的模型,公司還可以提煉模型,使其在特定任務中更有效率,但他說,只有一小部分公司——10%或更少——會這么做。
         
        普華永道的Greenstein表示,開發SaaS應用等應用的軟件公司可能會進行微調。“如果你有一個高度可重復的模式,微調可以降低你的成本,”他說,但對于企業部署,RAG在90%到95%的情況下效率更高。
         
        加拿大企業搜索和推薦公司Coveo的ML副總裁Sebastien Paquet補充道:“我們實際上正在研究針對特定垂直市場的微調模型。”我們有一些專門的垂直領域有專門的詞匯,比如醫學垂直領域。銷售卡車零部件的企業有自己的零部件命名方式。
         
        然而,就目前而言,該公司使用的是在Azure私有云上運行的OpenAI的GPT 3.5和GPT 4,并隔離了LLM API調用,以便Coveo可以在需要時切換到不同的型號。它還針對特定的用例使用了一些來自Hugging Face的開源LLM。
         
        從頭開始構建LLM
         
        很少有公司會從頭開始建立自己的LLM,畢竟,根據定義,它們是相當大的。OpenAI的GPT 3具有1750億個參數,并在45TB的數據集上進行訓練,訓練成本為460萬美元。據OpenAI首席執行官Sam Altman稱,GPT 4的成本超過1億美元。
         
        正是這種大小賦予了LLM魔法和處理人類語言的能力,具有一定程度的常識,以及遵循指令的能力。
         
        “你不能僅僅靠自己的數據來訓練它,”Insight的杰出工程師Carm Taglienti說。“在數千萬參數上進行訓練是有價值的。”
         
        今天,幾乎所有的LLM都來自大型超大規模公司或OpenAI和Anthropic等專注于人工智能的初創公司。
         
        即便是在構建自己的模型方面擁有豐富經驗的公司,也不愿創建自己的LLM。
         
        例如,Salesloft多年來一直在構建自己的人工智能和機器學習模型,包括使用更早技術的GenAI模型,但對從頭開始構建全新的尖端基礎模型猶豫不決。
         
        “這是一個巨大的計算步驟,至少在這個階段,我認為我們還沒有開始。”Fields說。
         
        關于企業網D1net(www.shixingcraft.com):
         
        國內主流的to B IT門戶,同時在運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。同時運營19個IT行業公眾號(微信搜索D1net即可關注)。
         
        版權聲明:本文為企業網D1Net編譯,轉載需在文章開頭注明出處為:企業網D1Net,如果不注明出處,企業網D1Net將保留追究其法律責任的權利。

        關鍵字:大型語言模型

        原創文章 企業網D1Net

        電子周刊
        回到頂部

        關于我們聯系我們版權聲明隱私條款廣告服務友情鏈接投稿中心招賢納士

        企業網版權所有 ©2010-2024 京ICP備09108050號-6 京公網安備 11010502049343號

        ^
        欧美日韩动漫另类