精品免费久久久久久久_一区二区免费国产在线观看_日本一区二区三区在线观看网站_欧美日韩国产精品自在自线_1区2在线_国产精品女同事视频_亚洲国产天堂久久久_色色色撸_精品久久久久久国产91_亚洲国产精品特色大片观看完整版

首頁 > 新聞 > 智能 > 正文

全球微資訊!微軟許建志:AI-First App,一個既殘酷、又美好的時代

2023-05-22 18:27:58來源:ZAKER科技  

責編 | Carol

出品 | CSDN(ID:CSDNnews)

內容編輯應該都有做網站專題的經歷,通過給定網站模板套用來搭建頁面。這樣確實方便,但問題是對于千變萬化的內容,并非幾套,或者數十上百套模板就能夠盡情呈現精華,更不用說在找模板匹配內容上花費的大量時間。


【資料圖】

還有一種方法,是直接在 " 代碼叢林 " 中找到合適的代碼,用 HTML 構建頁面框架結構,可以自行調整內容的布局、字體、顏色等外觀屬性。然而,編輯畢竟不是程序員,稍有不慎便迷失在大量代碼中,搞出一推 Bug 還得前端來查找修改,反而浪費了更多時間。

事實上,內容專業不懂技術,技術專業不了解內容——是不分產業領域和工作職能,所有公司都頭痛的問題。解決方法無非讓內容人會寫代碼,或者讓技術人做出 " 傻瓜式 " 呈現工具,前者不切實際,而后者卻是大模型時代下 AI 能夠為產業帶來的最大變革所在。

然而,GPT 能夠實現的便捷化 " 威力 " 有目共睹,但當它實際落地,又會以什么形式呈現?對此,微軟首席產品經理主管許建志認為,是如何運用 AIGC 的方法,通過自然語言直接生成網站:

" 去年微軟總部給到我們建議,讓根據內容自動提供 SharePoint 網站主題的設計 , 在大致了解市場格局之后我們發現,已經有很多 Web 廠商在著力開發這塊兒。為了避免做 "Me too" 的產品苦苦追趕,我就突發奇想,如果把高度拉高 , 直接做網站的生成,就可以呈現完整的,包含內容、圖片、設計、排版的頁面 , 甚至可以設定網站內容的層次結構,更加貼近用戶需求,從而直接使用。"

就這樣,text-to-site 應運而生。

訪談嘉賓

許建志,微軟首席產品經理主管

負責 OneDrive 與 SharePoint 用戶體驗產品經理團隊。在微軟的職業生涯超過 20 年,工作經歷涵蓋眾多產品部門,包括開發工具、Windows 以及 Azure。目前在生產力部門工作,引領和改善用戶在微軟生產力工具中的體驗。

從 ASP 寫腳本到 text-to-site

想法固然重要,但羅馬不是一日建成的。

目前的 AIGC 除了語義生成,還包括圖片(text-to-image)和視頻(text-to-video)內容的生成,但還缺少網站(text-to-site)直接生成的能力,這也是微軟在近日宣布將 AI 助理 Copilot 加入到 SharePoint 的重要原因。

在沒有 Copilot 之前,SharePoint 主要通過企業應用程序的集成來實現網站開發,而當 "Copilot in SharePoint" 之后,通過使用生成式 AI 自動產生內容與設計元素,no write,甚至 no design 指日可待。

對于這一趨勢,許建志感慨到:" 這是 SharePoint 發展史中又一次改變游戲規則的變化。"

記得二十多年前,許建志寫的第一本書是教授開發者如何開發網站,那個時候主要使用 ASP 寫腳本。2001 年,SharePoint 正式推出,從需要寫代碼,到利用圖形界面 ( GUI ) 來點選需要的頁面與組件,后來又歷經了 no operate,實現了云端的 SharePoint Online。

據許建志介紹,從第一代版本一路走來,SharePoint 一直延續著 no code 的理念:" 這次通過使用生成式 AI,接受自然語言提示 ( prompt ) 會慢慢取代傳統的 GUI,可以更大幅度降低技術的應用門檻,只需要口頭描述需求,連我五歲的女兒都可以在彈指之間直接創建網站。"

ASP 寫腳本到 text-to-site,除了 no code 貫穿其中,no operate、no write,以及 no design,都成為終極能力實現背后的理念助推力。而在這些理念的背后,又是技術的點滴突破為產品迭代不斷賦予了創造性。

"GPT 就是技術不斷突破下的集大成者,微軟現在有不少產品都整合了 GPT 的能力。當在給 text-to-site 進行產品命名時,考慮到將 GPT 能力在 SharePoint 上最大化呈現,我們使用了‘ Copilot in SharePoint ’。而如果是叫‘ SharePoint Copilot ’,只是將單獨的產品加上了 GPT 的能力,但我們希望的是通過 Microsoft 365 Copilot 來主導整個生產力相關產品的 AI 體驗,從底層把數據和能力打通。"

自然語言提示、落地數據、復雜提示

截至目前,Copilot in SharePoint 可以實現的功能包括:自然語言提示 ( Natural Language Prompt ) 、落地數據 ( Grounding Data ) ,以及復雜提示 ( Complex Prompt ) 。

其中,判斷自然語言輸入能力的大小主要在于所需 prompt 的簡化程度。比如,當輸入 "onboarding site ( 員工入職 ) ",通過兩個詞的提示,能夠讓 GPT 根據其世界知識推薦需要的頁面和內容,并通過 Copilot 來創建網站。這樣的能力實現主要在于大語言模型無需用戶遵循精準提示,使用類似 "I need an onboarding site" 或是 "Create an onboarding site for me" 就可以達到一樣的效果。

" 當我自己在使用 Copilot in SharePoint 的時候,發現了一些意想不到的效果。像在輸入不完全精準 prompt 的情況下,GPT 產出的內容并不會受到影響。有一次我在給美國的副總裁展示 text-to-site 的時候將單詞錯輸成 "appl purple theme",雖然對方給到我善意提醒,但我還是故意按了回車鍵,成功完成網站主題的設置。"

基于向量處理文字之間的關系而非關鍵字的比對,GPT 實現了 " 錯字過濾 ",從而更好地理解用戶意圖。

不過,雖然可以通過世界知識實現提示,但對企業內部的私有數據如果沒有給到內容,GPT 還是無從知曉。所以,想讓生成的網站具備實用性 , 必須把頁面內容的個性化程度做到極致才能更好落地。

在個性化數據上,微軟的優勢在于客戶有自己的云上數據,包括公司目錄、文檔、郵件、會議記錄、網站……各類數據都可以在云上獲取。底層通過 Microsoft Graph 把用戶選定的落地數據提供給在同一個云里的 GPT 模型 , 便可以在隱私資訊不外流的情況下生成個性化網站。

例如輸入:

"I need an #ODSP onboarding site for product managers with teal theme. Please include a welcome message from @Adam on the first page"。

" 上述提示包括了目的 ( onboarding site ) ,對象 ( product managers ) ,設計 ( teal theme ) ,另外還有指定來自特定人員 ( Adam ) 的一個頁面區域 ( welcome message ) 。這些元素的順序并不重要,也都可以選擇 , 用戶可以自己根據需要進行組合,看是新增或移除。"

其中,提示里 "#" 標示的是通過微軟的 Viva Topics,使用 AI 在企業內網自動建立出來類似維基百科的關鍵字或縮寫。#ODSP 是落地數據,會取出縮寫的意義(OneDrive & SharePoint)、相關的人與相關的文件列表給到 GPT。@Adam 也是落地數據 , 可以把標示人員的名字、職稱和郵件提供到 GPT 模型里,從而產生出推薦網頁的內容。

" 從以上截圖可以看到 , 通過 Adam 的郵箱,GPT 已經猜到這是要給微軟使用的網站 , 除了標示‘ Welcome to Microsoft ’之外 , 所產生的頁面介紹公司文化的部分來自 GPT 自己的世界知識 , 完全和我們公司一致。另外由于前述 Viva Topics 的落地數據 , 讓 GPT 也可以更好地知道與描述 ODSP,并把 Topics 里的相關人員也自動建立為頁面里的主要聯系人。" 許建志介紹說。

然而,盡管精簡的提示可以大幅降低技術使用的瓶頸,真正生產力的爆發卻是有明確的需求,并通過復雜提示來生成需要的網站。據許建志計算,傳統上使用的圖形界面單是創建一個有七個頁面,每個頁面有五個區塊的需求明確的網站,通過鼠標點選數百次圖形界面來新增所需元素是必須的。而如果輸入以下提示便可以一次生成需要的網站:

"I need an ODSP onboarding site for our team members with teal theme. The site has 7 pages including Home, Get Started, About ODSP, Culture, Who Does What, Learning Library, and Managers & Bussies. For first page, I need below sections: Welcome to the team, Key Pages, Meet our newest teammates, News, Meet the ODSP Onboarding v-team, What the v-Team Does."

在具體落地場景中,GPT 的賦能讓 text-to-site 更了解不同行業的應用:" 為了測試 Copilot in SharePoint 不同以往的功能,我們進行了一些功能附加,比如當生成地震處理危機網站時,GPT 會建議特別強調并加上地圖,以及即時通知的頁面和功能。而如果是疫情危機處理網站則會加上疫情政策、趨勢圖表,以及隔離在家工作的規定等頁面。"

大語言模型與 Microsoft Graph 的融合

作為微軟大力推廣的 AI-First App,許建志介紹,Copilot 能夠將底層數據和能力打通的關鍵在于大語言模型與 Microsoft Graph 的融合。

最初,當許建志將 "text-to-site" 的想法分享給工程團隊的時候,大家的第一反應是實現需要一到兩年的時間。" 我的同仁們說,完成這項工作需要撿起遺忘已久的數學,了解模型運作與算法,包括如何判讀用戶輸入的自然語言的意圖,甚至還得使用數據訓練模型等等,然后才開始打造應用需要的功能。我自己也在一年多前和研發主管討論過是否需要建立我們自己的 AI 團隊,好打造 AI 功能。幸運的是,在 GPT 大語言模型與強 AI 的加持下,上面這些需求統統不需要了。"

事實上,大語言模型可以看作是一個已經被訓練過,吸收了世界知識的大學生,具備理解意圖與自行處理需求的能力。其中包括兩個重點:

首先是提示指令。提示是唯一和用戶交互的界面,為了簡化用戶輸入,需要在用戶自己的提示 ( user prompt ) 之外,加上傳送給 GPT 的系統提示。例如,當用戶輸入 "onboarding site",就可以加上額外的提示指令從而 " 催眠 GPT 喚醒它某方面的能力(比如,可以讓它當 SharePoint 網站開發者),并提供足夠的背景資料來生成用戶想要的結果:

"You are a SharePoint developer and will help the user to create a website. The output needs to have suggested content hierarchy including page and section, corresponding webpart, sample content, theme …… Below is the site the user wants to build:"

" 通過 SharePoint developer 的關鍵字,會強調并喚醒模型里 SharePoint 的知識,另外可以讓 GPT 知道 create website 是主要目的。接著只需要把系統提示與用戶提示接起來,一起傳送給 GPT 產生結果即可。"

除了系統提示之外,另一個重點是描述并指定所需要輸出的元數據,比如上面范例中的內容結構、頁面、頁面區域等等。這種方式的優點是:應用開發者不需要關注如何從不同的用戶提示分析意圖與目的,直接在最后讓 GPT 輸出所要求的元數據內容即可,甚至可以是指定不同格式,例如,JSON 或 Jave Script 代碼。下面提示的范例雖然各有不同,但是生成的元數據與內容是一樣的:

"I need an onboarding site for product manager with indigo theme."

"Create a product manager onboarding site. Apply indigo theme."

"Onboarding site with indigo theme. Target audience of the site is product manager."

" 通過上述系統提示、用戶提示,以及指定的元數據結構,加上企業自己的落地數據,便可以生成極具個性化的內容搭配功能,建構起需要的應用。從內部技術結構來說,我推薦使用微軟發布的 Semantic Kernel ( 語義內核 ) SDK 來實現。"

" 文字提示會是 AIGC 世界里的通用貨幣 "

CSDN:在構建 text-to-site 的過程中,您最大的感觸是什么?

許建志:當充分了解到 AI-First App 的威力后,我確實有不小的感觸,包括對編程語言、數據,以及自然語言等層面。

首先是編程語言將平民化。這是回歸 OpenAI 的 Andrej Karpathy(前特斯拉人工智能和自動駕駛部門負責人,今年再次加入 OpenAI)提出的觀察。

"The hottest new programming language is English(目前最熱門的編程語言是英文)。"

我們的用戶在使用 Copilot in SharePoint 的過程,和使用傳統批次命令列指令類似,不同的是使用自然語言可以大幅降低技術門檻,高容錯性讓提示中即使有錯字也可以被理解意圖。

其次,落地數據是個性化服務的關鍵。雖然 GPT 掌握了世界知識 , 但是通過落地數據的使用將可以協助每個公司大幅釋放既有數據潛力,提升員工生產力。當然,隱私會是其中關鍵 , 通過 Azure 的 OpenAI 服務,或者 OpenAI 即將推出的企業 GPT 皆是可行的落地實踐選項。這里需要注意的是,并不是使用企業自己的數據來訓練 GPT。

此外,自然語言會是新一代的人機界面。現在的應用幾乎都是 GUI 人機界面 , 很值得借用大語言模型再增加自然語言界面 , 從整合 GPT 的 Copilot in SharePoint 來看,的確可以降低技術門檻,增強員工生產力。給傳統圖形界面融入大語言模型的支持 , 演變為 AI-First App。

同時,我也意識到文字提示會是 AIGC 世界里的通用貨幣 , 因此為項目立下了一個原則 , 盡量減少不需要的圖形界面元素。這樣一來可以方便之后接入不同的 AIGC 新服務。另外,也可以把 text-to-site 轉為服務接入到其他應用或服務。

CSDN:對于text-to-site 的技術生成和落地運營,您個人更感興趣的是哪個方面?目前項目還面臨哪些難題,將如何應對?

許建志:我個人本身對技術細節并不是太有興趣,只知道大致運作機制。而真正著迷的是如何將其應用到各行各業,服務不同的人群需求。就像電被發現并建立起電網可以接通到不同家里、公司,或者工廠之后,我們可以怎么利用與應用電力改善人類生活,這也是我們團隊的共識。雖然大語言模型研究已經發展多年,但是當我們需要考慮的是千萬甚至億級為單位的受眾與單位的時候,最需要著重的是該如何設計大語言模型的應用,好照顧到不同族群、不同背景,從一般入門用戶、進階用戶,甚至是企業的需求。

這里提到的設計不只局限于用戶體驗的視覺設計。開發大語言模型就像涉入一個未知的新領域,從協助用戶理解大語言模型的使用與限制、如何為提示加上落地數據、視覺化地呈現互動體驗,到提供建議提示等用戶體驗設計之外,我們還需要考慮底層架構的設計,包括如何優化 token、設計出可延展支持不同技能的架構、優化與提升效能、防止用戶濫用、商務方面如何打造商務模型、分析成本結構、如何收費與設計 SKU ……是一個橫跨多面向,但是沒有既定游戲規則,可以抄襲的局面。

這是一個前無古人的新藍海,雖然有很多未知,得通過很多討論與客戶驗證,甚至通過失敗來迭代改進,但也會擁有搶先制定游戲規則的樂趣。同時微軟也通過開源,慢慢把我們在推進 AI 時代的所思所學分享出來。

AI-First App 是如何架構的?

CSDN:具體來說,text-to-site 如何辨識用戶指令意圖 , 完成想要的操作?

許建志:就像我前面說的,大語言模型擅長的是分辨語義 ( semantic ) ,辨識出用戶的意圖,提示的敘述可以更彈性,順序也不重要。但是傳統的代碼則非常強調語法 ( syntax ) ,必須非常精準,不可以有錯字。對于想要開發 AI-First App 的開發者來說,將兩者整合會是不小的挑戰。

以 Copilot in SharePoint 為例,辨識完用戶意圖是根據需求創建網站,也了解相關的背景資料包括落地數據之后,接下來需要拆解成不同步驟執行對應的代碼,包括創建網站結構、頁面、頁面段落、webpart、圖片、排版、設計……

這些流程其實很固定(見下圖),也和這陣子流行的 AutoGPT 或是 AgentGPT 很像,把用戶的目標 ( ASK ) 拆解并規劃 ( planner ) ,用不同技能 ( skills ) 實現,最后逐步執行。微軟前一陣子開源的 Semantic Kernel SDK 就是一個可以直接套用協助開發者快速開發 AI-First App 的利器。

以里面推薦的 Copilot Chat 為例,除了自動生成文本之外,還具備個性化推薦、數據與文檔導入、可擴展、智能客服等功能。所以,開發者想構建智能客服、個性化推薦系統、人力資源助手、電子商務智能助手等功能,都可以通過 Copilot Chat 實現。

CSDN:從技術細節來看,Grounding data 是如何實現的?或者說是如何讓 GPT 了解并整合落地端的數據,結合 LLM 生成精準內容?技術邏輯是怎樣的?

許建志:落地數據的使用必須從前端與后臺兩個方面來考慮。

首先是用戶體驗,雖然用戶可以直接把落地數據加到用戶提示里,例如上述的歡迎信息可以直接輸入用戶提示 "welcome message from Adam, who is the VP PM and his email is adam@microsoft.com"。但是一旦落地數據量比較大,這就變成很不實際的用戶體驗。此時便可以通過類似 # 或 @選擇的方式簡化這個過程,讓用戶在輸入用戶提示的時候可以選擇人員、文檔、網站等。當然,之后就和上述系統提示接上用戶提示類似,在后臺將用戶選擇的落地數據展開并改成文字內容整合到用戶提示里。下圖是一個 Topics 落地數據用戶體驗的例子 :

AI-First App 正在顛覆傳統開發者和設計師

CSDN:目前可應用功能還存在哪些缺陷,將會如何優化?近期還會創建哪些新的功能?

許建志:目前大語言模型的通病都很類似,下面是幾個例子。

在實踐過程,我們發現 GPT 不止數學不大好,設計的美感也需要再提升。我們曾經創建一個地震應變的網站,但是網頁背景居然顯示的是大剌剌的紅色,詢問原因之后 GPT 回答是:" 因為地震很危險,紅色是表示危險的顏色 "。我們優化的方式是改為設計師提供專業的設計樣板并加上語義描述,然后讓 GPT 來挑選合適的設計。

另外,效率是一個大問題,因為網站是多模態呈現,包括文字、圖片、視頻,還會根據目的有多個不同頁面。創建這些內容很花時間,我們可以通過用戶體驗與技術讓用戶可以在 15 秒內看到生成的結果。當然 token 的限制也可以通過一些創意解決,例如原先一次會話處理整個網站的提示與生成內容,可以改為分批次不同會話產生不同的頁面內容。

CSDN:克服了更多挑戰之后,未來 Copilot in SharePoint 將呈現出怎樣的應用生態?有哪些構想?

許建志:未來會是 AI 無所不在的環境,因此使用 text-to-site 的能力不會只限制在 SharePoint。可能是通過 Microsoft 365 Biz Chat 的沉浸式交談機器人 , 調用不同應用的功能。可能上一個提示還在使用 AI 整理剛結束的新項目會議里提到的 To Do,但下一個提示可能就直接請 SharePoint 根據會議內容與參與人,創建一個新項目的協同網站,并把會議錄影與相關文檔一起放到網站上并設置好權限,而不需要單獨再打開瀏覽器到 SharePoint 里完成后面描述的這些工作。

另外,SharePoint 也同時扮演著 Teams 小程序,以及微軟另外一個 AI 產品線 Viva 兩者底層平臺的角色。除了我們會協助第三方 SharePoint 樣板與 WebPart 利用自然語言大語言模型的能力之外,也可以預期圍繞在上述兩個方向也會有很多創新。

CSDN:進入到 AI-First App 時代,對開發者來說有哪些變化?您有什么想要對開發者說的?

許建志:我記得有人說過," 開發大語言模型的應用就像訓練一只狗 "。和傳統追求精準、效率的工程理念不同,以前是通過圖形人機界面能夠盡量產生接近用戶需要的數字化內容,現在演化到 AIGC 的時代,不止提示不需要精準,甚至可能也是通過數十次、數百次不同迭代產生的結果,選出最喜歡的方案,而根本原因就是自然語言的輸入成本很低。

這些新一代的 AI-First App 也在顛覆傳統開發者、設計師,以及產品經理的技能與認知。這會是一個既殘酷,但是又美好的時代,因為每個開發者都有機會參與歷史,在前往 AI 星辰大海的旅途中留下足跡。雖然目前對大語言模型的投資越來越多,但是鑒于超大算力與超大數據的需求,留下的 " 電力公司 " 并不會太多。相反的,對于一般的開發者來說,打造大語言模型的應用將會是絕佳難得的人生機會,相信很多領頭公司會陸續提供包括提示工程、插件開發、Semantic Kernel 等。與用戶體驗設計指南等學習資源,千萬不要錯過!

關鍵詞:

責任編輯:hnmd003

相關閱讀

相關閱讀

推薦閱讀