LangChain Extract - LangChain 的開源資料擷取服務

受益於語言模型(Language Model)對於自然語言的理解與生成能力,所以一段文字進行摘要、資料擷取(extract)的門檻已經變低,現在用 prompt 與語言模型互動就能夠到這些事。

LangChain 在近日也開源 “LangChain Extract” 專案,該專案能夠讓使用者對 PDF 檔或對網頁做資料擷取,並以指定的 JSON 格式輸出。

LangChain 也做了 1 個 Youtube 影片示範怎麼使用 LangChain Extract 對食譜、公司法說會文字稿做資訊擷取,真的很適合用在非結構化資料轉為結構化資料的用途之上!

它的主要原理是:

  1. 用 prompt 生成 JSON schema
  2. 輸入資料並做資料檢索(Retrieval)
  3. 將第 2 步檢索到的資料按照 JSON schema 生成輸出
  4. 做 deduplicate 將重複的資料給去除後輸出

關鍵程式碼如下:

    runnable = (
        {
            "text": itemgetter("query") | retriever,
            "schema": itemgetter("schema"),
            "instructions": lambda x: x.get("instructions"),
            "examples": lambda x: x.get("examples"),
            "model_name": lambda x: x.get("model_name"),
        }
        | RunnableLambda(_make_extract_requests)
        | extraction_runnable.abatch
    )

關鍵程式碼來源連結

p.s. 不過轉出來的資料品質、準確度其實跟語言模型的能力有關,如果要用在 production 環境的話,可能也要做一些評估、偵錯、回報修正機制等等

有興趣知道怎麼做資料擷取服務的人可以研究一下 LangChain Extract 的 GitHub (有些 LangChain 開發經驗的人會比較容易讀得懂)。

對抗久坐職業傷害

研究指出每天增加 2 小時坐著的時間,會增加大腸癌、心臟疾病、肺癌的風險,也造成肩頸、腰背疼痛等常見問題。

然而對抗這些問題,卻只需要工作時定期休息跟伸展身體即可!

你想輕鬆改變現狀嗎?試試看我們的 PomodoRoll 番茄鐘吧! PomodoRoll 番茄鐘會根據你所設定的專注時間,定期建議你 1 項辦公族適用的伸展運動,幫助你打敗久坐所帶來的傷害!

追蹤新知

看完這篇文章了嗎?還意猶未盡的話,追蹤粉絲專頁吧!

我們每天至少分享 1 篇文章/新聞或者實用的軟體/工具,讓你輕鬆增廣見聞提升專業能力!如果你喜歡我們的文章,或是想了解更多特定主題的教學,歡迎到我們的粉絲專頁按讚、留言讓我們知道。你的鼓勵,是我們的原力!

贊助我們的創作

看完這篇文章了嗎? 休息一下,喝杯咖啡吧!

如果你覺得 MyApollo 有讓你獲得實用的資訊,希望能看到更多的技術分享,邀請你贊助我們一杯咖啡,讓我們有更多的動力與精力繼續提供高品質的文章,感謝你的支持!