TypeScriptでもLLMアプリケーション開発 / LLM Application In Typescript

Transcript

1. 1 ©2024 Loglass Inc. TypeScriptでもLLMアプリケーション開発 LangChain.js入門 2024.5.11 r-kagaya TSKaigi 2024

2. 2 新卒で入社したヤフー株式会社で、 ID連携システムの開発に従 事。 その後、2022年に株式会社ログラスに入社。 ソフトウェアエンジニアとしてマスタ管理機能等の開発、イネー ブルメントチームの一員として 開発生産性向上に取り組んだの ち、現在は生成AI/LLMチームの立ち上げを行う。 X:

   @ry0_kaga 株式会社ログラス r-kagaya

3. 3 ©2024 Loglass Inc. ログラスについて（5秒） 企業価値を向上する
 経営管理クラウド


4. 4 ©2024 Loglass Inc. 4 次世代型 経営管理クラウド

5. 5 ©2024 Loglass Inc. 経営企画は「企業価値の向上」をミッションに、企業経営にまつわるあらゆる業務を担っている

6. 6 ©2024 Loglass Inc. ログラス社のLLMへの取り組み 機能開発から業務改善まで、生成 AI/LLMで
 
 ①プロダクトビジョン実現のための技術検証 


   ②業務プロセスへの AIの組み込み
 ③制度や仕組みの整備とスキルや知見の共有 
 
 
 


7. 7 ©2024 Loglass Inc. ログラス社のLLMへの取り組み LLMも用いて、予実分析レポートを自動生成 
 
 LLMを意識せずとも、ボタン操作のみで Loglass

   に格納されてるデータを生かし、報告・議論に使 える予実分析結果を生成 
 


8. 8 ©2024 Loglass Inc. 今⽇の内容 Pythonに馴染みがない方も、TypeScriptでLLMアプリ開発に挑戦してみて欲しい！ 
 • LLMアプリケーション/プロダクトにLLMを組み込むのにライブラリは必須ではない 


   ◦ しばらくはLLM APIをコールするだけで十分なケースも多いだろう 
 • 一方で、TypeScriptはライブラリもそれなりに揃っており、比較的開発しやすい 
 ◦ 体感だが、ライブラリ等の充実度は Pythonの次がTypeScript
 • 最も有名なライブラリであるLangChainのTS実装がLangChain.js 
 • 将来的にもTypeScriptはLLMアプリケーションを開発する環境として有望かもしれない 


9. 9 ©2024 Loglass Inc. TypeScriptでLLMアプリ開発ってどうなの？

10. 10 ©2024 Loglass Inc. TypeScriptを取り巻くLLMアプリ開発の状況 Pythonに加えて、TypeScriptもサポートされているライブラリもあり、手を出しやすい (もちろんPythonと比べると数もドキュメントも事例も少ない ) LangChain.js 最も著名なFWである

    LangChainのJS/TS版 LlamaIndex.TS LangChainと同じく最初期から存在する 主にRAG用のFWのJS/TS版 ollama-js ローカルLLMの実行ツール。2023年の 調査ではOSSモデルの実行ツールとし ては3番目に多く使われている LangGraph.js マルチエージェントアプリケーションを構 築するためのライブラリ Vercel AI SDK React、Next.js、V等でAIを活用したアプ リケを構築するためのライブラリ PromptLayer プロンプト管理ツール。テンプレートで バージョン管理や、出力結果のトレーシ ング

11. 11 ©2024 Loglass Inc. TypeScriptで開発して感じる利点(主観) シンプルにWebアプリケーションエンジニアにとっては圧倒的に馴染み深い 
 • Webアプリ開発においてはTypeScritp/JavaScriptのエコシステムの方が充実している 


    • PythonよりTypeScriptが書ける開発者を探す方が容易 
 • 単純にTypeScriptで書けるなら、PythonよりはTypeScriptで書きたい（個人的には）
 
 （自分がPythonを知らないだけ・覚えればいい問題ではあるかも） 
 
 


12. 12 ©2024 Loglass Inc. LangChain.jsとは

13. 13 ©2024 Loglass Inc. LangChain.jsとは • LLMと連携するアプリ開発のためのライブラリ 
 • 最も著名なLLMアプリ開発ライブラリであるLangChainのTypeScript実装


    
 • 
 Model I/O RAG Memory LLM推論の実行。プ ロンプトテンプレート 等のユーティリティも 外部データソース/ド キュメントを元に LLMに回答させる 過去のやりとりに関 する情報を保存 (ベータ版) Agent モデル自体が次に どのようなアクション をとるかを判断、実 行 (注: Pythonと機能差分・欠けてる機能はあり)


14. 14 ©2024 Loglass Inc. Model I/O 共通化されたI/Fで
 LLMモデルにアクセス
 
 


15. 15 ©2024 Loglass Inc. 地味に嬉しい‧便利なユーティリティ • Callbacks
 ◦ 開始・終了・エラーなどのイベント時に実行するコールバック関数を定義 


    • O utput Parsers
 ◦ LLMの出力を指定した形式(リストやJSON等)に変換・パースしてくれる
 • Masking
 ◦ メールアドレス、電話番号などをマスク 
 （機能は他にも色々）


16. 16 ©2024 Loglass Inc. TypeScriptによるLLMアプリ開発の可能性

17. 17 ©2024 Loglass Inc. AI/LLMエンジニアリングに特化したカンファレンス AI/LLMエンジニアリングに特化したカンファレンスの登場と AIエンジニアの提唱
 
 
 出典：https://www.ai.engineer/worldsfair

18. 18 ©2024 Loglass Inc. AIのプロダクトへの組み込みを専⾨分野とする「AIエンジニア」 出典：The Rise of the AI

    Engineer（https://www.latent.space/p/ai-engineer） 出典：The Rise of the AI Engineer（https://www.latent.space/p/ai-engineer） MLエンジニア・データサイエンティストとフルスタックエンジニアの間に位置する、 AIをプロダクトに組み込 むことを専門とするAIエンジニアの誕生を主張
 


19. 19 ©2024 Loglass Inc. AIのプロダクトへの組み込みを専⾨分野とする「AIエンジニア」 • 従来のMLやデータエンジニアリングとは異なるバックグラウンドを持ち、 AIのプロダクトへの組み込 みを専門分野とする「AIエンジニア」が生まれつつある
 •

    データ/AI領域はPython中心のため、LangChain、LlamaIndexのような最初のAIライブラリ・ツー ルはPythonから生まれた
 • JS/TS開発者のボリュームを踏まえると、 JS/TSがAIエンジニアの主要なスキルセットの一つになる と主張
 
 -> 名称はともかく、TypeScriptでLLMアプリ開発を行うエコシステムは発展するかもしれない 
 
 
 出典：The Rise of the AI Engineer（https://www.latent.space/p/ai-engineer）

20. 20 ©2024 Loglass Inc. まとめ Pythonに馴染みがない方も、TypeScriptでLLMアプリ開発に挑戦してみて欲しい！ 
 • LLMアプリケーション/プロダクトにLLMを組み込むのにライブラリは必須ではない 


    ◦ しばらくはLLM APIをコールするだけで十分なケースも多いだろう 
 • 一方で、TypeScriptはライブラリもそれなりに揃っており、比較的開発しやすい 
 ◦ 体感だが、ライブラリ等の充実度は Pythonの次がTypeScript
 • 最も有名なライブラリであるLangChainのTS実装がLangChain.js 
 • 将来的にもTypeScriptはLLMアプリケーションを開発する環境として有望かもしれない 


21. 21 ©2024 Loglass Inc. 絶賛、エンジニア・プロダクトマネージャー募集中 一緒にプロダクト開発の次元をあげていきたい、良い景気づくりにご興味のある方を絶賛 募集しています！！ https://job.loglass.jp/ 興味ある方もない方も カジュアル面談Welcome

    です！

22. 22