HOMEビジネス 楽天がオープンソース日本語最適化LLMを公開 生成AIの中核を担うLLMとは

楽天がオープンソース日本語最適化LLMを公開 生成AIの中核を担うLLMとは

青木一真

2024/03/27(最終更新日:2024/03/27)


このエントリーをはてなブックマークに追加

楽天グループ株式会社は、日本語に最適化したというLLM「Rakuten AI 7B」「Rakuten AI 7B Instruct」「Rakuten AI 7B Chat」を公開しました。

これらのLLMは、オープンソース(※)ソフトウェアの開発・配布に用いられる、利用条件などを定めた利用許諾契約書のひとつ「Apache 2.0ライセンス」を適用しており、楽天公式のHugging Faceリポジトリからダウンロードし、利用できます。

オープンソースとは、ソフトウェアを構成するプログラム(ソースコードと呼ばれます)を、無償で一般公開すること。そのソフトウェアの改良や再配布が誰でも行なえることが特徴で、有志のプログラマにより、継続的に改良され続けるソフトウェアも存在します。

LLMという技術の概要

LLMとは、Large Language Models(大規模言語モデル)の略です。現在の生成AI開発の中核を担う技術で、いわゆる人工知能の一種として大量のデータと機械学習の技術によって構築されているそうです。

人間が使う「自然言語」の処理を行い、「人と対話しているような」動作をするとされています。テキストを読んだり生成したりする能力が高く、OpenAI社のChatGPTも、LLM技術を用いているといい「AIのトレンド」では欠かせない存在ともいえます。

楽天は日本語に最適化したLLMを開発

LLMは自然言語を処理しているため、たとえば英語を主に学習したモデルでは、日本語に最適化されていません。

楽天によるLLMは、フランスのAIベンチャーであるMistral AI社のLLM「Mistral-7B-v0.1」をベースに、日本語に最適化するように開発されました。

LLMの性能評価をおこなうフレームワークとして知られる「LM Evaluation Harness」の実証では、日本語と英語において高いパフォーマンスが評価され、高性能だという結果を示したといいます。

楽天は「Rakuten AI 7B」や一連のAI関連の開発を通して、楽天経済圏をサポートすることを狙っているとのことです。

Apache 2.0ライセンス:https://www.apache.org/licenses/LICENSE-2.0

楽天グループの公式「Hugging Face」リポジトリ:https://huggingface.co/Rakuten

<参照>

楽天、日本語に最適化したオープンかつ高性能なLLMを公開

【関連記事】


hatenaはてブ


この記事の関連キーワード