大規模言語モデルを活用するために知っておきたいこと〜LLMの抱える危険性から社内活用まで〜

皆様、大変ご無沙汰しております。調べ物をしていたら、自分がブログを書いていたことをふと思い出しました。多くの方に読んでいただいているようなので、備忘録も込めて、ブログを再開しようと思います。

今回は、大規模言語モデルについてのお話です。昨今、ChatGPTを代表とする大規模言語モデル（LLM）が注目を集めています。私はとある企業様から依頼を頂き、”大規模言語モデルの活用”について講演させて頂きました。今回は、その講演内容の資料を公開しますので、ぜひ読んでいただけると幸いです。

サマリー

• LLMは多くのリスクを抱えており、活用する際には、以下のリスクを考慮する必要がある
  • Hallucinations
  • Harmful content
  • Disinformation and influence operations
  • Privacy
  • Cybersecurity
• 上記のリスクを低減するために、OpenAI等のLLMサービス提供会社は以下の対策を実施している
  • Reinforcement Learning from Human Feedback（RLHF）
  • Moderation API
  • プロンプトインジェクション対策
• 各社がLLMを活用するためには、自社が置かれている状況をきちんと把握し、自社にあったサービス等を選定・活用する必要がある
• 機密情報を扱っており、かつ、クラウドサービスが利用不可の場合は、自社独自のLLM構築が必要
  • OSSのLLMが多く発表されており、中には商用利用可能なものも存
  • ChatGPTやBardに性能が追い付いてきており、OSSの活用でも十分な場合があると想定
  • OSSをLoRA等を使用し、低コスト、かつ、短時間で独自データでの学習が可能

講演資料URL

　講演内容の詳細はこちらから参照ください。