LLM の AI キャラクター向けチューニングをしてみたい

2026-08-25

AI キャラクターを自分で作ってみることに興味があることは以前書いた。[1] そして LLM の推論の仕方や口調など色々調整するのに SFT とか DPO とかいろいろある。

以前の記事で、RLHF の人間のフィードバックを使った結果、LLM の特徴的な気持ち悪い文章パターンが生まれていることについても見た[2]。 SFT とか DPO とかで LLM の出力分布を調整することはできて、商用 LLM などは間違いなくそれが入っているし、人間の解答などから抽出して好ましい回答を強化するということをやっていると思う。しかし、データサイエンスで好ましそうな回答とか一般の人間の好みを大量に集めて反映させるのが良いとは限らないことを示しているよなあ。

良くも悪くも、チューニング次第で喋り方や推論の癖などをつけることは可能なようなので、そのうちオープンウエイトモデルの自前データでのチューニングとかもやってみたいかもしれない。

together ai などのクラウドサービスや、あるいは DGX Spark とかそのあたりを使うと、オープンウェイトの LLM に SFT とか DPO とかをかけてファインチューニングしたり LoRA で調整したりということを試せると思う。この SFT とか DPO とかで使うデータのアノテーションをデータの数で統計的に良い感じにするだけでなくもっと良いデータを用意するとかそういうことを考えても良いかもしれないなあなどと考えているが。そうやって、自分用にチューニングした LLM を作っていくのも面白いかもしれないわね。

以下、調べた記事などをメモ。

LoRAとSFTを自前で実装してつくよみちゃんを作る - Qiita

半年前に作ったものが出てきました．LoRAとSFTをそれぞれ自前で実装し，「つくよみちゃん会話AI育成計画」というデータセットを使って訓練しています．データセットの詳細は▼ TRL，Datasets，PEFTを一切使わず，PyTorchの生機能だけでやり切っています（...

生成 AI を私の色で染めたい～RLHF から DPO へ～

ファインチューニング完全ガイド｜SFT・LoRA・DPOの選び方から実装・評価まで

このガイドを読めば、SFT・LoRA・DPOを使い分けながら自社データへの特化を数十行のコードで実現でき、評価から運用改善サイクルまで一貫して理解できます。

LLM における強化学習と Direct Preference Optimization による安全性能への影響評価 - Qiita

はじめにどうもこんにちは、kunishouです。本記事は LLM Advent Calendar 2023 18日目の記事になります。LLMアドカレも終盤に差し掛かかってきました。私は今回のLLMアドカレでは、データセットに関する2つの記事を投稿してきましたが、今回は、...

OpenAI のファインチューニング入門 (5) - DPO (Direct preference optimization)｜npaka

「OpenAI」の「DPO」(Direct preference optimization) についてまとめました。・Direct preference optimization 前回 1. DPO (Direct preference optimization) 「DPO」(Direct preference optimization) によるファインチューニングでは、プロンプトと応答のペアに基づいてモデルをファインチューニングできます。このアプローチにより、モデルはより主観的な人間の選好を学習し、より好まれる可能性の高い出力を最適化できるようになります。「DPO」

DPO による Llama 2 のファインチューニング｜npaka

以下の記事が面白かったので、かるくまとめました。・Fine-tune Llama 2 with DPO 1. はじめに「RLHF」は「GPT-4」「Claude」などのLLMの事実上の最後の学習ステップとなっており、LLM出力の饒舌さや安全さが人間の期待と一致していることを確認します。ただし、RLの複雑さが持ち込まれます。適切な報酬関数を設定し、状態を推定するようにモデルを学習する必要があります。同時に、元のモデルから離れすぎないよう注意する必要があります。このようなプロセスは非常に複雑で、正しく行うのは容易ではありません。 Rafailov、Sharma、Mitche

DPOによる選好学習でLLMをファインチューニングする方法 - Qiita

はじめに仕事でLLMをファインチューニングする機会があり、DPOを扱ったので解説します。 DPO（Direct Preference Optimization）は、LLMを人間の選好に合わせて調整するための学習手法です。2023年にStanford大学から発表され、その...

性格をデザインする：DPO で挑む日本語 LLM の性格付け - Qiita

はじめにこんにちは、ひよこです。先日、論文紹介: Direct Preference Optimization: Your Language Model is Secretly a Reward Model という記事で紹介した DPO について、実践的な実験をしま...

論文紹介: Direct Preference Optimization: Your Language Model is Secretly a Reward Model - Qiita

はじめにこんにちは、ひよこです。今回は、近年注目を集めている言語モデル微調整の新手法である Direct Preference Optimization (DPO) について紹介します。この手法は、複雑な強化学習（RL）を不要にし、シンプルかつ効率的に人間の選好に沿っ...

日本語LLMをDPOと派生手法でファインチューニングする - Qiita

TL;DR LLMの最適化手法であるDPOとその派生手法 (IPO, cDPO, RSO, KTO) について解説する trlライブラリとLoRAを用いて、それらの手法で日本語LLMを最適化し、性能を定量的に比較する 3.6BパラメータのLLMをVRAM40GBのGPU...

QAタスクで Instruction Tuning & DPOのFine Tuningを試してみる - Qiita

こんにちは。Supership プロダクト統括部の @ps010 です。普段は広告・マーケティング領域で、分析業務や広告セグメントの作成を担当しています。この記事は、Supershipグループ Advent Calendar 2024の 17日目の記事になります。 ...

Series

シリーズLLM など

‹前の記事2026年8月現在の LLM の癖最新の記事です

References