カスタムスケジューラを登録したい／I want to register a custom scheduler

[muooon]

こんにちは。表題のとおりなんですが、、、
カスタムスケジューラをオプティマイザのように簡単に登録できませんか？

---

Hello. As the subject line suggests...
Is there a way to register a custom scheduler as easily as an optimizer ?

---

https://github.com/muooon/EmoSens/tree/v3.9.0_ecc/scheduler

[kohya-ss]

--lr_scheduler_typeと--lr_scheduler_argsがOptimizerと同様に使えると思います。もし何か問題ありましたらお知らせください。

--lr_scheduler_type and --lr_scheduler_args will work for a scheduler like for an optimizer. Please let us know if you encounter any problems.

[muooon]

ありがとうございました。スケジューラ側の不備を修正し無事につかうことができました。
SD-Script は、本当にすごいです！ ここまで柔軟な設計で動かせる、驚きと感動でいっぱいです。
感謝を込めて Close, 解決済みとさせてください。本当にありがとうございました。

Thank you very much. I fixed the issue on the scheduler side and was able to use it without any problems.
SD-Script is truly amazing! I’m filled with surprise and admiration that it can operate with such a flexible design.
With my sincere gratitude, I’d like to mark this as “Closed” and “Resolved.” Thank you so much.

[muooon]

kohya-ss さんへ、

カスタムスケジューラについて要望がありまして、過去のこのissueを再利用します

---

要望：Custom LR Scheduler に num_training_steps を渡してほしい
概要：--lr_scheduler_type で外部/custom scheduler を使用する場合、kohya 側ですでに計算されている num_training_steps が scheduler に渡されていません
そのため、num_training_steps を必要とする custom scheduler が、kohya の実際の総学習 step 数を取得できず、scheduler 側のデフォルト値を使用してしまいます
現在：custom scheduler を使用すると以下により外部スケジューラが適用されますが、

lr_scheduler = lr_scheduler_class(
    optimizer,
    **lr_scheduler_kwargs
)

num_training_steps が渡されていません
提案：custom scheduler を生成する際にも、kohya-script で既に計算している num_training_steps を渡していただけないでしょうか

lr_scheduler_kwargs.setdefault(
    "num_training_steps",
    num_training_steps
)

lr_scheduler = lr_scheduler_class(
    optimizer,
    **lr_scheduler_kwargs
)

このようになると、custom scheduler 側でも kohya-script側で計算した総step数を利用できると思います
他にスケジューラに必要な init の項目などもあれば、ローカルスケジューラと同様に受け取れると汎用性を高めるように思います、お時間あるときにご一考頂けますと嬉しいです。どうぞよろしくお願いいたします。