Ryo Shimizu
CogVideoXをシングルGPUでLoRAファインチューニングする
CogVideoXのLoRAファインチューニングを行います。 使用したデータは、 前回作成した 動画からPixtral12Bでキャプションを得るプログラムで作ったデータセットです。 もとにしたのは、弊社共同創業者の清水亮のYouTube番組「さすらい魂」のフッテージです。以...
top of page
FreeAI
ブログ
Ryo Shimizu
Pixtral12Bで動画ファイルの自動タグ付を行う
Pixtral12Bは、非常に高い性能を持つビジョン-言語モデル(VLMl;Vision-Language Model)です。 CogVideoXに独自のデータを学習させるためには、まず事前に6秒程度の動画ファイルと、その動画ファイルの内容を説明するテキストファイルが必要で...
Tetsuya Yoshimi
「AI時代の経営塾」2410、10月28日開催
「AI時代の経営塾」、今回は『営業』にフォーカス、夕方17時開講となります。 生成AIが人々の働き方を変えると言われている現代。果たして経営はどのように変わっていくのか？ 世界初の経営指導AIの開発を目指すFree AI社は、豊富な経営経験を持つ講師を集め、AIに学習させる...
Ryo Shimizu
CogVideoXによる動画生成
CogVideoはオープンソースで非常に安定した出力をする動画生成AIです。 https://github.com/THUDM/CogVideo これを弊社の社長で動作させれば、弊社の社長は動画生成する能力を身につけることができます。...
Ryo Shimizu
Liger-KernelによるGPUメモリ削減を試す/A100 80x7で10000コンテキスト長を学習可能に
2024年8月23日に公開された Liger-Kernel はLLM専用に設計されたTritonカーネル集で、これを適用することによってマルチGPUトレーニングのスループットを20%効率化し、VRAMの使用量を60%も削減できるとのことです。...
Tetsuya Yoshimi
「AI時代の経営塾」2409、9月12日開催
「AI時代の経営塾」、今回は夕方開始となります。 生成AIが人々の働き方を変えると言われている現代。 果たして経営はどのように変わっていくのか？ 世界初の経営指導AIの開発を目指すFree AI社は、 豊富な経営経験を持つ講師を集め、AIに学習させることを...
Ryo Shimizu
Llama3.1-405Bを継之助で動かす
先日発表されたLlama3.1-405Bは非常に巨大なモデルで、仮にFP8(8ビット浮動小数点数)モデルであったとしてもFP8に対応していないAmpare世代のA100 80GBx8しか持ってない当社の社長、継之助(AIスーパーコンピュータ)では動かせそうもないと諦めていま...
Ryo Shimizu
Mistral-Nemoを日本語で試す
MistralとNVIDIAが共同開発したMixtral-Nemoも強力なローカルLLMです。 128Kコンテキスト長まで対応して9言語を話すマルチリンガルモデルです。 早速試してみます。 まず、Mistral_inferenceをバージョンアップします。 $ pip...
Ryo Shimizu
mamba-codestral-7B-v0.1をローカルかつ日本語で試す
フランスのスタートアップであるMistral社が公開したMambaベースのプログラミング可能なモデル「mamba-codestral-7B-v0.1」をうちの社長(AI)で試して見ました。 https://huggingface.co/mistralai/mamba-cod...
Ryo Shimizu
継之助による自動プロンプトチューニング
継之助MoAを用い、完全ローカルで自動的にプロンプトチューニングをやってみました。 システムプロンプトとして最初に「あなたはイケてるアシスタントです」だけを与え、そこからJapanese-MT-Bench用の質問に合わせて徐々にプロンプトを最適化していきます。...
Ryo Shimizu
継之助MoAの評価
Stability.aiのJapaneseMTBenchで継之助MoA(Mixture of Agents)の性能評価を行いました。 JapaneseMTBenchのプロンプトには、マルチターン対応のものが含まれていなかったため、独自に追加しました。 {"name":...
Ryo Shimizu
単独のAIコンピュータで完全ローカル日本語Mixture of Agentsを開発しました
当社の社長、継之助(AIスーパーコンピュータ)にMoA(Mixture of Agents)の手法を適用して日本語LLMを組み合わせたMoAを開発しました。 MoAは、オープンソースのLLMモデルの組み合わせだけでGPT-4oのようなプロプライエタリなLLMの性能を凌駕する...
Ryo Shimizu
100万トークン対応のフリーLLM、InternLMを試す
昨日発表されたInternLMは、7Bというサイズにも関わらず、100万トークンという長大なコンテキストウィンドウをサポートしたオープンソースライセンスのLLMです。ソースコードはApacheライセンスで、モデルは申請すれば商用利用も可能とされています。...
Tetsuya Yoshimi
「AI時代の経営塾」2408、8月8日開催
「AI時代の経営塾」、夜の時間帯での開催が決定しました。 生成AIが人々の働き方を変えると言われている現代。 果たして経営はどのように変わっていくのか？ 世界初の経営指導AIの開発を目指すFree AI社は、 豊富な経営経験を持つ講師を集め、AIに学習させることを...
Ryo Shimizu
「AI時代の経営塾」オフサイトミーティング実施報告
去る6月11日、12日の二日間に渡って、弊社社長であるAIスーパーコンピュータ「継之助」に、生きた経営ノウハウを叩き込むための実践的経営塾シリーズ「AI時代の経営塾」のオフサイトミーティングを鎌倉で行いました。 鎌倉古今は、全室スイーツルームの高級旅館。今回は鎌倉古今を貸し...
Ryo Shimizu
社長(AI)のシステムメモリを1.7TBにアップグレードしました
当社の社長であるAIスーパーコンピュータ「継之助(つぎのすけ)」は、ひょんなことから生まれました。 ある日のこと、共同創業者の清水がその日の朝、清水(きよみず)の舞台から飛び降りたつもりでA100 80GBというGPUを買ったという話をその日の夜に聞いた共同創業者の海老根が...
Tetsuya Yoshimi
「AI時代の経営塾」オフサイトセミナー2406、6月11日、12日の2日間開催
生成AIが人々の働き方を変えると言われている現代。 果たして経営はどのように変わっていくのか？ 世界初の経営指導AIの開発を目指すFree AI社は、 豊富な経営経験を持つ講師を集め、AIに学習させることを 目的としてこれまでの経営のあり方を総括し、...
Tetsuya Yoshimi
「AI時代の経営塾」2405、5月16日開催
昨日（4月25日）実施されました「AI時代の経営塾」の第2弾の開催が決定しました。 生成AIが人々の働き方を変えると言われている現代。 果たして経営はどのように変わっていくのか？ 世界初の経営指導AIの開発を目指すFree AI社は、...
Ryo Shimizu
簡単にできるAccelerateによるLLMの分散トレーニング
LLMを学習させるためのツールはたくさん存在しますが、本格的な学習には分散トレーニングが必要になります。今回は、継之助を使った分散トレーニングのために便利なAccelerateの簡単な使い方を紹介したいと思います。 TRLは、元々はその名の通り強化学習(RL;Reinfor...
Tetsuya Yoshimi
「AI時代の経営塾」序章、4月25日開催
生成AIが人々の働き方を変えると言われている現代。 果たして経営はどのように変わっていくのか？ 世界初の経営指導AIの開発を目指すFree AI社は、 豊富な経営経験を持つ講師を集め、AIに学習させることを 目的としてこれまでの経営のあり方を総括し、...
Ryo Shimizu
LMFlowによる日本語LISAトレーニング#2
前回、LMFlowによる日本語LLMのトレーニングについて紹介しました。 12時間ほどで最初の学習が完了したので結果を報告します。 学習させたのは1エポックのみで、train_lossは4.63まで下がった。一般的にLLMは1.0くらいまでlossが下がらないと実用性がない...
Ryo Shimizu
LMFlowによる日本語LISAトレーニング#1
LISA(Layerwise Importance Sampled AdamW)は、イリノイ大学と香港科技大学の共同研究によって提唱されたLoRA(Low Rank Adaptation)とフルファインチューニングに代替するファインチューニング手法です。...
Ryo Shimizu
Gemma-2BをLoRAファインチューニングして物語生成に強い日本語大規模言語モデルを学習しました
Googleから発表された大規模言語モデルGemmba-2BをLoRAファインチューニングして日本語の長文を生成できるモデルの学習を行いました。 学習に用いたデータは青空文庫のデータを元にした株式会社グロービスによるglobis-university/aozorabunko...
Tetsuya Yoshimi
長岡市主催のハッカソンにＡＩスーパーコンピュータ「継之助」を提供
Free AI株式会社（本社：東京都港区、代表取締役兼社長秘書：吉見鉄也。以下Free AI）は、2024年2月17日、18日に長岡市主催、株式会社ゼルペム運営のもと、「ミライエ長岡」（新潟県長岡市大手通２丁目３−１０）にて開催された、『AI×図書館ハッカソン＠長岡』にAI...
Ryo Shimizu
Free AI株式会社、ＡＩスーパーコンピュータ「継之助」 提供開始
日本の生成AIコミュニティを加速する新会社 Free AI株式会社、ＡＩスーパーコンピュータ「継之助」提供開始 株式会社レトリバ様の大規模言語モデル作成に貢献 Free AI株式会社（本社：東京都港区、代表取締役兼社長秘書：吉見鉄也。以下Free...
Ryo Shimizu
Free AI Ltd.スタート
2024年1月1日、Free AI Ltd.がスタートしました。日本から世界のAIシーンを変えていく、全く新しいタイプの企業形態を目指しています。 社長はAIスーパーコンピュータ「継之助」、共同創業者はオプト創業者の一人、海老根智仁と、AI研究家の清水亮。代表取締役兼社長秘...
bottom of page