gpt-ossは非常に高性能かつ安定したモデルで、特にBlackwell世代では高速に動作することで知られています。これはFP4、つまり4ビット浮動小数点を使っている効果が大きいと言えます。 FreeAIの継之助のサブモジュールに組み込んだMac Studio 512GBでも、FP4は対応していて、最新のDGX Spark (GB10)に比べても3倍以上の速度で動作します。 この時代になると、さすがにAmpare世代のGPUである継之助には苦しくなってきます。しかし、それでもgpt-ossのような高性能なモデルを高速に動かしたいというニーズは常にあります。 そうした悩みに見事答えてくれたのが、UnslothがDockerとともにリリースした新しいDocker modelというコマンドです。 このコマンドを使うとHuggingFace上にあるUnslothの量子化モデルを手軽に非Blackwell環境で試すことができます。 実際に実行した時に感じた注意事項は以下の通り ・CUDA 12.9以降対応 ・複数GPUある場合は、自動的に複数のGPUに分散

11月は「CFO」にフォーカスします。 生成AIが人々の働き方を変えると言われている現代。果たして経営はどのように変わっていくのか？世界初の経営指導AIの開発を目指すFree AI社は、豊富な経営経験を持つ講師を集め、AIに学習させることを目的としてこれまでの経営のあり方を総括し、これからのAI時代の新しい経営学の構築を目指します。このイベントは、AIに経営を教えるための授業を人間のビジネスリーダーにシェアし、議論の質を高めるためにごく少人数向けに公開するものです。 ＜日時＞ 2025年11月13日（木）17時00分～ ＜場所＞ オドラナ（旧katana）オフィス六本木　セミナールーム(8階） 〒106-0032 東京都港区六本木2丁目2－6　福吉町ビル ＜タイムテーブル＞ 16時50分：開場 ＝ 17時00分～17時40分：「CFOに振り回されない経営とは」前編 　　　　　　　　　　　講師：小栗幹生 　　　　　　　　　　　＜休憩：5分＞ 17時45分～18時15分：議論① 　　　　　　　　　　　講師： 小栗幹生、海老根智仁（オンライン）、清水亮

10月は二本立てとなります。 　生成AIが人々の働き方を変えると言われている現代。果たして経営はどのように変わっていくのか？世界初の経営指導AIの開発を目指すFree AI社は、豊富な経営経験を持つ講師を集め、AIに学習させることを目的としてこれまでの経営のあり方を総括し、...

Huaweiが開発したSINQという手法は、従来のHuggingFaceモデルを任意に再量子化できるという特徴を持っている。 非常に手軽に量子化できるため、有用性がかなり高い方法だと思うが、実際に量子化する上でいくつか問題になった落とし穴をメモしておく。...