Maxwell! 🌃 🌻 🐇 ☃ @Maxwell_110 Twitter profile

Pinned Tweet

Maxwell! 🌃 🌻 🐇 ☃

2 years

📌 Latest result in Kaggle 🏝 Great Barrier Reef 🐠 I learned a lot from my first opportunity to use an anchor-free object detection model, YOLO-X. And as usual, I missed the gold medal 🥈 Solution ➡

1

2

26

Last Seen Profiles

@webernicolas19

@lindabtch20

@kadirgenc58

@pengen_stw

@InsideTheKennel

@lindabtch20

@shawnsincllair

@Sexydanielle127

@NWRENinfo

@navy_sadness

@katiewav

@gorpol

@kiminspire

@sorinmercio

@Snowstorn2

@penyukastw21

@MikDv

@ApriliaYollanda

@masquebesos

@lindabtch20

@Kijo46

@mocostartup

@lancebangs

@StarSymphony_io

@chntngy64694016

@KoakuManohime

@1988Charming

@Tylxxxer

@Coach_Matt_R

@coachkoons

@GeorgeW00621694

@z07___

@Yass_yahi

@JVLast

@NEISD_rudyj

@stwmaniax

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

2 years

あるテーマに関して調べ物をしているんだけれど，代表的な論文を知っているのみ・・・😞 そんな時，Connected Papers はとても便利各論文間の関係や出版年・引用の多さをネットワークで数秒で可視化してくれるので，他の良さそうな論文をさっと把握するのに適している ✨

1

461

2K

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 months

ちなみに卒業生はずっと無料です（ﾎﾞｿ）

Yoshiki Sato

@phys_yoshiki

5 months

東京大学に個人で一括30万円以上寄付すると、3年間も総合図書館を利用できるよ！一括300万円以上だとゴールドカードになって、一生総合図書館を利用できるよ！「さぁ、みんなも東大に寄付しよう！」

6

3K

8K

5

213

2K

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 years

私の最近の論文の読み方 1. abstract を DeepL で翻訳 2. 論文の流れを頭に入れる 3. 流石の DeepL も所々意味不明になってるので，ちゃんと自分で読んで補完していく 4. 似たような形で，intro → method → result → discussion を読んでいく多分これが一番（私にとっては）速いと思います．

1

135

1K

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 years

なんと Deep Mind が映画「AlphaGo」を youtube で無料公開しています！観たことのない方は是非. 非常に面白いです（私は Netflix で観ました） AlphaGo - The Movie | Full Documentary

2

359

958

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

そういえば、先日の大学での講義に伴い、 XGBoost の説明資料の内容を少しアップデートしました。まだまだ、テーブルデータでは、Boosting が全盛ですので、この資料を使用しなくなることは、しばらくはなさそうです。

Dive into XGBoost

A naive explanation of Boosting family including XGBoost. Please let me know if you find something wrong or have a question. Updated: Jul.2022

speakerdeck.com

0

137

664

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

かなり網羅的に調査されていますね．素晴らしい・・・．データサイエンス、データ分析、機械学習関連の本 #Qiita

【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本 - Qiita

Update版2023年版データ分析の100冊を書きましたよ！必読10冊を更新。データサイエンス、データ分析、機械学習周りでおすすめ図書10選のような記事は良く見ますが、網羅的な紹介記事はあまり見…

qiita.com

1

63

584

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

TensorFlow がなぜ再現性をもたないのかを解説した動画。 Kaggle の discussion スレッドにリンクが転がっていたのですが、非常に分かりやすい動画でした。 Deep Learning Reproducibility with TensorFlow

Deep Learning Reproducibility with TensorFlow

This video shows how to get deterministic outputs when using TensorFlow, so that the outputs are reproducible. Everything should be perfectly repeatable.I cr...

www.youtube.com

0

97

533

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

6 years

勉強したくない人（もしくはできない人）は、忖度とか政治とか、人付き合い系のスキルに走るのをよく見る。個人的に嫌なのが、・分析スキルはたいしてない（プログラミングすらおぼつかず）・ドメイン知識は長くやってるのである・政治事、忖度磨きまくりのパターンの人で、関わると時間の無駄。

4

166

485

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

6 years

行列の微分は、公式も含めてよく忘れがちなのだけど、最低限これだけ覚えておけばというのは以下。・　Chain rule ・　2次形式の Trace への変換と Trace の微分・　逆行列の微分（逆行列の定義式から証明は容易）・　行列式の log の微分機械学習の演算は意外とこれだけでいけてしまう。

0

79

458

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 months

📦 RAG From Scratch LangChain 🦜 による RAG のスクラッチ実装の解説リポジトリ現時点では，Indexing・Retrieval・Generation 等の基礎事項や，Query Translation（RAG-Fusion 等）が解説されているが，今後も内容は拡充されていくっぽい 📺

0

59

418

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

3 years

Transformers from Scratch 🌐 Transformer の構成要素を逐一丁寧に解説しているサイト one-hot-encoding や dot-product など，基本的な概念・知識を一つずつ順を追って説明をしている．個人的には，ここまで丁寧に説明を行っている記事は見たことがないかもしれない．

0

54

407

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 years

Microsoft 社による時系列予測の case study をまとめた github Kaggle 的には LGBM, dilated CNN, prophet あたりが特に参考になりそうかな (Θ(ｴ)Θ*)

1

58

372

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 months

RAG を利用した LLM の構築に際し，より良いレスポンスを得るために抑えるべき要点をまとめた素敵 Cheatsheet があったので貼っておきます 📍

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

6 months

🌐 RAG の質を高めるための tips を紹介した記事著者は Kaggle の AI report コンペ () で 1 位の方でまとめ方が秀逸．RAG が鍵だったコンペの上位解法の内容と論文とを照らし合わせて記事を書いたと思われ，実践面を担保した内容となっている．

0

32

319

1

45

370

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 years

Colaboratory が Kaggle GPU 環境難民にとっての一筋の光明と今後なりえそうとのことですので，先日行ったセミナーの資料の中の一枚を共有しておきます. たいしたものではありませんが，お好きにお使いください. （Windows 用の shortcuts になっています）

Google Colaboratory Shortcuts

Feel free to use and distribute. Updated: Jul.2022

speakerdeck.com

0

56

363

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 years

最近，かなりの頻度で広告にでてくる deep learning による補完を行う TabNine ，PyCharm にも install できるみたいだし少し気になるなぁ．ますますこういった機能無しでプログラミングができない身体になりそうだけど・・・

0

76

353

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

9 months

Transformer と時系列データの相性が悪い傾向にある，という研究結果をここ最近見るなぁ時系列データ（株価とか）によくあるノイズに弱いっぽい

GO Inc. AI Tech

@goinc_ai_tech

9 months

AI技術開発部の高橋が社内勉強会の資料「時系列予測にTransformerを使うのは有効か？」を公開しました。論文Are Transformers Effective for Time Series Forecastingの紹介を中心に、時系列予測について解説しています。ぜひご覧ください。

0

110

705

0

66

358

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

2 months

順調にコンテンツが増えている 🦜 自分は RAG といったら LangChain しか使ったことがないけど，もうこいつだけでいいんじゃないかな

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 months

📦 RAG From Scratch LangChain 🦜 による RAG のスクラッチ実装の解説リポジトリ現時点では，Indexing・Retrieval・Generation 等の基礎事項や，Query Translation（RAG-Fusion 等）が解説されているが，今後も内容は拡充されていくっぽい 📺

0

59

418

0

24

352

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

9 months

📑 金融時系列予測で Transformer と LSTM の精度を比較 HFT データを用いて複数タスクでの予測精度を比較した結果，LSTM系の model は差分時系列（価格差・変動）の予測で Transformer 系の model に対し，ロバストで優れた性能を示したと報告

0

38

330

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

6 months

🌐 RAG の質を高めるための tips を紹介した記事著者は Kaggle の AI report コンペ () で 1 位の方でまとめ方が秀逸．RAG が鍵だったコンペの上位解法の内容と論文とを照らし合わせて記事を書いたと思われ，実践面を担保した内容となっている．

2023 Kaggle AI Report

Essays on the state of machine learning in 2023

www.kaggle.com

0

32

319

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 months

🌐 某「ゼロから作るシリーズ」のように，PyTorch で LoRA をゼロから実装する方法を解説した記事 LoRA を使用する場合，🤗 の peft を使って楽をするのが一般的だが，本記事では敢えて LoRA layer class の実装から，それを学習済みのモデルに適用するまでを丁寧に解説

0

33

316

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

2 years

いつも忘れる情報量基準まとめてみたけど，一週間後にはやっぱり忘れていると思う

0

40

311

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

24 days

言語処理100本ノック（）でお馴染みの東工大・岡崎先生の LLM 開発（事前学習・instruction・alignment 等）の資料今年の研究までカバーしており，とても分かりやすい神資料でした 🙇 やはりプロンプト関連より，モデル開発の方がみていて楽しいな

0

34

297

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 years

セミナーの準備が大変です．新年早々私は何を作っているのだろうか・・・

0

32

295

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

先日参加した Kaggle 本の勉強会にて，初めて学ぶ方には少し分かりにくいと感じた QWK（cohen’s kappa）の記事を書きました．内容は本書と基本的に同じですが，ちょっとだけ言葉を足しています．理解の補足になれば幸いです（既に理解されてる方には無用かもしれません）．

「Kaggleで勝つデータ分析の技術」２章 QWK についての補足｜Maxwell

私事ですが，先日開催されていました「Kaggleで勝つデータ分析の技術」（以下，Kaggle 本）の勉強会にひっそりと参加してきました． [秋葉原] 「Kaggleで勝つデータ分析の技術」輪読&勉強会 #初回 (1章/2章) 初心者歓迎！ (2019/11/12 20:00〜)# この会について「Kaggleで勝つデータ分析の技術」を学習し理解を深める会です。今回が初回です。１章、２w...

note.com

2

37

289

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

Kaggleで勝つデータ分析の技術表紙が決まりました。是非よろしくお願いいたします。

0

55

289

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

2 years

Binance を題材とした時系列ベースの MLOps の構築例 💰 MLOps に関する用語解説から，ML Ops の各フェイズ（設計・スコープ，開発，運用），Binance API を使用したパイプラインの構築例までを解説 ⚙️ デプロイには GitHub auction, Docker, AWS ECS を使用している

2

29

280

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

3 years

OpenFold 📦 DeepMind 社の AlphaFold 2 を PyTorch で再現 DeepMind の公開コードと異なり，推論だけでなく学習も可能とのことで，単なる再現ではなく拡張されている感もある

0

61

281

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

わー！ BERT の実装きてたのか！！！！

keras-bert

BERT implemented in Keras

pypi.org

0

74

278

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

今更ですみませんが、素晴らしい記事ですね。マハラノビス距離のところで、久々にコレスキー分解を思い出しました。 Metric Learning 入門 - copypasteの日記

Metric Learning 入門 - copypasteの日記

はじめに metric learningとはマハラノビス距離学習 deep metric learningとは siamese network triplet network サンプルの選び方と直感的理解 L2 softmax network MNISTで実験実験条件実験1-1: 表現力の確認実験1-2: 未知…

copypaste-ds.hatenablog.com

0

47

269

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

3 years

今日は某青い銀行のニュースのお陰でなかなか良い画像を拾うことができたので良い日

0

48

273

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

3 months

📚 Feature Engineering A-Z 特徴量エンジニアリングに特化した本 Python・R 両方のコードを載せており，数多ある似たような本と比較すると，トップレベルの特徴量の種類・項目の豊富さを誇っている 🌸 後半はまだ執筆中となっているが，完成が待ち遠しい

0

50

270

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

3 years

とてもとても良い解説記事 🌐 今後，主双対内点法を人に教える時は「この記事を読んでね」で良いかなと思うくらい凸最適化の概要と主双対内点法のアルゴリズムの解説 #Qiita

凸最適化の概要と主双対内点法のアルゴリズムの解説 - Qiita

はじめに凸最適化問題に使われている主双対内点法の解説を目標に、凸最適化の概要を説明します。二次計画がメインターゲットです。この記事はソルバーは使ったことあるけど、もう少しアルゴリズムの中身が知…

qiita.com

0

25

261

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

2 years

ML-QUANT FINANCE 💰 金融領域における機械学習（FinML）の - 論文 - 主に python-based の開発リポジトリ - 業界ニュースなどを，リアルタイム・週・月別に news feed してくれるサイト 🗞️

1

30

261

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 years

python における auto visualization ライブラリの紹介👇 - Pandas-Profiling - Sweetviz - Autoviz - D-Table 自分は Pandas-Profiling 派だけど，他も有用そう👍

0

43

249

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

統計検定は開始 30分で退出＋優秀賞受賞でした。たまにはこういう事言ってもいいだろうと発言したところ、周りのkaggler 達にイキリだのなんだのと散々言われてしまいました。普段、貴方達の方がよっぽどイキってるじゃない…と心の中で思いましたがこの気持ちは内緒のままにしておこうと思います。

0

26

249

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

FreeSound 2019 に参加された方々、お疲れ様でした。 private でどうなるかは分かりませんが、私の手抜きソリューションを挙げておきます。手抜きにも程があるだろと思われるかもしれませんが、コンペに打ち込む時間が潤沢にはありませんでしたので、ご容赦ください。

3

36

244

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

3 months

🌐 ML では hyper parameter の調整はつきものだが，どの hyper parameter が精度に貢献しているかを，SHAP で解釈しようという記事 XGBoost で適当なデータを学習し，（ハイパーパラメータ，精度）の組み合わせを新たな（特徴量，目的変数）とみなすことで，SHAP を実行

0

25

237

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

8 months

📑 Conditional GAN・RNN を組み合わせたモデル（ForGAN）で金融時系列を確率的に予測トレード損益を反映した損失項を Generator の損失関数に付加した結果，リターン分布だけでなく up/down の予測にも優れた学習ができ，LSTM 等よりも高い Sharpe Ratio を達成したと報告

1

30

240

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

3 years

東大・PFN による特徴量選択に関する研究 📝 「アンサンブル特徴量選択」のノイズ等に対する安定性を高速に推定する手法を提案 - 選択されやすい特徴量の数 - ノイズを表現する確率で特徴量選択を簡素に simulate し，実データへ適用する前に安定性を計算可能としている

1

31

232

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

6 months

📦 LLM prompting で知識グラフを作成・可視化 Mistral OpenOrca () 等の LLM prompting で知識グラフのノードとエッジの情報を生成．その後，networkx でグラフを可視化する demo notebook:

0

37

229

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 years

Transformer 系のモデルの軽量化の開発動向は気になって仕方がないわけですが・・・有難いことに，現時点（2020年後半）における transformer の軽量化に関する survey 論文が投稿されている 👇 LRA によるベンチマーク結果はこちら 👇

1

30

227

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

14 days

📦 FlashRAG FlashRAG は RAG 構築用のライブラリサーベイ論文 () にもとづき RAG 手法を 4 カテゴリにわけ，それぞれのパイプライン API を提供 12 種の RAG 手法と 32 種のベンチマークを実装しており，複雑なパイプラインでも簡単に実装が可能

0

31

224

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

公衆衛生の分野の論文を読んでいるとだんだんイライラしてきてしまう。変数選択は主観的に職人の感覚で選び、モデル評価はバリデーション切らず、モデルは重回帰もしくはロジスティック回帰のみで最後はおきまりの p 値というものばかりで、時間が数十年前から止まっているかのよう。。。

2

63

214

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

8 months

🌐 2018 頃の LM から最新の LLM までの系譜をサーベイしているリポジトリ今年前半に publish した論文（📑 ）以降もサイト上で更新されている LLM 進化ツリー作図用のパワポも配布しており，自分用にカスタマイズ可能 ➡️

0

45

220

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

一日目，お疲れ様でした．私の発表内容を Speaker Deck にup しておきましたので，よろしければご覧ください．欠損値補完と，少し minor な内容ではありましたがご清聴ありがとうございました．質問等ありましたら遠慮なくご質問ください． #kaggledaystokyo

Imputation Strategy @ Kaggle Days Tokyo (Maxwell)

This presentation is for Kaggle Days Tokyo organized by Kaggle and Google Cloud at Roppongi Hills Tokyo on Dec 11th.

speakerdeck.com

0

34

214

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

3 years

Machine Unlearning 📝 機微情報の利用取消要求がある場合，ML は記憶性故に対応が難しく再学習のコストは高いそこで，本論文では，データを分割し，各 fold でモデルを学習し ensembleする方式を提案取消時は，除きたいデータが含まれる fold のモデルだけを再学習する

1

54

210

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

3 months

🌐 表データを辞書形式のテキストで表し sentence-transoformer でベクトル化することで，クラスタリングの特徴量に使用するという記事 KMeans, K-Prototype や前処理（正規化・外れ値除去）・クラスタ数選択や結果可視化（PCA, t-SNE, コレスポンダンス分析, SHAP）も解説

0

25

211

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

非常に良い記事でした. 私がセミナーでお話している内容の上位互換で「ｳｯ…」となりました. 失敗から学ぶ機械学習応用 #machinelearning #

0

28

203

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

6 years

Feed-Forward model が RNN 系を上回る理由を定性的に解説　　　↓

1

32

190

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

6 years

機械学習・深層学習のモデルの解釈可能性を補佐する手法についてまとまった内容がざっくりと読めるサイト書籍化もされているらしいです。 PDP, ICEPD, LIME, SV といった、model-agnostic な内容の紹介があるのが嬉しい。

Interpretable Machine Learning

Machine learning algorithms usually operate as black boxes and it is unclear how they derived a certain decision. This book is a guide for practitioners to make machine learning decisions interpret...

christophm.github.io

0

36

195

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

2 years

講義資料を作成するにあたり，教科書は「Kaggleで勝つ本」なので，それがベースになるんだけど，結構前に作成した XGBoost の資料も参考になる・・・人は忘れる生き物なので，まとめてた昔の自分に感謝 Dive into XGBoost

Dive into XGBoost

A naive explanation of Boosting family including XGBoost. Please let me know if you find something wrong or have a question. Updated: Jul.2022

speakerdeck.com

0

11

191

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

生存時間分析の入門記事その 1 を書きました．主目的は，機械学習系のモデルである Rnadom Survival Forest の解説なのですが，今回はそもそも生存時間分析とは？のような導入記事となっています．生存時間分析の基礎１｜Maxwell @Maxwell_110 #note

生存時間分析の基礎１（生存時間分析とは・生存時間分析のデータ形式）｜Maxwell

本記事は，生存時間分析の基礎シリーズの第一回目となります．更新は不定期で著者のきまぐれに左右されてしまいますが，もしよろしければお付き合いください．先日，生存時間分析モデルの種類の調査を行っていた際に，こちらの記事にであいました．生存時間分析の色々なアルゴリズムをまとめてみました - Qiita#はじめに生存時間分析について学んでいくと、様々なアルゴリズムがあるのだなと非常に感心して...

note.com

0

47

185

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 years

PoE with R: R で計量経済をというサイト単純な線形回帰からパネルデータにおけるGLS，操作変数法，内/外生性，時系列モデルなどと，包括的にトピックが網羅されている．本や Free pdf も・・・． pdf: Book:

0

41

190

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

2 months

📑 RAG を 4 ステップ（検索前・検索・検索後・生成）に整理しレビューしたサーベイ論文 LangChain の RAG From Scratch を参考にするとより理解が進むかも RAG は低コストの hallucination 対策としてデファクトだが，fine-tuning が低コスト化すれば状況は変わるだろうな

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 months

📦 RAG From Scratch LangChain 🦜 による RAG のスクラッチ実装の解説リポジトリ現時点では，Indexing・Retrieval・Generation 等の基礎事項や，Query Translation（RAG-Fusion 等）が解説されているが，今後も内容は拡充されていくっぽい 📺

0

59

418

0

26

191

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

3 years

一昨年の 10 月にでた「Kaggle で勝つデータ分析の技術」が第 10 版の増刷の運びとなりました．読んでくださった方々にこの場を借りてお礼申し上げます．また，予測モデリングや Kaggle に興味のある方は，是非，一度手にとって，ご覧いただけますと嬉しく思います 🙏

0

12

187

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

6 years

私の身の回りでいうと、・プログラミングできない・英語ほとんどできない・各職場における慣行・習慣には詳しい・給与は、1200 万前後・都内近郊・妻子有一軒家住みな感じの人が多い。自分がこの立場だったら、ノイローゼにでもなってしまいそうだ。。。

0

97

173

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

機械学習のみだったり、深層学習のみだったり、そんな感じのスキルセットの人材育成をしたところで、私の見立てでは、早晩行き詰まると思います。特定のドメイン＋データサイエンスの技術の路線の方がキャリア構築の観点からはいいのではないかなと。

0

38

176

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

2 years

ShiftViT 📝 Attention が ViT にとって必要不可欠な要素であるかを，channel shift を行うだけの単純な block で attention を置換（Fig. 1）し検証単純構造でも SwinT と同等以上の性能が得られ，ViT の高い性能は attention ではなく，他部分による可能性が高いと結論

1

15

177

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

2 years

StickyLand 📦 Jupyter notebook は，code が増えるに従い cell が下方向にどんどん stack されていくため，accessibility はあまり良くない StickyLand は notebook 上に floating cell を自由に配置でき，R の shiny のような dashboard を作成することができる

0

21

174

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

統計検定は一定の市民権を得たのではないかなと個人的には思っているのですが，来年には同 JSCC がデータサイエンスの検定を始める予定なんですよね. 基礎統計と異なり，変化の激しい領域ですので，検定を時事的にも意味のあるものにしていけるかどうか等が気になります.

1

46

170

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

9 months

📦 XGBoost 2.0 - Vector-leaf outputs: 複数の目的変数（multi-target regression/multi-class など）を葉レベルでもつことが可能に - Default でヒストグラムモード - Quantile regression の追加等，高機能化・効率化が図られている目玉は vector-leaf だと思うけど，開発途中でもあるらしい

XGBoost

@XGBoostProject

9 months

XGBoost 2.0 is here

2

90

409

0

34

171

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

3 years

フリーの最適化ソルバー（Python）は今だと PuLP でなくて Python-MIP がお薦めなのか 😲 色々と利点��あるみたいだけど，PuLP 同様に Gurobi との互換性もあるのは良いなぁ

0

16

169

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

6 years

すごくよくわかる。自分の場合は、本を見ずに式のフローを図で再現出来たら、咀嚼できたと見做している。数学科でたまに聞く、テキストも見ちゃダメ、内容を板書できるくらいでないとダメというのは、厳しいよなぁと思いつつも多分そうじゃないといけないんだろうなと傍目から見て思っている。

ルシアン

@Lucien0308

6 years

数学の勉強法で、何人かの偉い��生が「教科書を少し読んだら、本を閉じて、内容を再現してみる」というのを紹介しているのを見てきたけど、自分もようやくそれがベストだなぁと思えてきた。

4

377

1K

2

47

166

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

3 years

Google AI が最新の二系統の画像認識モデルを紹介 🌐 EfficientNetV2: 学習速度を考��した構造最適化等が行われており，少量データで速く学習するのに適した CNN ベースのモデル CoAtNet: CNN + Self-Attention を垂直積層したモデルで，大量データで SOTA な性能を発揮

0

26

168

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

3 years

VISSL (FAIR) 📦 VISSL は画像における自己教師学習のための PyTorch-base ライブラリ SimCLR・NPID 等の SOTA な自己教師学習が 60 種以上，同時に，ベンチマーク（imagenet1k・COCO 等）も提供されているまた，ZeRO 等の大規模学習のためのモジュールも簡単に実装可能

0

22

163

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 years

ということで，たいした順位でないのでアレですが，備忘録として鳥コンペにおける私のパイプラインを投下しておきます．真夏でも電力に優しい（？） ResNet18 仕様となっています． Discussion にも雰囲気次第では多少の詳細もつけて投下するかも（？）しれません

3

5

160

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

助かるぅ… 生存時間分析の色々なアルゴリズムをまとめてみました #Qiita

生存時間分析の色々なアルゴリズムをまとめてみました - Qiita

#はじめに生存時間分析について学んでいくと、様々なアルゴリズムがあるのだなと非常に感心しています。こちらのサーベイ論文では次のようにまとめられていました。https://dmkd.cs.vt.…

qiita.com

0

14

157

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

3 years

TorchGeo 📦 TorchGeo は Microsoft による地理空間分析に特化した PyTorch 用ライブラリ 🔥 - 地理データ - 地理変化検出（ChangeStar: ）等のモデルや PyTorch Lightning Class ⚡️ の学習用 API 等を実装 Doc ➡︎

1

29

158

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

ざっと見た感じ，NGBoost は期待値推定のみであった XGB, LightGBM などに対して，信頼区間の推定も行えるようにしたというものですね． XGB などでもリンク関数をもとに Tweedie 分布を設定できたりはしたのですが，NGBoost はアプローチがかなり異なっていそうですね．

1

19

158

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

8 months

📑 大規模言語モデル (LLM) を使い決算報告書の質疑応答から情報抽出をする研究メタデータを RAG () における情報選択フィルタとして用いることで，LLM の hallucination が軽減される傾向にあると報告資産運用会社 BlackRock による研究 💰

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Large pre-trained language models have been shown to store factual knowledge in their parameters, and achieve state-of-the-art results when fine-tuned on downstream NLP tasks. However, their...

arxiv.org

0

23

157

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

2 years

Knowledge Distillation: A Survey ⚗️ 知識蒸留（KD）の Survey 論文 - Teacher Model が与える知識の種類 - KD の学習スキーム - Student Model の種類と選択 - 蒸留アルゴリズムの種類 - KD の応用範囲の観点で，KD に関するトピックを体系的にまとめている

2

11

155

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 years

何度，この類の図を描いたか分からない・・・

1

21

153

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

6 years

現 kaggle No1 の bestfitting 氏は、銀行のデータ分析者なんですね。新しい形のクオンツとも言えるのではないかなぁと思います。彼の分析プロセスはオーソドックスなものですが、その基本的な取り組みをしっかりやることがいかに価値があり難しいかということを再認識しました。

0

26

151

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

2 months

📑 StockGPT 約 100 年分の米国株の時系列データを使い，decoder-based Transformer で離散化したリターンを予測日次リバランス有りのロング・ショート戦略の場合，リーマン・コロナショックを含む過去約 20 年の運用期間で，シャープレシオ 6.5，年 119% リターンと報告

0

23

149

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

6 years

まますさんとお話をしていてふと思い出したのですが、以前、アクチュアリーの方々向けに Boosting のお話をした資料を時効かなとも思いますので公開しておきます。 Kaggler 向けのガチな内容ではありませんので、生暖かくご覧いただけるとと思います。

1

31

144

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 years

Mar.2020 から開講している DeepMind と UCL の深層学習コースを YouTube 上で聴講することが可能です．今のところ全 12 回のうち 6 回分が公開． 1. Intro 2. NN 3. CNN for image recognition 4. Advanced Model for image recognition 5. Optimization 6. RNN

Google DeepMind

@GoogleDeepMind

4 years

As part of #AtHomeWithAI , we’ve brought back the DeepMind x @ai_ucl lecture series! We have 6 new videos covering everything from machine learning and AI to neural networks and image recognition. Visit our YouTube page to watch them all today!

15

309

858

1

42

140

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 years

ICLR2021 の open review （Anonymous） Transformer を CNN 無しで画像分類タスクに適用した場合，既存の CNN 系列のベンチマークスコアを上回ったという内容

Andrej Karpathy

@karpathy

4 years

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale v cool. Further steps towards deprecating ConvNets with Transformers. Loving the increasing convergence of Vision/NLP and the much more efficient/flexible class of architectures.

25

477

2K

0

28

141

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 years

特に特別なことはやっていませんが，終了した浮世絵コンペのモデルパイプライン図です．一番印象に残った点としては，評価指標が正解率でデータ数も少なかったため，blending の際も非常に係数に敏感だった点です．また，有効なモデルの組み合わせを探すのも大変でした．

0

15

141

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

1 year

自分はどちらかといえば AI 関係の仕事をしている人間なんだろうけど，AI 絵師などという，ML モデルによる模倣・盗作行為には断固反対学習に使用する全てのデータに対して，オリジナルの作者の同意や適切な対価の支払いがあるのなら別だけど，それらがなされていないから問題が多発しているんだろう

0

52

140

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

2 years

PolyLoss 📝 PolyLoss は (1 - P) を基底とする多項式の線形結合で表される損失関数（P: 確率）で，CE や Focal Loss はその特殊形（Eq. 1-2）各係数を調整すれば任意損失関数を表現できるが，初項係数の調整だけ（Tab. 2: Poly-1）で精度が向上すると報告（Fig. 3） 1/

2

15

139

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

6 months

電通国際情報サービス（iSiD）所属の方がまとめてくださった LLM MA の資料 LLM MA の包括的な定義から，どんな研究が行われているか等，とても勉強になりました 🙇‍♀️ やっぱり agent も多様性があった方が良いのね．アンサンブルに使用するモデルと同じだね．

LLMマルチエージェントを俯瞰する

社内のテックトークで紹介しました。

speakerdeck.com

0

19

139

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 years

ファイザーのワクチンの効果検証に関する記事：ファイザーは臨床試験計画書にてベイズ的手法で効果を検証するとしており，記事の作者は公開されている情報から手法を推測し R にて検証している．ファイザーは事後分布の評価をもってワクチンの効果を謳っているとのこと．

1

43

139

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

6 years

sutton の強化学習本をもっていない方はすぐに DL ！予定されている 2nd edition ( draft ) が今なら free で DL できてしまいます。

0

53

138

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

まさに、Kaggle 的な、コンペになっても良いくらいの課題でした。内部にデータサイエンティストがいる会社が増えたので、こういう課題が Kaggle に提供される機会は減ってきてしまっていますね。 Uber Eats が取り組む機械学習の難題：料理完成まであと何分？

エンジニア採用｜NewsPicks (ニューズピックス)

NewsPicksのエンジニア採用サイトです。さまざまな強みを持��エンジニアが、自分たちの個性を活かし、未来を創るための挑戦をしてる自由な環境で、一緒に世の中をおもしろくしてみませんか？

tech.newspicks.com

1

19

139

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

2 years

R :: ggpackets 📦 ggpackets は ggplot で頻繁に使用する layer の組み合わせを一つのオブジェクトにし，色々な局面で再利用しやすいようにしてくれる便利ライブラリ ✨ 保存したい layer を ggpacket クラスの object にしておき，ggplot() に足していけば良いだけ

0

32

138

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

scikit-learn 0.22 の新機能・ PDP, ROC, PR, Confusion Matrix などの描画・Stacking ・Permutation Importance ・ヒストグラム base の GBM における欠損値の対応（XGBやLGBMと同じ機能）・kNN imputation ・Tree pruning あたりが個人的には目につきました．

0

25

135

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

6 months

📦 yolopandas は，panadas のデータフレームに対して直接，LLM が分析コードの提示をし実行してくれるライブラリ「欠損値はいくつある？」などの指示文に対し， df.llm.query("指示文") とするだけ LLM が返した分析コードの実行には，抽象構文木を使用している模様

0

19

138

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

2 years

ggmice 📦 ggmice は欠損値補完 📦 mice の可視化ツール mice の開発陣 @MICEamices が開発しており，補完後の結果を様々な視点で可視化することができる尚，開発陣の一人 Buuren 教授は，R::mice を使用した多重代入法の本を出版している 📚

1

23

135

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 months

📦 tfcausalimpact 状態空間モデルで介入後の将来時系列を予測した後，介入後の実観測値と比較することで，介入効果を分析する CausalImpact の tensorflow 版 Google 公式版は R だけど，非公式の python 版が既にリリースされていた Reference:

Implementing Causal Impact on Top of TensorFlow Probability

Using structural time series to infer impactful causality between variables.

towardsdatascience.com

0

16

136

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 years

Airbnb の過去 3 年間の推薦アルゴの発展と泥臭い改良プロセスがまとまっていて，私のように推薦アルゴに疎い人間でもすっと頭にはいってくる内容でした．特に embedding を利用したアルゴの改善のあたりは，Kaggle っぽくて好きです．「Airbnbの機械学習導入から学ぶ」

Airbnbの機械学習導入から学ぶ

KDD2020で紹介されたAirbnbの論文がとても参考になったので、過去の事例も紹介しつつ勉強会用にまとめています。ご意見・コメントがある方はTwitter: @pacocat までよろしくお願いいたします。

speakerdeck.com

0

15

125

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

2 years

StylEx 📝 StylEx は画像分類モデルの説明手法 StyleGAN-base の生成モデルを，説明対象である分類モデルを利用して学習し，学習後の style space の変化に対する分類確率の変化を検証これにより，画像内の位置だけでなく，属性（色・形等）の寄与も分離して視覚化が可能

1

24

129

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

しかし，この picture 本当にいいですね．しばらく使用させていただきます．個人的に気に入っている CV model family のまとめはコレ SOTA系のまとめはコレこの手のまとめは非常に助かるんですが，更新されなくなってしまう事もあります…

0

25

126

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

3 years

NN のチャンネル数と層数が隠れ層の表現に与える影響を，ResNet のチャンネル数と層数を変化させ検証 📝 データサイズに対してモデル容量が大きい場合，似た表現をもつ層を表わす「ブロック構造」（図中の similarity heatmap の黄色部分）が現れると報告している

1

15

126

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

2 years

MONAI 📦 MONAI は PyTorch-based の医療画像用ライブラリ MRI や WSI 特有の前処理 API （DICOM, nifti, patch extraction 等）が実装されており，pure PyTorch で実装するよりも楽ができるようになっているまた，annotation tool (MONAI Label) 等も開発されている 🔧

0

19

124

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

4 years

応援頂いた皆様のおかげで「Kaggle で勝つデータ分析の技術」は Best10 に選出されました！ありがとうございました(Θ(ｴ)Θ*)！「ITエンジニア本大賞 2020」今年も開催します！みんなで選ぼう今年のおすすめ本 #itbookaward

0

18

125

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

3 years

Benchmarking DL Optimizers Schmidt+ 2020 (revised on Feb 2021) 15 種の代表的な DL Optimizer の性能を色々なタスクや条件で評価したところ - タスクやハイパーパラメータの値によって optimizer の優劣は大きく変化 - ADAM は安定して優れていると結論づけている

1

16

123

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

2 years

Hyper parameter を一つ導入し損失関数を書き換えるだけでよいので，汎用性がとても高い EfficientNetV2 や Mask R-CNN に適用したところ，分類・検出・セグメンテーション等で大幅な精度向上が見られたと報告（Tab. 1）特に，Focal Loss は不均衡な ImageNet 21K には最適でないとも述べている 2/

0

8

121

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

8 months

🌐 マルチモーダル大規模言語モデル（MLLM）のサーベイリポジトリ Instruction Tuning，In-Context Learning，CoT，Visual Reasoning 等のトピックを包括的かつ大量にまとめている今年（2023）中頃に立ち上げて以降，現在も精力的に更新中 📑

A Survey on Multimodal Large Language Models

Recently, Multimodal Large Language Model (MLLM) represented by GPT-4V has been a new rising research hotspot, which uses powerful Large Language Models (LLMs) as a brain to perform multimodal...

arxiv.org

0

18

122

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

5 years

左良識右狂気

0

20

122

Maxwell! 🌃 🌻 🐇 ☃

@Maxwell_110

11 months

あまりみない Bayesian Deep Learning 第一の理由はやっぱり計算コストだよなぁと自分も思う変分ベイズ等を利用するにしても，近似による推定誤差が問題になってくるし，解釈性の問題も述べられていて確かになと． 🌐 A Gentle Introduction to Bayesian Deep Learning

A Gentle Introduction to Bayesian Deep Learning

Explore the intersection of Bayesian statistics and Deep Learning, its advantages and limitations in this easy guide

towardsdatascience.com

0

12

122