hpp @hpp_ricecake Twitter profile

Pinned Tweet

hpp

@hpp_ricecake

1 year

最近やってる/やってたことのスレ:

hpp

@hpp_ricecake

1 year

BERTによるテキスト分類のチュートリアルを公開しました！・ライブドアニュースコーパスを対象とした9値分類・前処理+主要な評価指標の算出・実験結果の管理をモダンな記法・設計で実装しました。深層学習・NLP初学者の方をはじめ、色々な方の参考になれば嬉しいです！

4

157

910

1

29

Last Seen Profiles

@BaboonForestEnt

@speedwaydigest

@PrensadeMonagas

@RhonaEA

@AytoMieres

@HelmingChett

@torontooliveah

@siti

@BreakTheSpell22

@neh_pch

@AspenTitan

@Dh_AlSubaiei

@llv2y

@HelixGD

@jofelusa

@stw_pdg

@FredCherouvrier

@TruesdaleW13474

@morcegao___

@Pabpung1

@nrkcv

@Bay_Ry7

@KarteloMog77461

@SMS_HEG

@virtuaIh8r

@nikkeww

@Sandra_Shine

@arvent_ssb

@vicious_mongrel

@heyptn

@11x100

@patyCAlvarez

@y_matwee

@bacol_bersama

@minjoounion2024

@_Sterl_

hpp

@hpp_ricecake

2 years

うおおおおメルカリのデータセットだ、デカすぎんだろ！！！！ > 商品データ，コメントデータはCSV形式で，サイズはそれぞれ約100GB，約40GBです。画像データはサムネイル画像で約2TB，オリジナル画像で約1TBです。

4

960

3K

hpp

@hpp_ricecake

5 years

いやマジで、用語の暗記は学問の本質でないってのは凄いわかるんだが、基本的な語句すら覚えてない程度の勉強量で議論なんて出来ない

1

383

2K

hpp

@hpp_ricecake

4 years

弊学湧水が出るらしくて湧水で冷やして電気代めちゃくちゃ節約しているらしい、ウケる

hpp

@hpp_ricecake

4 years

豪華だ

0

67

191

5

668

2K

hpp

@hpp_ricecake

1 year

Pythonでリストの中にある要素が存在しているか判定しようとしている人、今すぐsetを使うんだ、頼む、存在判定がO(n)→O(1)になるんだ、頼む

7

160

2K

hpp

@hpp_ricecake

2 years

めちゃくちゃ面白かった、最近の自然言語処理に至るまでの道のりが詳細に記述されていて頭が整理された

東京大学深層学習（Deep Learning基礎講座2022）深層学習と自然言語処理

東京大学深層学習（Deep Learning基礎講座2022）https://deeplearning.jp/lectures/dlb2022/ 「深層学習と自然言語処理」の講義資料です。

speakerdeck.com

1

188

1K

hpp

@hpp_ricecake

4 years

本日のキャサリンママ #フブキch #絵フブキ

12

187

1K

hpp

@hpp_ricecake

4 years

友人のPCが開きっぱなしだったので alias cd="firefox " を実行しておいた

6

321

1K

hpp

@hpp_ricecake

7 months

今更読んだけどクソ面白かった、特にこのページ、順位をone-hotベクトルに変えて最適輸送問題としてみるとランキング学習ができるの最高すぎる

何でも微分する

IBIS 2023 企画セッション『最適輸送』 https://ibisml.org/ibis2023/os/#os3 で発表した内容です。講演概要: 最適輸送が機械学習コミュニティーで人気を博している要因として、最適輸送には微分可能な変種が存在することが挙げられる。微分可能な最適輸送は様々な機械学習モデルに構成要素として簡単に組み入れることができる点が便利である。本講演では、最適輸送の微...

speakerdeck.com

0

120

996

hpp

@hpp_ricecake

1 year

BERTによるテキスト分類のチュートリアルを公開しました！・ライブドアニュースコーパスを対象とした9値分類・前処理+主要な評価指標の算出・実験結果の管理をモダンな記法・設計で実装しました。深層学習・NLP初学者の方をはじめ、色々な方の参考になれば嬉しいです！

GitHub - hppRC/bert-classification-tutorial: 【2023年版】BERTによるテキスト分類

【2023年版】BERTによるテキスト分類. Contribute to hppRC/bert-classification-tutorial development by creating an account on GitHub.

github.com

4

157

910

hpp

@hpp_ricecake

11 months

LLMをただの事前学習済み言語モデルとして扱い、微調整にLoRAを利用して、”普通の”テキスト分類を行う実装をGitHubで公開しました。 zero/few-shotではなく、BERTの[CLS]を使うように、普通に分類を文末トークンの埋め込みでやります。結果としてはかなり強かったです🤔

1

126

728

hpp

@hpp_ricecake

3 years

深層学習の学習待ちにおすすめのVSCode拡張を書く最推し: Error Lens エラーやwarningsがエディタ上にハイライトで表示されるようになるめちゃくちゃ便利

1

87

702

hpp

@hpp_ricecake

1 year

たった18時間で移管したのか…すげぇ…

1

172

605

hpp

@hpp_ricecake

2 years

ChatGPT、変数名とか考える時にマジで便利

1

79

562

hpp

@hpp_ricecake

5 years

世のエンジニアの平均がわからん、Twitterを見ている感じエンジニアなら誰でもコンパイラとOSを自作できて青コーダーでトップカンファに論文を通したことがある、という感じがする

1

134

492

hpp

@hpp_ricecake

4 years

AtCoderでRustを使う一億個の理由のうちの一つがこれ

4

84

457

hpp

@hpp_ricecake

3 years

2021夏のITエンジニアインターン情報が集まる魔法のスプレッドシートの管理を引き継ぎました、 @kaito_tateyama くんとの共同管理です👌 誰でも編集できるので、推し企業の情報などドシドシ追加して貰えると嬉しいです😘 過去のインターン体験記の欄もあるのでそちらもぜひ〜！

2023夏ITエンジニアインターン

2023 魔法のスプレッドシートはこちらのNotionに移行しました。はてブする B! ,

docs.google.com

1

116

410

hpp

@hpp_ricecake

1 year

#NLP2023 の「日本語Tokenizerの違いは下流タスク性能に影響を与えるか？」が非常に素晴らしかった tokenizerと辞書の組み合わせ18種類について **事前学習 + fine-tuning** を行い、日本語タスクによる網羅的な評価で形態素解析器の有無による性能差等を明らかにしている

4

99

410

hpp

@hpp_ricecake

4 years

名古屋大学大学院情報学研究科知能システム学専攻博士前期課程入学試験に合格しました！！！！！！！！！！！！！

31

10

393

hpp

@hpp_ricecake

3 years

GitHub Copilotを試してみた。せっかくなので大学院の課題について文章生成。見出しと各文の先頭の節「ナップサック問題とは」「これは、」「解法としては、」「今回は」「具体的な手順は、」「1, 2, …」… を入力し、その後ろをCopilotで補完した。課題やらせてもギリバレない気がするな…

0

70

353

hpp

@hpp_ricecake

2 years

ブログを書きました！先月人生で初めて現地参加した国際学会で、COVID-19に感染しちゃって色々あったぜ、というお話です。何かの参考になる方がいれば幸いです🙏

NAACL2022 & *SEM2022現地参加報告とアメリカでCOVID-19に感染した話

Personal blog

blog.hpprc.dev

0

120

324

hpp

@hpp_ricecake

2 years

学振DC1に採用内定しました、今後とも精進します！！！！

24

3

315

hpp

@hpp_ricecake

2 years

argparseの長年の問題を解決する最高ライブラリだ

モイスツ

@moisutsu

2 years

自作のクラスで定義するコマンドラインパーサーclassoptの紹介記事を公開しました🎉 argparseの代わりにこのライブラリを使うと、コマンドライン引数に補完を効かせながら、コーディングを行うことができます👍

1

44

228

0

62

311

hpp

@hpp_ricecake

3 years

人間の脳、パラメータが馬鹿みたいに多いだけで特に神秘的な何かはなかった説

1

33

300

hpp

@hpp_ricecake

3 years

「深層学習は人間の脳を模している」という人にTransformerのアーキテクチャを見せて「脳のどこらへんだと思います？」と聞いて回る仕事

3

41

292

hpp

@hpp_ricecake

1 year

注意機構の空間計算量問題がシレッと解決されて、系列長に対して線形に改善されてるのに驚いたのは俺なんだよね(PyTorch 2.0から使えるFlashAttention)

1

41

281

hpp

@hpp_ricecake

6 months

コーパス整備偉すぎるマジで

0

48

281

hpp

@hpp_ricecake

3 years

Pytorch Lightning, Hydra, Mlflow, Poetryを使った深層学習プロジェクトのテンプレを作りました、`poetry install`で一発でインスコできて便利 Mflowでログ確認、Hydraで複数の実験条件をお手��に試せますマルチGPU, 半精度浮動小数点数での訓練も引数変えるだけで動く

GitHub - hppRC/template-pytorch-lightning-hydra-mlflow-poetry: An easy to use ML template project...

An easy to use ML template project using Pytorch-Lightning, Hydra, Mlflow, and Poetry. - hppRC/template-pytorch-lightning-hydra-mlflow-poetry

github.com

1

36

275

hpp

@hpp_ricecake

7 months

大変面白い読み物でした取り組み内容もさることながらLoRAの解説が破格のわかりやすさだった(知らない参考文献がたくさん)

大規模言語モデルのFine-tuningによるドメイン知識獲得の検討 - Preferred Networks Research & Development

本記事は、2023年夏季インターンシッププログラムで勤務された竹田悠哉さんによる寄稿です。はじめに

tech.preferred.jp

0

22

260

hpp

@hpp_ricecake

2 years

jupyter notebookで実験回すの、プログラムを書くタイプの実験に慣れてない人ほどやめておいた方が良い、オブジェクトがいつ破棄されているかとかどのデータmutableでどういう処理が挟まったとか、そういうのを全て頭の中のsymbol tableに載せられるほど熟練してからやるべきだと思っている

1

33

257

hpp

@hpp_ricecake

6 months

複素数の絶対値を取るぜ、と論文に書いてあるが嘘で実装ではa + biについて|a| + |b|を取るぜ！っていう手法があって真顔になってる

2

32

250

hpp

@hpp_ricecake

2 years

出オチ感めっちゃ好き(ちゃんと全部説明される)

1

15

232

hpp

@hpp_ricecake

3 years

読んでる記事に"Accepted to arXiv."と書いてあり、迫力があった

0

34

228

hpp

@hpp_ricecake

4 years

授業料全額免除きちゃぁあああああ

3

2

220

hpp

@hpp_ricecake

3 years

Pythonコード10行くらいで簡単に性能上がるぜ！みたいな手法を見つけたので、論文の実装そのまま使ってみたら馬鹿みたいに性能下がって爆笑してる、バーカ！

1

13

218

hpp

@hpp_ricecake

2 years

書きました〜！ MeCabを並列に動作させることで巨大なテキストファイルの分かち書きを高速化したよという話です。約2GBのファイルに対して、並列に読み込み・分かち書き・書き込みをすることで、順に読み込んで分かち書きする場合と比較して7~8倍高速化しました！

続・MeCabの分かち書きを並列処理で高速化する

zenn.dev

2

39

220

hpp

@hpp_ricecake

2 years

神記事、助かりしかない

新しく日本語BERTのトークナイザを学習するときは limit_alphabet に気をつけよう

zenn.dev

0

18

219

hpp

@hpp_ricecake

2 years

おー！いつもPythonの自作パッケージのパスを通すのにsys.path.appendしていて、省略する自作のライブラリ()も作ったことがあるのだけど、Poetryを使ってるならこんな感じの文言をpyproject.tomlに書いてpoetry installをするだけでパスを通せるのがわかった！便利！

2

21

216

hpp

@hpp_ricecake

2 years

こういうデータセット、権利など研究用に公開するのにめちゃくちゃハードルがあっただろうに、それを乗り越えて広く使えるようにしてくれるの本当にありがたいな… そんなメルカリの方の講演が10/28にあるので要チェックだ(not 回し者)(他の方の講演も最高に楽しそう)

言語処理技術セミナー

本セミナーは終了しました。たくさんのご参加ありがとうございました。

sites.google.com

0

45

213

hpp

@hpp_ricecake

1 year

今のところ東北大BERT-large v2が一番強い(煩雑な前処理不要だしみんな使うといいと思う)

hpp

@hpp_ricecake

1 year

東北大BERT v3で日本語文埋め込みモデルの評価始めた、夕方くらいには少し結果出てそう

0

1

20

0

30

210

hpp

@hpp_ricecake

3 years

うおおおおおおおおおおおお！！！！！！！！！！(初 Accepted!!!!!!!!!!!!!!!!!!!!)

15

2

209

hpp

@hpp_ricecake

3 years

名古屋大学情報学部を無事卒業できることになりました、感謝！ 4月から名古屋大学大学院情報学研究科で自然言語処理の研究を続けます、よろしくお願いします🤲

5

0

196

hpp

@hpp_ricecake

4 years

豪華だ

0

67

191

hpp

@hpp_ricecake

2 years

みんなが全然知らなさそうだけどBERTの事前学習でやられてる大事そうなtips

1

16

194

hpp

@hpp_ricecake

3 years

もうGoogleは完全にTensorflowからJax/Flaxに行く流れっぽいな

1

19

188

hpp

@hpp_ricecake

11 months

諸々あって今夏はPFNさんでインターンさせていただくことになりました！東京にしばらく滞在しそうなので、お会いできそうな方がいたらよろしくお願いします🙏

5

2

189

hpp

@hpp_ricecake

3 years

重ねて、令和3年度JEES・ソフトバンクAI人材育成奨学金の奨学生に選ばれました(80,000円/月)。選んでいただいたからにはそれに恥じない貢献をしていきたいと思います、頑張ります💪

2

3

186

hpp

@hpp_ricecake

1 year

修了しました！！！！！！！！！！！！6年間対あり🙏 あと3年間対よろ！！

2

0

184

hpp

@hpp_ricecake

4 years

凄い褒められるなココ

0

15

183

hpp

@hpp_ricecake

2 years

大変光栄なことに、深層学習関連の高品質な解説記事を公開されているステート・オブ・AI・ガイドさんに、データを「箱」で表現するBox Embeddingの紹介記事を寄稿させていただきました。 Box Embedding関連の複数の論文のストーリーを意識してまとめました。ぜひご覧ください！(無料です！)

ステート・オブ・AI ガイド

@stateofai_ja

2 years

近年普及している単語埋め込み技術は、単語を「点」でしか表現できず、概念の広がり等を表現できません。本記事では、単語を「箱」として表現する最新・強力な埋め込み手法「Box Embedding」を基礎から解説しました。名古屋大学の塚越さん ( @hpp_ricecake )による執筆です

0

174

728

2

28

174

hpp

@hpp_ricecake

9 months

torch.compile(mode="max-autotune")、早くなりすぎで草

1

10

167

hpp

@hpp_ricecake

4 years

GitHub Actions、いつのまにかサーバレスコンピューティング目的でも使えるようになっていてビビった、最強じゃん

2

45

166

hpp

@hpp_ricecake

2 months

東工大のSwallow-MXを用いてWikipediaのテキストに基づく質問と回答を生成させたデータセット AutoWikiQA をHuggingFace上に公開しました！約240万事例と日本語QAデータセットの中でも最大規模かつ高多様性なデータセットですライセンスはCC BY-SA 4.0で商用利用可です！

cl-nagoya/auto-wiki-qa · Datasets at Hugging Face

huggingface.co

1

48

165

hpp

@hpp_ricecake

3 years

筆記がマジでギリギリだけどDBスペシャリスト合格した🤔

3

0

160

hpp

@hpp_ricecake

4 months

日本語Wikipediaの2024年1月のHTML dumpから抽出したテキストデータセットを公開しました、かなり綺麗で使いやすい気がしてます以下推しポイント・不要なマークアップなし・セクション・段落構造を保持・Wikiextractorによるテキストを併記・テンプレートタグを同梱

hpprc/jawiki · Datasets at Hugging Face

huggingface.co

2

29

163

hpp

@hpp_ricecake

3 years

自然言語処理のトップカンファレンスの一つであるACLの本会議に採択された論文を公開しました。定義文から単語を予測するだけで、結構いい文埋め込みモデルが得られるよという話です。タスクとアーキテクチャが結構シンプルで気に入っています。

Hayato Tsukagoshi

@hayato_tkgs

3 years

We (w/ @cacaho , Prof. Takeda) published our paper "DefSent: Sentence Embeddings using Definition Sentences" accepted at #ACL2021NLP main conference (short). We show that a simple "definition -> word" fine-tuning can yield a good sentence embedding model.

0

9

62

2

22

160

hpp

@hpp_ricecake

4 years

プログラミングを道具として見れちゃう人、普通にプログラミング楽しんでると愛着とか湧いちゃうと思うんだけど人の心無いのかな

3

24

150

hpp

@hpp_ricecake

5 years

その2000字くらいの説明は、勉強していれば10字くらいで説明できるんや…頼む…

0

56

142

hpp

@hpp_ricecake

2 months

本日行われた弊研究科の中間発表会で最優秀発表賞を2件いただきました、今後も精進します…！

1

3

145

hpp

@hpp_ricecake

3 years

なんだァ？てめェ......

1

5

138

hpp

@hpp_ricecake

3 years

名古屋大学情報学部を卒業しました、4月からは同大学大学院で自然言語処理の研究を続けます。今後ともどうぞよろしくお願いいたします🤲

3

2

142

hpp

@hpp_ricecake

4 months

Rye + uv最高すぎる、全てを過去にした

2

14

140

hpp

@hpp_ricecake

3 years

ご報告遅れましたが先月からメルカリさんでインターンお世話になっています、とても楽しくてすごいとなっています

1

139

hpp

@hpp_ricecake

2 years

誕生日です、24歳になりました 12の倍数でキリがいいです今後も頑張ります、どうぞよろしくお願いします！！

23

0

138

hpp

@hpp_ricecake

1 year

めっちゃ頑張ってLoRAの解説資料書いたから見て！！(初学者向けに分野の変遷も自分なりに書いてみたからコメントくれ！！！！)

Hayato Tsukagoshi

@hayato_tkgs

1 year

事前学習済みモデルに対し、ごく小さな低ランク行列のみを学習するだけでfine-tuningと同等性能を発揮できる手法 LoRA の論文解説資料を公開しました！ Transformer・BERTからChatGPTを含む深層学習を用いた自然言語処理の変遷についても紹介しています。ぜひご覧ください！

3

251

1K

0

11

133

hpp

@hpp_ricecake

8 months

本日よりPreferred Elementsの業務に関わることになりました、よろしくお願いいたします🙏(籍はPFNのままで業務内容がPFEに)

0

133

hpp

@hpp_ricecake

7 months

『ゼロから作るLLM』、存在してほしい(まずは資金調達してA100を1024枚買うところから)

0

13

130

hpp

@hpp_ricecake

2 years

既存ツールをRustで置き換えるの、Rustの勉強にもなるし、既存ツールの挙動を参考により良いものを作れる可能性が高いし、興味がある人もたくさんいるから持続可能性も高いし、元が遅い言語ならほぼ確実に早くなるしで、かなり進めやすく性質が良いプロジェクトに見える

0

13

129

hpp

@hpp_ricecake

3 years

青空文庫のテキストデータだけ欲しい人用に aozorabunko-extractor というツールを作った🎉 画像のように、テキスト部分のみを取り出して「。」を基準に改行区切りにしたり、文献ごとに二重改行区切りにしたりするなんらかの言語モデルを作る時に使うと便利だと思う

1

36

124

hpp

@hpp_ricecake

4 months

Accepted!!!!!!!!

1

123

hpp

@hpp_ricecake

3 years

SimCLRからBYOL, SimSiamまで触れられてて、さっと画像分野における表現学習の最近の手法を勉強できてよかった

自己教師あり学習の新しいアプローチ / SimSiam: Exploring Simple Siamese Representation Learning

■イベント：画像処理勉強会 https://sansan.connpass.com/event/195202/ ■登壇概要タイトル：自己教師あり学習の新しいアプローチ発表者：ソフトウェアエンジニア笹野泰正さん ▼Sansan R&D Twitter https://twitter.com/SansanRandD

speakerdeck.com

1

9

121

hpp

@hpp_ricecake

1 year

日本語敵対的自然言語推論データセットのJaNLIをHuggingFace Datasets上で利用できるようにしました！！かなり簡単に触れるようになっているので、さまざまな言語学的現象に基づく摂動に対する、日本語モデルの振る舞いを観察するのにとても適していると思います🙏

0

21

119

hpp

@hpp_ricecake

3 years

晴れて歳を取りました、今後もどうぞよろしくお願いします

31

0

121

hpp

@hpp_ricecake

5 years

ポートフォリオサイトできましたー！ Gatsby.js(Reactのblazing fast🔥な静的サイトジェネレータ)とTypeScriptで開発しました！WebGLでShaderを触ってて、Netlify CMSでブログも書ける🌝あとMDXも使えます🎃 デザインから設計・開発まで全部好き放題できて大満足！！見てね👴

2

16

116

hpp

@hpp_ricecake

4 years

わーい！！優勝しました！！！！！！！！快適なコンテスト環境やサポートなどありがとうございました＼＼\\٩( 'ω' )و //／／ #catechchallenge

10

118

hpp

@hpp_ricecake

2 years

2018年の研究にPython2使ってる人、一体何を考えているんだ

1

15

117

hpp

@hpp_ricecake

4 years

RustでTwitter APIを叩くいい感じのcrateがなかったので自作していた、Rust製のTwitter API bindings「Kuon」をリリースしました(すごくWIP) APIからのレスポンスの型付けやテストなどまだまだ書けていないので、是非PRください！！(やること多くて楽しいと思います)

1

30

113

hpp

@hpp_ricecake

6 months

Mixtralに対し日英対訳データセットでQLoRA tuning (SFT)を施した日⇔英翻訳モデル(のLoRA層)をHuggingFace上に公開しました。それと、訓練に利用したコードをGitHub上に公開しました。自前データ訓練の足掛かりにもなると思います、何卒...

GitHub - hppRC/llm-translator: Mixtral-based Ja-En (En-Ja) Translation model

Mixtral-based Ja-En (En-Ja) Translation model. Contribute to hppRC/llm-translator development by creating an account on GitHub.

github.com

hpp

@hpp_ricecake

6 months

Mixtralを小説の対訳データセット() でSFT的に翻訳タスクでQLoRA tuningしてみた日本語の生成がおっそいが普通に動いていそう(文章レベルで翻訳できててえらい)

2

4

32

1

26

111

hpp

@hpp_ricecake

1 year

京大のRoBERTaはめっちゃ性能高いよ(ボソッ)

3

7

111

hpp

@hpp_ricecake

2 years

tqdmについてはdynamic_ncols=Trueとtqdm.writeを覚えておけ

1

3

112

hpp

@hpp_ricecake

3 years

すごく参考になった、プロセスごとにprogress barを出したい時、データの前処理などなど多く存在するのでうまいやり方を知りたかった

Pythonでmultiprocessingを用いて並列実行するときに、プロセスそれぞれの進捗バーをtqdmで表示する - Qiita

概要Pythonでmultiprocessingを使って並列処理を実行するときに、それぞれのプロセス毎に進捗を表示したい時があるかと思います。そこで、tqdm を用いてプロセス毎にバーを表示して…

qiita.com

1

14

109

hpp

@hpp_ricecake

2 years

SimCSEの改善手法であるDiffCSEの解説と日本語で評価実験を行った結果について書かれた記事導入から評価手順の説明まで非常に丁寧で、とても勉強になった

BERTを用いた教師なし文表現の発展 - Retrieva TECH BLOG

こんにちは。レトリバの飯田(@HIROKIIIDA7)です。TSUNADE事業部研究チームのリーダーをしており、分類エンジンの開発・マネジメント、検索分野の研究、チームマネジメントを行っています。今回は、教師なしの文表現作成手法DiffCSEを紹介します。なお、日本語のより詳しい資料はこちらにありますので、合わせて参…

tech.retrieva.jp

0

22

108

hpp

@hpp_ricecake

3 years

今日からNTTのCS研で1ヶ月お世話になります、よろしくお願いします🤲

2

0

108

hpp

@hpp_ricecake

3 years

日本語GPT-2 (rinna/japanese-gpt2-medium)の単語埋め込みの可視化頻度順上位1000, 3000, 10000トークンをt-SNEで2次元に 4枚目は10000トークンの可視化のズーム画像なんだけど、結構びっくりな結果で、この画像だと数字が順番に並んでいるように見えるお前数字が読めるのか...？

2

16

106

hpp

@hpp_ricecake

2 years

アツい思いが伝わってきつつ、Poincaré Embeddingsの導入や良さが丁寧に解説されていて非常に良い記事だった

異空間への埋め込み！Poincare Embeddingsが拓く表現学習の新展開 - ABEJA Tech Blog

ABEJAでResearcherをさせていただいている白川です。本日ご紹介したいのは、Poincaré Embeddings [1]という手法です。その内容に驚愕し、個人的に調べたり実装したり勉強会でお話したりしていたところ、最近運良く自分の実装をredditで取り上げてもらえたので、これを機にその驚愕の内容を共有で…

tech-blog.abeja.asia

1

16

104

hpp

@hpp_ricecake

1 year

ステート・オブ・AIガイドさんに3本目の記事を寄稿させていただきました！！今回は長い系列を効率的に処理できる(Self-AttentionがO(N^2)なのに対してO(N log N))ことで話題になったS4の後続研究について紹介しました音声や画像処理などで特に使いやすいモデルだと思うのでぜひに〜！！

ステート・オブ・AI ガイド

@stateofai_ja

1 year

「次世代のトランスフォーマー」として有望視される S4。状態空間モデルに基づき、高性能・高効率に長い系列を処理できることで話題になりましたが、S4D、H3、SGConv など、その後続研究が続々と登場しています。本記事では、S4 の発展的な研究を厳選して解説しました。

0

65

359

0

13

102

hpp

@hpp_ricecake

6 months

Mambaの訓練レシピ、とりあえずこれ使っとけばええやろなヤツが集まっててえらい

1

7

102

hpp

@hpp_ricecake

6 months

突然ですが思い立ったのでワイのKeynoteのテーマファイル置いておきます参考スライドはこんなかんじ

[輪講資料] LoRA: Low-Rank Adaptation of Large Language Models

パラメータを固定した事前学習済みモデルに対して、ごく少数のパラメータからなる低ランク行列を導入・学習することで、モデル全体のfine-tuningと同等の性能を発揮できる手法であるLoRAと、その論文について解説した資料です。深層学習を用いた自然言語処理の歴史的な変遷と周辺技術から、LoRAが必要とされるに至った背景まで丁寧に解説します。

speakerdeck.com

0

10

101

hpp

@hpp_ricecake

4 years

これめっちゃ知見なんですけど、取り組んでるものにカッコいい名前をつけるとモチベ爆上がりします

0

21

93

hpp

@hpp_ricecake

11 months

ハイパラ��索&多様なデータセットでの評価をちゃんとやった結果早稲田RoBERTa-largeが一番強かった(東北大BERT-large v2との比較で考えるとやっぱJuman++をtokenizerに使ってるのがいいのかな)

hpp

@hpp_ricecake

1 year

今のところ東北大BERT-large v2が一番強い(煩雑な前処理不要だしみんな使うといいと思う)

0

30

210

1

12

97

hpp

@hpp_ricecake

3 months

東北大BERT-largeに対し、batch size 8192, 系列長 256で、日本語WikipediaやMMARCOといった弱教師データによる対照事前学習を行ったモデルであるshioriha-large-ptを公開しました。文埋め込みにおける日本語対照事前学習の事例はまだまだ少ないので、今後も頑張り��す！！

cl-nagoya/shioriha-large-pt · Hugging Face

huggingface.co

1

21

94

hpp

@hpp_ricecake

6 months

実はさらに嘘で |a + b| を取っているようでした、わけがわからない

1

11

94

hpp

@hpp_ricecake

2 years

Python 3.11、ゲキアツ！

1

25

93

hpp

@hpp_ricecake

2 years

入力系列長が数万に及ぶような長い系列を効率的に扱うことができる最近提案されたモデル S4の解説(松尾研の輪読会動画) S4の何が嬉しいのかなど、モチベーションや周辺知識が丁寧に説明されていてとてもよかった

【DL輪読会 #298 1/3】Efficiently Modeling Long Sequences with Structured...

■ 発表内容Efficiently Modeling Long Sequences with Structured State Spaces■ 発表者Naoki Nonaka■ 本勉強会についてDeep Learning技術は、他の分野では例を見ないスピードで世界的に研究が進められています。このような状況の下、...

www.youtube.com

0

6

90

hpp

@hpp_ricecake

9 months

社内コードベースでCUDA kernelとかZeROの改善実装がモリモリされてるの見れてクソおもろかったやつだ

0

10

90

hpp

@hpp_ricecake

1 year

修論発表終わったー！！！！！

4

0

90

hpp

@hpp_ricecake

5 years

わーい入水した！！！！！！！！！！！！！！！これからも頑張るぞ〜〜っっ hppさんのAtCoder Beginner Contest 142での成績：693位パフォーマンス：1494相当レーティング：1178→1216 (+38) :) Highestを更新し、4 級になりました！ #AtCoder