Odashi @odashi_t Twitter profile

Pinned Tweet

Odashi

@odashi_t

7 months

Pythonの関数を書いたらLaTeXのalgorithmicに変換してくれるサイトを作りました。論文にコピペするのに便利で、学生のときに作っておけばよかったと後悔しています。

6

512

2K

Last Seen Profiles

@midwesthallow

@stw_pdg

@KPNventures

@gateways_niece

@naokimarudesu1

@gisegi40

@Weedbrownii

@MatthewMilanoo

@sanyo_bus3715

@chenlese

@stw_pdg

@xdrmcrshrx

@AgentCo09259883

@jk_natereport

@MEETYOURART

@Flamme187

@TaylorSwitch64

@BikeIndex

@VmaniakJ

@CaroWozniacki

@MarshaWarfield

@0lWDDRtAKhsqwdf

@selouisbot

@DoctaDoMore

@FrankFlannery1

@theartofresell

@dcruz_flory

@sizarta22

@gamzapowercute

@PoetaDelTerror

@TwittosNewgate

@enmoire

@officialughha

@xRtW41zK9JKZbEz

@OmanFm1071

@devinab_1

Odashi

@odashi_t

1 year

おもちゃが手に入ったときの草の根活動は日本最強だと思うんですよね。事業化するのがとにかく下手

刈宮宥

@Callimiya

1 year

みんな、OpenAIのCEOに褒めてもらってるよ

44

3K

20K

3

944

7K

Odashi

@odashi_t

1 year

Twitterの推薦アルゴリズム、Elonを特別扱いするコードが実在してほんと草

4

1K

4K

Odashi

@odashi_t

11 months

Rate limit受けた状態で適当な返信欄を開くとTwitterが自前でDoS攻撃し始めるのかわいい。

2

942

2K

Odashi

@odashi_t

1 year

これは秘密なんですが、ChatGPTに確実に仕事してもらうよう書かれたpromptは、人間にとってもよい指示書になっています。

2

412

2K

Odashi

@odashi_t

1 year

これ半分くらい僕がG社やめた理由だった。大変気が強いので病むことはなかっただけでストーリーが酷似している。

自社開発メガベンチャーをわずか半年で鬱退職した雑魚エンジニアの話｜JoanOfArc

はじめに　当記事を開いてくださりありがとうございます。私は表題の通り、私は一般にメガベンチャーと呼ばれる自社開発企業で機械学習エンジニアとして勤務しはじめてからわずか半年で、鬱を発症し退職することになったものです。この会社は待遇も良く、社風としても労働者思いのとても素晴らしい会社であったと私自身振り返って思います。　そんな会社に運よく入社することができた私ですが、わずか半年で「鬱状態」と...

note.com

4

380

2K

Odashi

@odashi_t

4 months

TODO管理アプリ、それが使える人はアプリなくてもTODO管理でき、使えない人には用事がないというやつなので、アプリで作り出された需要という感じが強い

1

264

2K

Odashi

@odashi_t

23 days

英語圏の議論見てるとGPT-4 → GPT-4o でコード生成タスクが壊滅的に悪くなってるみたいなので、モダリティ追加して何かが犠牲になったらしい。

3

415

2K

Odashi

@odashi_t

7 months

GitHub、とにかくPull Requestの点数稼ぎでどうでもいい修正を送ってくる輩がいるのは何とかならないのか。今までに遭遇した最も酷いものは「READMEを良くした」と言ってPythonのライブラリのREADMEにヘビのemojiを追加してきたやつ。

2

150

1K

Odashi

@odashi_t

1 year

GPT-4の料金すごい高い気はするんですが、年収500万円の助教がいたとして、この人が1.5秒喋ると1円の人件費なんですね。こういう邪悪な比較は止めたほうが良さそうですね。

2

97

1K

Odashi

@odashi_t

1 year

リモートワーク前提で入社した人のパフォーマンスが上がらないの、まともなオンボーディングとドキュメンテーションがないからであるのが理由の大半を占めていると思う。

5

99

1K

Odashi

@odashi_t

1 year

「学術的な実績はないがAI研究者を名乗っているアカウント」という邪悪な名前のリストを運用したくなってきた。

3

159

1K

Odashi

@odashi_t

1 year

複雑怪奇なSQLを「これpandasで書いて」とGPT3.5に言ったら全部書き換えてくれたので仕事が終わった。

1

90

942

Odashi

@odashi_t

1 year

省庁がChatGPT導入するのが異様に早いわけですけど、単に技術が革新的だから、というだけではあの鈍重な組織がこうも素早く動くとは思えないので、他にどういう要因があれば刺さるのかをもうちょっと考察すべきだと思います。

8

99

937

Odashi

@odashi_t

1 year

これはJupyterが普及し出したあたりで結構顕在化していた。書いては実行するスタイル以外でコードを書けない学生やエンジニアがおり、よしんば動くコードが出来ても整合性を担保する（例えばテストを書く）能力がない。

開発室Graph

@stu3dio_graph

1 year

プログラミング身につける前にCopilotとかChatGPTがなくてほんとうによかったな。このコード書いてって言って出てきたの参考にして書き始めるとまったく理解してなくてもなんか書けちゃう。これなんかプログラミングできる気になっちゃって危険だなあ…

0

62

358

3

206

935

Odashi

@odashi_t

7 months

自然言語処理がこんな技術的に面白くない業界になるとは思わなかったよ

1

110

926

Odashi

@odashi_t

4 months

これは全員に思い出してほしいんですが、もう7年は前のDeepLのときほぼ同じ顛末を辿ってます。

今井翔太 / Shota Imai@えるエル

@ImAI_Eruel

4 months

ところで，予算も人員もOpenAIとは比較にならないレベルのGoogleが超本気&GPT-4のリーク情報なども加味した後出しジャンケン&GPT-4の発表から１年かけて，ようやくGPT-4と同等くらいだということを考えると，単純な力押しではなくデータの質とかが重要だという話も現実味を帯びてくる

4

98

693

2

123

910

Odashi

@odashi_t

1 year

G社はAI関係で自分がいたポジションを奪われそうになると顔真っ赤にする傾向がある気がする。Google翻訳 (DeepL)/TensorFlow v2 (PyTorch)/検索 (ChatGPT) と3回事件を見ている。前2件は最終的に相当のポジションを失っているので今回も同じ轍を踏む気がしている。

2

138

901

Odashi

@odashi_t

1 year

どちらも普通に誤情報を出力するので、元の回答を信じるのも「本当ですか」の結果を直接信じるのもやめましょう。というか、記述的な情報について外部の情報資源に接続していないLLMに問い合わせるのはやめましょう。

米村歩@日本一残業の少ないIT企業社長

@yonemura2006

1 year

ChatGPTは嘘をつくことがあります。僕が使う嘘を少しでも回避するコツはこれ。回答を一度もらった後にこれを言う。「本当ですか？」そうするとChatGPTが自らの発言を検証して正しい答えを教えてくれたりします。マジでおすすめの魔法の言葉なのでぜひ試してみてください。

26

424

2K

1

165

807

Odashi

@odashi_t

23 days

「OpenAIがどういう製品を発表するかでその後の研究計画が完全に変わることがあるのです」って端的に研究分野として終わってるので、もうちょっと製品依存じゃない部分に研究の軸足置いたほうがいいでしょ…

0

162

812

Odashi

@odashi_t

1 year

翻訳家が聞いたら怒りそう。翻訳はある種の創造性が試される業務で、訳書は基本的には原著者の作品の派生物であると同時に翻訳家の作品でもあります。

にゆん

@N_niyu

1 year

@abagskixyw "AI絵"に"なぜ勝手に他人の作品を学習させるのか"の話をしています。大半の、とか他のAIは、とかSiriは、自動翻訳は、とかの話はしていません。 Siriや自動翻訳と、絵などの人による『創作物』の違いがわからないのであれば、これ以上の会話は無駄だと思います。よろしくお願いします。

3

31

48

1

224

772

Odashi

@odashi_t

11 months

アカデミックな意味での専門家が一切おらんくて界隈の断絶みがある。

木内翔大＠SHIFT AI代表「日本をAI先進国に」𝕏

@shota7180

11 months

【日本をAI先進国に】遂に、国内最大級のAI活用コミュニティ『SHIFT AI』をリリースします！日本のAI普及率を本気でぶち上げていくために、AI情報が日本一集まる場所を創ります。 AI活用情報が日本で一番集まるコミュニティ ✅AI専門家による講義 ✅業種別、テーマ別の生のAIケーススタディ講義…

529

285

3K

1

108

757

Odashi

@odashi_t

4 months

「LLMクソつまんねえ」と言っている学生が多くて、この大学院は健全だと思いました。

1

57

723

Odashi

@odashi_t

2 months

しばらく在宅メインで仕事やって思ったが、在宅勤務100%は自分の個人的な幸福度が極めて低い。人に会いたいとかそういうのではなく、単に運動が減り、同じ場所にずっといるので気が滅入ってくる。自主的にトレーニングできるほど意識が高くないので尚更で、出勤による強制歩行イベントがちょうどよい。

1

115

689

Odashi

@odashi_t

4 months

普通では。知識ゼロからスタートして、何か作りたくていきなりGitやコンテナ勉強することはまずなさそう

フルスタックLinuxプログラミング

@xileng4

4 months

ここ最近エンジニア志望の学生さんと話す機会が何回かあったんだけど、みんなNext.jsならPythonなりでポートフォリオ作っていて、なんなら競プロとかで精進してたり、アルゴリズムとかコンピュータサイエンスも少し勉強していますって人が多いから、プログラミングスキルはあるんだろうなっていうのは…

18

115

814

2

65

678

Odashi

@odashi_t

1 year

これは秘密なんですが、プロンプトエンジニアに数千万円払ってゴニョゴニョしてもらうよりも、数百万円で少量の高品質アノテーションを用意して、簡単なモデルで機械学習した方が大体うまく行きます。

1

65

663

Odashi

@odashi_t

1 year

投資業界にいた人と話していた。スタートアップが実施する施策で特に悪いシグナルとして働くものがあって、それは何かというと「自社主催のカンファレンスを開くこと」だそうだ。詳細は覚えていない（ことにしておく）が、これをやった会社は警戒して見るらしい。

2

101

650

Odashi

@odashi_t

1 year

国内でのLLMの用途がほぼchatbotに限定されているのだが、かなり強い違和感がある。海外の案件だと特定のタスクを雑に解かせるツールとしての使用を要求される（例えば具体的な仕様を与えた下でソースコードを生成する等）のだが、そういうものは日本の市場ではあまり視野にないようだ。

1

101

639

Odashi

@odashi_t

1 year

スクレイピングの防止が技術的に不可能なのは「根性のある人間が丸一日かけるとイラスト1万枚くらい選別できる」とか考えるとよく分かると思います。

3

99

636

Odashi

@odashi_t

7 months

プロンプトインジェクション防止策がいくら入っていても普通に質問攻めにすると設定全部教えてくれるの巻

2

105

634

Odashi

@odashi_t

1 year

NHKの記事ちゃんとオチが付いてるじゃないですか。

1

85

618

Odashi

@odashi_t

6 months

この正答率の感覚を持つのはとても重要で、むしろ正答率だと勘違いを誘発する可能性があるので、本質的には同じ値だがエラー率（1-正答率）の方が尺度として優れていることもある。

mirium

@numatakeja

6 months

東大松尾研が開発に関わったChatGPTによる自治体のゴミ出し案内botが頓挫とのこと。正答率94.1%は一見高そうに見えるが20回に1回間違えると言えば使い物にならないのがわかる。回答の正確性が必要な場面では現行の生成AIは役に立たない。さてでは何の役に立つんだろうな？

31

657

2K

1

103

624

Odashi

@odashi_t

1 year

これ以上はここでは書かない。というか最近のGPTで既存の仕事を煽りまくってるTLにかなり辟易しています。GPTがそういう職業の敵になるかどうかはともかく、そういうのを煽る人は明確に敵だと思っています。

1

88

599

Odashi

@odashi_t

4 months

「AIで儲かる新規事業が難しい」じゃなくて、手段から入る（問題の解決を目的としない）任意の新規事業が難しいということだと思うんですがね

0

84

600

Odashi

@odashi_t

4 months

オフィスの方が生産性が高い「人もいる」リモートの方が生産性が高い「人もいる」という簡単なことなのに誰も理解していない感ある。

2

77

575

Odashi

@odashi_t

1 year

あるいは「草の根がやることを事業化するなんて『風情がない』」とか思われていたりしないかしら。

1

35

553

Odashi

@odashi_t

1 year

「オープンAIはチャットGPTをオープンソースとして公開している」すごい。知らなかった。

AIに脅かされる「個人」　情報を断ち切る規制必要　政治季評：朝日新聞デジタル

■政治季評　重田園江さん　3月末ごろから、ものすごい勢いでChatGPT（チャットGPT）に関する記事やニュースが現れた。現状では、チャットGPTにできなくて人間にできることは何か、うまく共存するには…

www.asahi.com

6

85

565

Odashi

@odashi_t

1 year

ストックオプションは「入社時付与」「会社都合で権利の取消ができない」の2点が満たされていなければ、どれだけ枚数があっても価値ゼロと考えて問題ない。入社前に書面を確認して、そういう条件でない会社には入社しないのが大切だと思います。そもそも書面すら出さない会社は論外。

1

61

564

Odashi

@odashi_t

4 months

Q「なぜ日本から世界に通用するソフトウェアが出てこないのでしょうか」 A「あなたが日本語圏の情報しか調べていないからだと思います」

1

41

558

Odashi

@odashi_t

5 months

リファクタリングをプロジェクトとしてやったことありますけど、知見としてはリファクタリングをプロジェクトとしてやってはいけない、コードの品質で本当に困っていても、全てを諦めてそのまま運用し、仮に十分な工数が取れるなら品質の知見を活かして作り直したほうがよい、というのが得られました。

3

64

558

Odashi

@odashi_t

4 months

一昨日Googleに用事があって中でランチしてたんですが、自分が「Geminiどうなん」と聞くと、目の前の人物は溜息を吐くだけであった。

5

42

532

Odashi

@odashi_t

1 year

いわゆるエンジニアのムーブは割と簡単に人をぶっ壊してしまうのを何度か経験しており（これは周囲で起こった事件もあるし、自分が反省すべき事件もある）、基本的にはメンタルやられる人がでればゲームオーバーなので、可能な限り妥協を探る形の行動を心がけるようにはなりました。

1

63

526

Odashi

@odashi_t

1 year

Pythonが初心者向けっていうのは嘘で、環境構築で無限に躓くのでむしろ玄人向けだと思う。僕は初心者なのでシステムのPythonをそのまま使い、環境が壊れたと思ったらシステムごと捨てることにしています。

1

68

522

Odashi

@odashi_t

5 months

日本企業がbig techから3000~4000万円くらいで人材を引っこ抜く場合、引っこ抜く側は相当な業務のハンドリング能力を期待するだろうけど、引っこ抜かれる側は単なる平社員であった可能性が高くそんな能力は持っていない、というのは普通にある気がする。

2

58

490

Odashi

@odashi_t

4 months

某社が去年5月に生成AIに5億円ぶち込むというリリースして、特に目立った成果がなく、中の人間に聞いても5億円がどこに消えたのか知らないとか返ってくるのでさすがにアレすぎる

0

84

473

Odashi

@odashi_t

1 year

チームにアサインされたばかりの人からリファクタリング要求が来たら警戒するのはそれはそう。その上で具体的な問題が何なのか一回話してみる必要があるのだろう、と判断するのが正しくて、頭ごなしに「その必要はない」は本当にただのクソ野郎

2

43

467

Odashi

@odashi_t

11 months

某G社、コードが綺麗でもなければ式年遷宮でもなく、気がついたら誰かが次の宮を作って乗り換えろと叫んでいる感じだった

1

48

466

Odashi

@odashi_t

1 year

インターンで半年フルタイムで働いて「このチームは大丈夫」だと思って入社したところ、入社するまでの間にチームの空気が悪化しててめっちゃ人がやめてく段階に入ってた（見てる範囲でL6が3人いなくなった）のでやめることにした、というのがG社在籍時の前半に起こったこと

2

20

456

Odashi

@odashi_t

4 months

生成AIは駄目で機械翻訳はOKな人がたまにいるけど、現代の実用的な機械翻訳は基本的に生成AIの上に実装されている（というか生成AIのアルゴリズムは元々機械翻訳のために開発されたものである）ので、まあダブスタなのはそうじゃないですか。

1

94

449

Odashi

@odashi_t

1 year

競プロをGPTで解かせてた人の「自分の能力を超える問題は解けない」が割と本質だと思っている。

0

70

425

Odashi

@odashi_t

1 year

Q「プログラミングは手段だと言う人と、手段ではなく芸術だと言う人のどちらがより正しいですか」 A「仕事を終らせる人が正しいです」

0

87

425

Odashi

@odashi_t

1 year

「pull requestでやれ」という感想だけ得られた。 Gitのコミットメッセージをしっかり書こうという話 #Git

1

46

420

Odashi

@odashi_t

8 months

機械翻訳は既に取下げできないレベルで普及してしまっただけで、社会的な構図としては最近のイラスト界隈と全く同じ、というか先行事例です。利害の対立する翻訳家の一部からはガチで嫌われていたり、何年も前から排除運動があったりします。

banshee(おおかみ)

@higan_wafu

10 months

「google翻訳を利用しているんだから生成AIも受け入れなきゃいけない生成AIを拒絶するなら先にgoogle翻訳にも文句言わなきゃいけない」理論にはどう返せばいいんだろう？販売してるかどうかとかだろうか

6

21

1

95

421

Odashi

@odashi_t

1 year

勘のいい人は気付いていると思いますが、普通にこういうことをしています。chatgptのスクリーンショットなんて信じては駄目ですね。

0

80

408

Odashi

@odashi_t

1 year

自然言語の命令でChatGPTの出力をどうにかするよりもfew-shotで具体例を書いてしまう（＝chatbotではなく従来のLLMの使い方をする）方が遥かに強力な出力制御が可能であり、世の中に出回っている命令系promptは実際ほとんど不要である。

0

64

412

Odashi

@odashi_t

1 year

OpenAIが純粋にLLMの性能だけで優位に立てるのはせいぜい向こう1,2年くらいの話じゃないですかね。その後はOSSも含めて各社が似たような性能のモデルを揃えてくるだろうし、最終的にはプラットフォームの利便性にお金を払ってもらうビジネスモデルしか成立しなくなりますよ。

2

43

393

Odashi

@odashi_t

1 year

ちょい古いけど、何もかも間違っている例を発見してしまった

深津貴之 / THE GUILD

@fladdict

1 year

AIを用いた「普遍的な善やイデアの数学的な演算」というものの仮説が、だいたいできたのだけど、機械学習とか自然言語処理詳しい人、この辺の理解が間違ってないか教えてほしいっす。 GPTとかでまず、「善」や「悪」の行為のサンプルを100万個とか作って（続く）。

16

191

934

1

53

389

Odashi

@odashi_t

1 year

あっこれいいですね。chatbotの出力を使用するかどうかのレベルで責任をユーザ側にうまく転嫁している。

PC Watch

@pc_watch

1 year

【お知らせ】一部の長めの記事について、ChatGPTを使った「記事の要約表示」機能を試験運用開始しました。本文内にある「AIでこの記事を要約する」ボタンを押すとご覧いただけます。

4

326

551

1

48

394

Odashi

@odashi_t

1 year

GPTでPythonの関数を合成してPythonで実行しています。ちょっと恐ろしい

3

66

391

Odashi

@odashi_t

1 year

AI人材マインドとか一切いらないので、学部レベルの線形代数と統計と微積分と英語とそれなりのプログラミング能力を身に着けてほしい。

0

56

381

Odashi

@odashi_t

4 months

「いい大人がSlackでビックリマーク付けて敵意ないアピール」はそれくらい方言の一種だと思って許せよ…と思うけど、あまりにも謙りすぎて慇懃無礼の域に達している人も珍しくないので、もうちょっと率直なテキストコミュニケーションを推奨する文化になってほしいとは思ってます。

1

36

380

Odashi

@odashi_t

8 months

（これらのCTOがいる会社大丈夫かな…）

してゆう

@siteyuu

8 months

生成AIについて、CTOやってる人などと話すと・人が一からコード書くのはあと3ヶ月〜数年くらいまでだろう（期間は幅がある。中央値は半年くらい）と、もう、共通認識のようになっている印象（Web・アプリケーション業界の話）数ヶ月前はそうでもなかった…

30

387

2K

2

38

363

Odashi

@odashi_t

1 year

こういう全方位に喧嘩を売る発言をいい加減にやめてはどうか。ご自身の活動にも利益はないでしょう。

あるふ

@alfredplpl

1 year

今の私はChatGPTやtext-to-image、text-to-videoにより、以下の仕事が専門家並みに可能です。・医者(特に精神科医・弁護士・弁理士・税理士・作家・写真家・イラストレーター・アニメーター・映画監督・ソフトウェアエンジニア他もちろん、想像の範囲なので試してみないとわかりませんが。

6

116

806

1

32

362

Odashi

@odashi_t

1 year

コーディングしかできない人は��フトウェアエンジニアではない、っていうのはずっと昔から言われてることだと思っていた。一方で上流工程しか分からない人もソフトウェアエンジニアではない。

2

42

362

Odashi

@odashi_t

1 year

情報系も技官ポストが少ないのが深刻で、周辺のソフトウェア開発を若手研究者が片手間にやっていたりするだが、そもそも自分で全て開発するのが当然といった風潮があるので問題が見えにくかったりする。そして研究者はソフトウェアエンジニアリングのプロではないので出来上がるものがしばしば滅茶苦茶

1

49

358

Odashi

@odashi_t

3 months

だいぶユーザに失礼な記事だった。

UIの色を変えただけで大量のクレームを頂戴してしまった話｜のなと

Webプロダクト開発をしていると様々な諸事情によりUI構成を変えたり機能を増やしたり��らしたりすることが多々あると思います。そんな時に避けられない事態として「UI変更に対するお怒りがユーザーからわんさか届いてしまう」ということがあります。今回はUI上の１要素の色を変えただけで虎の尾を盛大に踏んでしまった事件の話をしようと思います。差し当たりどういうUIをどう変えたのかを明示しておきます。変え...

note.com

1

43

358

Odashi

@odashi_t

1 year

社内表彰は出来レースになりがちで、上司に気に入られた人間とか異常なハードワーカーみたいな典型的な"モデルケース"が存在しやすい。

1

25

348

Odashi

@odashi_t

1 year

「検察の論告・求刑のあとに被告人側の最終弁論・陳述」「そのままの順番で入力すると（中略）全部無罪」「論告・求刑を後にしてみたんですが、今度は全部有罪」 ChatGPTというか言語モデルの一般的な傾向だからね。

「何やっても無罪しか出ない…」ChatGPT模擬裁判、企画の東大生がピンチ直面　開廷日は5月13日 - 弁護士ドットコムニュース

AI技術が急速に進む中、東京大学の学園祭「五月祭」で5月13日、ChatGPTを裁判官とした模擬裁判が開かれる。東大生×AI法廷というバズワードのかけ算で、取材依頼も殺到しているという注目企画。はたして、機械に人...

www.bengo4.com

1

51

348

Odashi

@odashi_t

4 months

データ以前の問題として他者の商標等を標榜して無断で何かを販売しているので損害賠償請求できるやつ

微生物X㌠

@p18015487

4 months

@kanenooto7248 Vtuberや声優、歌手の声がAIユーザーに無断学習されて販売マネタイズまでされてるのを見つけました

13

2K

1

70

346

Odashi

@odashi_t

7 months

「プライベートの時間を削って学習するより、仕事で必要になったタイミングで仕事の時間を使って一気にキャッチアップする方が頭に入りやすく、学習効率が良い」これは本当にそう

「Real World HTTP」著者・渋川よしき氏が「最新情報は追わない」と断言する理由

「Real World HTTP」「実用Go言語」など名著の著者でエンジニアの渋川よしきさんは「最新情報は追っていないから、Twitterがこうなっても困っていない」とのこと。その理由や、普段集めている情報についてお話を聞きました。

levtech.jp

0

38

347

Odashi

@odashi_t

1 year

プロンプトエンジニアリングで「コード書くより祈る時間が増えた」と言ってる人がいるけど、以前翻訳モデル1個作るのに2週間くらい祈り続けるのを無数に繰り返していたのを思い出すと、プロンプトエンジニアリングはトライアル・アンド・エラーが効くのでお祈りのうちに入らない。

1

24

337

Odashi

@odashi_t

2 months

研究所「大規模言語モデル作るます」僕「ｵｯｼなんか面白い研究するで」今日僕「LLMの実験用に用意したクラウドのストレージが速度アレだったので自前で100TBの高速ストレージ構築します」

1

22

336

Odashi

@odashi_t

1 year

学生のときに多言語翻訳モデルを相当数試していて「どういう設定で書いても全部うまくいかない」と研究室の進捗報告で結論していたんですが、その後自分が試したものとは文字通り"桁"の違うパラメータ数のモデルが出てきて普通に動いているので、多分生まれる時代を5年くらい間違えたんだと思う。

2

23

336

Odashi

@odashi_t

6 months

情報源が3つになったんですが、G社JapanのTranslateチームは消滅したらしいですね。ニュース系の部門に吸収されたらしい。

0

51

333

Odashi

@odashi_t

2 months

「『クラウド人材』とはクラウド技術やクラウドサービスを設計・実装・運用する提供側の人材を意味するという。（中略）外資系クラウドを活用したり、彼らの認定資格を取得したりすることではない」これいいな。汎用性がある。

IPAの登氏に聞く、「分散型クラウド基盤ソフトを作れるクラウド人材育成」

IPA産業サイバーセキュリティセンターサイバー技術研究室の登大遊室長は分散型クラウドコンピューティング時代の到来を予測し、分散型クラウド基盤ソフトウェアを作れるクラウド人材の育成を説く。

japan.zdnet.com

0

92

335

Odashi

@odashi_t

1 year

LLMの学習に100億円突っ込むのとするじゃろ、それと同じ予算で年俸1500万円くらいのエンジニアとか研究者を100人5年間雇えるのじゃ。

1

33

325

Odashi

@odashi_t

11 months

Transformer論文は最初読んだときジャンク判定したのだけど（理由：その構造である必然性が何も書かれていないため）、その後は皆さんが知っている通りだし、NLPやってたから研究の価値が分かる的なやつはだいぶ眉唾じゃないですかね。後出しジャンケンはいつでも勝ちですよ。

2

46

326

Odashi

@odashi_t

6 months

数年かけて丹精込めて開発したMLモデルがLLM+zero-shotに勝てず、しかもLLM+zero-shotの方が実用的に安価だった場合、各自がどういう反応を取るかは性格によるとしか言えなさそう。自分は何万行書いていようが多分一瞬で全部捨てると思う（何万行の方が管理が面倒いので）

1

44

323

Odashi

@odashi_t

1 year

ところでプロンプトで「結果のみを表示してください」は性能を下げる主な要因になり得るので、やめた方がよい。LM単体には具体的なワーキングメモリがないので、入力を処理した結果を覚えようにもトークンに対応する中間状態しか使えない。

1

38

317

Odashi

@odashi_t

1 year

別の職場で惜しまれて退職した人が転職後にモンスターあるいはジャーク呼ばわりされるのを見たことがある。社員が問題を起こしているようにに見えるのは果たして社員自身が原因なのか会社や部門の体質なのか蓋開けてみないと分からないので、一方の視点から叩くのは本当にやめたほうがいいです。

0

24

315

Odashi

@odashi_t

11 months

「近年〇〇が注目されている」の一文で始まった時点でもう論文のモチベーションとして駄目まであるけど、自分の初国際は今見たらそんな感じの書き出しだった。

1

11

309

Odashi

@odashi_t

1 year

マイクロソフトは基本どの時代でも「うまくやる」企業で、今回も他が凋落する中うまくやっている、という印象がある。

1

20

308

Odashi

@odashi_t

5 months

これOpenAIに飼い慣らされていると分からないですが、おかしいのはOpenAIのtokenizerの方で、最初からCJK含む多言語前提でtokenizer構築すればこれくらいになります。

猩々博士🧪💻 研究開発系V & AITuber開発休止中

@Mega_Gorilla_

6 months

Gemini お前、932 Charactersで500Tokenって、、お前のTokenどうなってるんだ？！ OpenAIなら、同じ文字列で、1000トークン越えだぞ。。つまりmax8192token 使うと、OpenAIToken換算で約16258tokens。 GPT4 Turboが4095。 GPT4が8191。 GPT3.5 16kで、16384。 Geminiお前まじか。。。