Melanie Sclar @melaniesclar Twitter profile | Pikagi

Pikagi

Melanie Sclar

@melaniesclar

1,566

Followers

432

Following

25

Media

400

Statuses

PhD student @uwnlp @uwcse | Visiting Researcher @MetaAI FAIR | Prev. Lead ML Engineer @asapp , intern @LTIatCMU | 🇦🇷

Seattle, WA

https://t.co/u17yhbv1lZ

Joined January 2011

Don't wanna be here? Send us removal request.

Pinned Tweet

@melaniesclar

Melanie Sclar

5 months

Did you know that depending on the format used in few-shot prompting, you may get accuracies ranging 4%-88% for a given task w/LLaMA-2-70B 5-shot? or 47%-85% w/GPT3.5?🤯 We explore this variance in FormatSpread, or: How I learned to start worrying about prompt formatting. 1/n

Tweet media one

22

146

767

Last Seen Profiles

@CaneyCreekHS

@l1vingde4dboy

@Pierce_Brown

@Canal_Pais

@samkeeney23

@KittyCathooman

@JenAmundson

@moais_official

@HGobsmack

@FacuPfeiffer

@mikevolpe

@jandakembangstw

@GreysonRollman

@DjukeLtd

@weintrend_tv

@wasabiDGG

@hellpad

@stw_pdg

@Putracder

@BCGAMEBrasil

@oootirutra

@identity_go

@theholymosques

@Camlosoo

@wwwwod1

@IndyOreo

@deailt

@can19_12

@amettisyou

@ibubohay2

@azori95

@BrokenBulletz

@OKTurnpike

@OptaJoao

@Mo_Farah

@gen5tae

@melaniesclar

Melanie Sclar

4 years

Hoy despertamos con la excelente noticia de hoy sobre las medallas en la olimpíada mundial de matemática. Rápidamente se tiñó de apreciaciones sobre la meritocracia. Como ex competidora y entrenadora de participantes, no quería dejar pasarlo y contar mi experiencia. (1/n)

4

102

440

@melaniesclar

Melanie Sclar

3 years

@martintetaz @gothmugen @AleksaHaVuelto Las IA sí se programan. En general se define qué estructura va a tener el modelo (o cómo explorar entre ciertas estructuras), y la elección depende del problema. Esto determina qué puede aprender, y cuán bien puede generalizar con la data que le das. No piensan como personas!

2

21

403

@melaniesclar

Melanie Sclar

11 months

Stoked to receive an @aclmeeting #ACL2023NLP Outstanding Paper Award 🏆 for this work!!! Huge thanks to the reviewers and the best paper award committee for the recognition. We’ll present SymbolicToM at Wed 11am‘s poster session (Frontenac & Bay), and please reach out to chat!

Tweet media one

@melaniesclar

Melanie Sclar

1 year

LLMs lack robust theory of mind skills, but there are no diverse large-scale datasets for direct training. How can we overcome this? Meet SymbolicToM: a plug-and-play method to boost theory of mind reasoning in language models using explicit graphical representations!✨ #ACL2023

Tweet media one

6

48

199

9

20

279

@melaniesclar

Melanie Sclar

1 year

LLMs lack robust theory of mind skills, but there are no diverse large-scale datasets for direct training. How can we overcome this? Meet SymbolicToM: a plug-and-play method to boost theory of mind reasoning in language models using explicit graphical representations!✨ #ACL2023

Tweet media one

6

48

199

@melaniesclar

Melanie Sclar

3 years

@martintetaz @gothmugen @AleksaHaVuelto Hay investigación activa justamente porque los algoritmos tienen problemas (por eso es importante consultar especialistas, y no solo importar librerías). Sin contar el laburo de los programadores de infra alrededor de una IA, para que la IA sea útil a usuarios. No es magia!

2

8

181

@melaniesclar

Melanie Sclar

9 months

Now accepted as Spotlight at #NeurIPS2023 ! See you all in New Orleans 🎉

@nouhadziri

Nouha Dziri

1 year

🚀📢 GPT models have blown our minds with their astonishing capabilities. But, do they truly acquire the ability to perform reasoning tasks that humans find easy to execute? NO⛔️ We investigate the limits of Transformers *empirically* and *theoretically* on compositional tasks🔥

Tweet media one

36

339

1K

5

20

183

@melaniesclar

Melanie Sclar

4 years

¿Qué quiero decir con esto? Que sí, cada uno de estos seis chicos tiene un mérito individual increíble. Pero que detrás de estos logros hay un montón de gente que los ayudó técnicamente y que los apoyó. (6/n)

2

7

98

@melaniesclar

Melanie Sclar

1 year

🆕 Understanding transformers' limits on compositionality! We show compositional reasoning is highly correlated with having seen the same exact reasoning during training + give theoretical insights on autoregressive models’ inherent limitations on compositional tasks + more ✨

@nouhadziri

Nouha Dziri

1 year

🚀📢 GPT models have blown our minds with their astonishing capabilities. But, do they truly acquire the ability to perform reasoning tasks that humans find easy to execute? NO⛔️ We investigate the limits of Transformers *empirically* and *theoretically* on compositional tasks🔥

Tweet media one

36

339

1K

1

14

86

@melaniesclar

Melanie Sclar

4 years

Me gustaría aprovechar este momento de felicidad para recordar a toda la gente y las circunstancias (azarosas) que permiten llegar a este tipo de logros; y entender lo que podemos lograr desde las escuelas cuando dejamos de ver estas actividades como esfuerzos individuales. (n/n)

1

6

81

@melaniesclar

Melanie Sclar

3 years

Thanks @svrhm2020 for this recognition! We were the 2nd highest scoring paper, and I couldn't express anything but happiness last night. This GPU will certainly help us in further research, and we have already started thinking of ideas to put it to use :)

Tweet media one

6

8

80

@melaniesclar

Melanie Sclar

4 years

Lamentablemente, esto no siempre ocurre, y muchas veces los problemas no son únicamente económicos. A veces las escuelas ponen palos en la rueda y desalientan la vocación de los chicos -o algunos profes puntuales, que no son apropiadamente instruidos por las autoridades- (7/n).

1

4

73

@melaniesclar

Melanie Sclar

5 months

Happy to share that FormatSpread has been accepted to #ICLR2024 🎉 Extremely grateful to my advisors @YejinChoinka @tsvetshop (as always!), and to @alsuhr who was the best collaborator I could have asked for during this project! See you all in Vienna 😀

@melaniesclar

Melanie Sclar

5 months

Did you know that depending on the format used in few-shot prompting, you may get accuracies ranging 4%-88% for a given task w/LLaMA-2-70B 5-shot? or 47%-85% w/GPT3.5?🤯 We explore this variance in FormatSpread, or: How I learned to start worrying about prompt formatting. 1/n

Tweet media one

22

146

767

0

10

70

@melaniesclar

Melanie Sclar

5 months

We quantify the (often massive!) LLM sensitivity to a quintessential class of meaning-preserving prompt design choices: *plausible* prompt formats—i.e., formats non-adversarial users may choose. FormatSpread enables efficient exploration through a bandit-based approach. 2/n

Tweet media one

2

3

69

@melaniesclar

Melanie Sclar

4 years

Más allá de los temas económicos obvios, el interés que demuestre cada escuela y familia cambia muchísimo. Desde los profesores que invitan a los chicos a animarse, los directivos que justifican las faltas por competir, los padres que apoyan la vocación de sus hijos. (4/n)

2

3

63

@melaniesclar

Melanie Sclar

2 years

How can we create a sentence summarization model using only LLM-generated summaries as training data, and end up with a much smaller, better quality, controlled summarizer than the ones generated by the model we started with? This is what we tackle in Referee, @ #EMNLP2022 ! 1/n

Tweet media one

1

16

61

@melaniesclar

Melanie Sclar

7 months

Un desafío sobre emigrar que no me vi venir es tener que lidiar con la sensación que te queda cuando pasa algo shockeante en tu país, algo posiblemente trágico, y sin embargo en donde estás es un lunes cualquiera.

2

1

61

@melaniesclar

Melanie Sclar

4 years

Participar de las olimpíadas es muy placentero: me llevo los mejores recuerdos y amigos de esa etapa. Dicho esto, quienes se entrenan para obtener premios mundiales tienen la disciplina de cualquier atleta: se practica hasta en Enero, con felicidad y con constancia. (2/n)

1

4

55

@melaniesclar

Melanie Sclar

2 years

📣 Symmetric Machine Theory of Mind @ #ICML2022 📣 Check out SymmToM, a simple but challenging framework to study theory of mind behavior in multi-agent settings where all have the same physical+communicative abilities. Spotlight 7/20 5:35pm, Poster @6 :30pm ( #228 , Hall E). 1/n

Tweet media one

2

11

56

@melaniesclar

Melanie Sclar

4 years

Algunas escuelas con dinero contratan exolímpicos para enseñarle a los chicos a resolver este tipo de problemas, muchas veces desconocidos por los profes. Otras se comprometen a no pasar las faltas por competencias y a gestionar nuevas fechas de exámenes cuando corresponda.(5/n)

1

3

52

@melaniesclar

Melanie Sclar

4 years

Varios ex-participantes colaboran de forma gratuita en el entrenamiento del equipo argentino y como jurado de las competencias nacionales. Mucho antes de ser seleccionados para el mundial, el ambiente de cada chico es un factor determinante. (3/n)

1

3

51

@melaniesclar

Melanie Sclar

5 months

Formatting choices induce systematic biases in few-shot eval. We efficiently explore perf variance across them, estimating spread of 320 formats w/GPT3.5 with $10 per 1K dataset. See many more exps in the paper! Work w/ @YejinChoinka @tsvetshop @alsuhr ✨

Tweet card media

Quantifying Language Models' Sensitivity to Spurious Features...

As large language models (LLMs) are adopted as a fundamental component of language technologies, it is crucial to accurately characterize their performance. Because choices in prompt design can...

1

3

52

@melaniesclar

Melanie Sclar

4 years

Obvio que terminé de mandar el hilo y vi los typos. Cosas que pasan!

1

3

44

@melaniesclar

Melanie Sclar

3 years

Me acabo de subir al colectivo: el conductor es papá noel, está escuchando música a full y me regaló caramelos! El mejor viaje de Noche Buena jamás visto

0

0

42

@melaniesclar

Melanie Sclar

6 months

On my way to #NeurIPS2023 ✈️ I'll be presenting Faith and Fate (along with @GXiming and @nouhadziri ) on Dec 12th 08:45am, poster #421 . Please reach out if you'd like to chat 1:1! DMs open :)

1

0

42

@melaniesclar

Melanie Sclar

3 years

@theylikepink @trashbbyy @ContraPoints Hi! Argentinian here. When we write "latinx", we read "latine" out loud. Some people prefer to write the x to emphasize inclusivity when the plural already ends with an e (like in "estudiantes").

6

1

37

@melaniesclar

Melanie Sclar

3 years

Finding objects is essential for almost any daily-life visual task. I'm happy to be presenting cIBS, a Bayesian model for visual search in natural scenes. Come hear more about this work we did at @liaa_icc this Sat 16.45 EST, during @svrhm2020 at @NeurIPSConf .

2

12

38

@melaniesclar

Melanie Sclar

8 months

Check out FANToM, our new benchmark for Theory of Mind (ToM) in conversational settings! LLMs are far from having ToM skills, and even when they answer correctly, they do not have consistent responses across questions on the same conversation—even when fine-tuned on FANToM.

@hyunw__kim

Hyunwoo Kim

8 months

🤔Do you think GPT-4 has Theory of Mind? We give you FANToM👻, a new benchmark for stress-testing machine ToM in interactions while teasing out shallow heuristic cues. LLMs are not even close to having ToM. They all score near0️⃣, whereas humans score 90! 🧵

Tweet media one

11

82

296

0

2

30

@melaniesclar

Melanie Sclar

3 years

@RhyePhos @martintetaz @gothmugen @AleksaHaVuelto Creo que no entendí a qué vas. Los algoritmos que tenemos hoy en día son valiosísimos. Pero en ningún caso es programar una vez y dejarlos funcionando: hay revisiones porque la distribución de los datos cambia, porque algunos casos no se capturan bien, porque generaliza mal, etc.

1

0

29

@melaniesclar

Melanie Sclar

11 months

Are you at ICML? Come hear about SymbolicToM at @tom_icml2023 🧠: oral presentation 14:25 HST, poster session 12:30 HST! Thrilled to chat with everyone about all things theory of mind, DM me to chat 1:1!

@melaniesclar

Melanie Sclar

1 year

LLMs lack robust theory of mind skills, but there are no diverse large-scale datasets for direct training. How can we overcome this? Meet SymbolicToM: a plug-and-play method to boost theory of mind reasoning in language models using explicit graphical representations!✨ #ACL2023

Tweet media one

6

48

199

0

3

26

@melaniesclar

Melanie Sclar

6 months

@neuranna Glad to see so many voters saying no! In FormatSpread we show that changing just the prompt formatting can significantly alter accuracy on a given dataset. We argue that we should be reporting the *range* of model performance, and give a method to do so!

Tweet card media

Quantifying Language Models' Sensitivity to Spurious Features...

As large language models (LLMs) are adopted as a fundamental component of language technologies, it is crucial to accurately characterize their performance. Because choices in prompt design can...

3

2

25

@melaniesclar

Melanie Sclar

11 months

You *need* to apply to work with Sachin! Having him as a mentor during the past two years has been invaluable ❤️

@shocheen

Sachin Kumar

11 months

I will be recruiting Ph.D. students in the next academic cycle. If you are interested in working on all things NLP, please consider applying. Typing this as my flight to Toronto is about to take off, I will be at #ACL2023NLP starting tomorrow and happy to chat more there!

0

1

27

1

0

24

@melaniesclar

Melanie Sclar

4 years

Muchas felicitaciones a todo el equipo!!!! Nuestros seis participantes hicieron una excelente actuación. Argentina suma otra medalla de oro a su historia 🇦🇷. Y un gran aplauso para todo el equipo que los entrenó, aún en pandemia! @matiasIRL , Charly di Fiore, y compañía :)

@ch4rleston

Carlos Sarraute ⚡️

4 years

¡Esto debería ser tapa de todos los diarios! 🥇🥉🥉 El equipo argentino ganó una medalla de oro y dos medallas de bronce en la Olimpíada Internacional de Matemática 🙌 Felicitaciones Bruno Ziger, Matías Raimundez, Julián Cabrera y todo el equipo conducido por Martin Mereb 🙌

Tweet media one

174

2K

8K

0

4

20

@melaniesclar

Melanie Sclar

5 months

Formatting affects model comparison validity 😨 E.g. given that LLaMA-2-70B outperforms 13B by >=0.02 acc using format p, there’s a 14% chance that a format p’ would make 13B outperform 70B by >=0.02 acc. These acc differences are statistically significant in 76% of cases(!) 4/n

Tweet media one

1

0

19

@melaniesclar

Melanie Sclar

1 year

*Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker* has been accepted at #ACL2023 #ACL2023NLP ! Joint work with the wonderful @shocheen @PeterWestTM @alsuhr @YejinChoinka @tsvetshop 🌟 See you in Toronto!

Tweet card media

Minding Language Models' (Lack of) Theory of Mind: A...

Theory of Mind (ToM)$\unicode{x2014}$the ability to reason about the mental states of other people$\unicode{x2014}$is a key element of our social intelligence. Yet, despite their ever more...

1

3

21

@melaniesclar

Melanie Sclar

3 years

"En la historia grande de la ampliación de derechos solo se inscriben los que luchan. Y nosotras estamos luchando." Ley 27.610. Todavía no termino de creerlo 💚

0

0

20

@melaniesclar

Melanie Sclar

5 months

Performance variance across formats is often undesirable, as it may affect user experience (e.g. if users inadvertently choose formats poorly). Worryingly, we show that it also may seriously affect the validity of benchmark comparisons across models: 3/n

1

0

18

@melaniesclar

Melanie Sclar

5 months

FormatSpread works by sampling plausible formats equivalent to a user-provided one, and efficiently finds best and worst ones by viewing the problem as a multi-arm bandit & using Thompson Sampling. We guarantee prompt equivalence by defining a grammar of valid formats. 7/n

Tweet media one

1

0

18

@melaniesclar

Melanie Sclar

3 years

The video of the presentation is already up: Thanks again @svrhm2020 for the incredible workshop, for the invitation to give an oral presentation of our paper, and for the NVIDIA award! Until NeurIPS 2021!

Tweet media one

@melaniesclar

Melanie Sclar

3 years

Thanks @svrhm2020 for this recognition! We were the 2nd highest scoring paper, and I couldn't express anything but happiness last night. This GPU will certainly help us in further research, and we have already started thinking of ideas to put it to use :)

Tweet media one

6

8

80

0

8

17

@melaniesclar

Melanie Sclar

4 years

Hoy 3pm! Es una charla para todos, en especial para chicos de secundario (o universitario de otras carreras), profesores o maestros, padres de chicos, o cualquier persona que tenga ganas de desarrollar sus habilidades para resolver problemas. Los esperamos!!!

@Exactas_UBA

Exactas UBA

4 years

[MAÑANA] Vivo de #Computaci ón ➡️ "Resolver problemas: usando nuestra creatividad para mejorar lo que nos rodea" 👩🏽 A cargo de @melaniesclar . 🗓️ Miércoles 2 a las 15 h 📲 Vía YouTube:

Tweet media one

0

9

26

0

4

17

@melaniesclar

Melanie Sclar

2 years

@gneubig @ybisk We explore different methods to estimate knowledge and develop tests and metrics and test to evaluate different levels of theory of mind behavior, even beyond average agent reward. Paper: Code: n/n

Tweet media one

0

7

16

@melaniesclar

Melanie Sclar

5 months

Since fair comparison between models in few-shot settings is not solved just by reporting the prompt format used, we argue it's crucial to at least report the performance spread (diff between min and max perf.) across plausible formats. FormatSpread efficiently does this! 5/n

1

0

15

@melaniesclar

Melanie Sclar

4 years

Arrancamos en 10min! Voy a contar sobre un modelo que hicimos en @asapptech @asapparg para predecir en tiempo real qué texto conviene sugerir como continuación de un chat. Así, en vez de tipear la respuesta simplemente la cliqueás y ahorrás tiempo :)

@ch4rleston

Carlos Sarraute ⚡️

4 years

¡Se viene una nueva #DataCharlatans ! Charlan @federicobayle , @melaniesclar y Ernesto Mislej Moderan @arstrn , @carlosdiuk y @ideasrapidas No se la pierdan 🤓

Tweet media one

1

12

28

1

2

15

@melaniesclar

Melanie Sclar

2 years

@lucho2d7 @grumpygamer We're all thinking about the monkey wrench puzzle, aren't we? Impossible to get the reference when playing in Spanish, but it's an incredibly funny puzzle if you know the tool's name in English!

7

0

14

@melaniesclar

Melanie Sclar

4 years

Ya abrieron las inscripciones para la FemIT. El 8/8 a las 11:30 hablamos de modelos de búsqueda visual! Todas las personas son bienvenidas :)

@femitconf

FemIT Conf

4 years

👁‍🗨 Poder buscar objetos con la vista es clave en nuestra vida, pero aún no existen programas capaces de predecir el recorrido de la mirada a la perfección 🤖 👉🏽 @melaniesclar nos contará mucho más sobre estos modelos en #FemITConf2020 #FemITConf2020Charlas ✨ Conozcan a Melanie👇🏽

Tweet media one

0

17

34

0

1

13

@melaniesclar

Melanie Sclar

3 years

@lautyrace2 No todos los que viajamos en pandemia fuimos a vacacionar... En mi caso me cubrió los gastos una universidad de EEUU para investigar con ellos, era una oportunidad de laburo. Sabía que esto podía pasar y me la banco, pero no deja de molestarme el estereotipo del cheto en Miami.

1

0

12

@melaniesclar

Melanie Sclar

3 years

@ch4rleston @ComputacionUBA @Exactas_UBA Muchas gracias por compartirla!!! Es una charla para el público general, que me copa mucho porque trata sobre la resolución de problemas (y solo en la segunda mitad sobre algoritmia). Pero cómo estructurar el razonamiento sirve sepamos o no programar :)!

0

3

11

@melaniesclar

Melanie Sclar

2 years

I'm at #EMNLP2022 in Abu Dhabi until the 12th, please reach out if you'd like to chat! I'll also be presenting Referee (), Sat 9am @ Atrium. It's iterative symbolic knowledge distillation: don't blame us for the automated offside tech at @FIFAWorldCup !

Tweet card media

Referee: Reference-Free Sentence Summarization with Sharper...

We present Referee, a novel framework for sentence summarization that can be trained reference-free (i.e., requiring no gold summaries for supervision), while allowing direct control for...

0

1

11

@melaniesclar

Melanie Sclar

5 months

For GPT3.5 1-shot, 25% of 53 classification tasks analyzed with FormatSpread showed spread>=0.148; max=0.561. For LLaMA-70B 5-shot, 25% of tasks had spread >=0.310; max=0.841. We show sensitivity remains even when increasing model size, few-shots, or w/instruction tuning. 6/n

Tweet media one

1

0

11

@melaniesclar

Melanie Sclar

11 months

I wasn't aware of this, I just updated my settings! Truly a bummer right to have these changes happen right during ACL.

@NLPurr

NLPurr

11 months

If you keep your DMs open to everyone (as message requests), please note that twitter has changed the default option to requests from verified users only+people you follow. Make sure to shift it to the last option (if you did not keep it at the first option previously).

Tweet media one

0

4

13

0

1

11

@melaniesclar

Melanie Sclar

3 years

Muchísimas felicitaciones a este equipazo!!! Con este se suman diez campeonatos para la UBA desde que se empezó a entregar el premio en el 2000. Y muchas gracias a @Accenture_AR que hizo posible que los cuatro viajen a Moscú a representarnos 🇦🇷!

@ComputacionUBA

Computación, Exactas - UBA

@ComputacionUBA

3 years

¡Felicitamos al equipo "InChaVoLa" del Depto. de Computación de la FCEN-UBA por ser los campeones de Latinoamérica en la Competencia Mundial de Programación ICPC ( @ICPCNews )! En orden: Lautaro Lasorsa, Carlos Soto, el entrenador Agustín Gutierrez, e Ivo Pajor.

9

71

373

0

0

10

@melaniesclar

Melanie Sclar

1 year

No training needed: SymbolicToM divides the problem into subtasks, solving each with off-the-shelf models 🤖! Given a text, it builds graphical representations of each character’s belief states. It then answers questions by querying an LLM with sentences from the relevant graph.

Tweet media one

1

0

10

@melaniesclar

Melanie Sclar

3 years

@elisblack Consulta, de qué distrito sos? Me tocó hacer el aislamiento en CABA y no me tocaron nunca el timbre... Me llamaron al celu varias veces para ver si tenía síntomas pero nada más. Literalmente podría haber estado saliendo a la calle toda la semana y nadie lo habría notado!

3

0

9

@melaniesclar

Melanie Sclar

4 years

@ideasrapidas Felicitaciones!!! Me parece que voy a tener un nuevo curso para recomendar cuando preguntan cómo estudiar ML :) Morí con "mis amigues me dicen Dijkstra"

1

0

9

@melaniesclar

Melanie Sclar

2 years

"A python programmer's despair" might be too accurate

Tweet media one

@WilliamBarrHeld

Will Held

@WilliamBarrHeld

2 years

I have a strong argument for AI to be unilaterally banned (a model called me a "typical cryptocurrency nerd")

Tweet media one

5

0

31

0

0

9

@melaniesclar

Melanie Sclar

3 years

Joint work with @gastonbujia , Sebastián Vita, @gsolovey , and @JKamienkowski ! All from the University of Buenos Aires, Argentina. See the full schedule at , it's going to be a blast!

Tweet card media

The goal of the 4th Shared Visual Representations in Human and Machine Intelligence (SVRHM) workshop is to disseminate relevant, parallel findings in the fields of computational neuroscience,...

1

0

9

@melaniesclar

Melanie Sclar

4 years

El 8 de agosto, online!

@femitconf

FemIT Conf

4 years

👁‍🗨 Poder buscar objetos con la vista es clave en nuestra vida, pero aún no existen programas capaces de predecir el recorrido de la mirada a la perfección 🤖 👉🏽 @melaniesclar nos contará mucho más sobre estos modelos en #FemITConf2020 #FemITConf2020Charlas ✨ Conozcan a Melanie👇🏽

Tweet media one

0

17

34

0

0

7

@melaniesclar

Melanie Sclar

6 years

@GabrielEstrany @Krocita Gracias por tus palabras, Gaby!!! Desde casa es mucho más fácil que en vivo, y yo soy de ponerme muy nerviosa. La pasé genial igual y ojalá algún día tenga revancha :)!

2

0

8

@melaniesclar

Melanie Sclar

4 years

@_joaogui1 I totally sympathize with you as a fellow Latin American! It's hard to understand the cancellation when there's a Google office in Brazil. There has to be a way to work through contract issues and foster diversity! Google wasn't the only company with a similar policy either...

0

0

8

@melaniesclar

Melanie Sclar

3 years

Es claramente un tetraedro! Ahora solo falta ver cómo hacer que vuele uno de los participantes

@runixo

runixo

3 years

Tweet media one

85

5K

39K

1

0

8

@melaniesclar

Melanie Sclar

1 year

We also test SymbolicToM’s generalization capabilities with respect to story structure and linguistic diversity. While supervised methods heavily degrade in out-of-domain settings, SymbolicToM maintains performance gains, usually significantly outperforming supervised methods!

Tweet media one

1

2

8

@melaniesclar

Melanie Sclar

4 years

@SStolkiner Te felicito! Aprovecha para agradecer a tu contexto que te ayudó a lograrlo. En general ningún chico sabe que puede estudiar en EEUU. ORT es una excepción (escribí varias letters of rec cuando fui profe, los alumnos lo veían como una opción más).

1

0

7

@melaniesclar

Melanie Sclar

3 years

Podemos sacar del debate la definición de la palabra "interrupción"? Ya lo escuché muchísimas veces, y una simple googleada deja en claro que estos comentarios ni siquiera tienen sentido. #EsAhoraSenado

Tweet media one

0

1

7

@melaniesclar

Melanie Sclar

4 years

@Brunobian Solo hay una forma de averiguarlo: saliste a la puerta del edificio a mirar los balcones?

0

0

6

@melaniesclar

Melanie Sclar

2 years

I’ll be presenting Referee this Saturday 9am at #EMNLP2022 , at Poster Session 8 in the Atrium. Come chat then or reach out at any point during the conference!

0

0

6

@melaniesclar

Melanie Sclar

1 year

Using a single graphical representation is not enough for theory of mind reasoning: characters may have different beliefs about the current world state, reflected in different graphs. We build them with an inference-time graph algorithm that leverages off-the-shelf models!

1

1

6

@melaniesclar

Melanie Sclar

5 months

@omarsar0 Thank you!! It's great that we're increasingly taking notice of this phenomenon :) My favorite result is how the chosen format may be a confounder when claiming performance improvements between models, which we are mostly ignoring nowadays...

@melaniesclar

Melanie Sclar

5 months

Formatting affects model comparison validity 😨 E.g. given that LLaMA-2-70B outperforms 13B by >=0.02 acc using format p, there’s a 14% chance that a format p’ would make 13B outperform 70B by >=0.02 acc. These acc differences are statistically significant in 76% of cases(!) 4/n

Tweet media one

1

0

19

0

1

6

@melaniesclar

Melanie Sclar

1 year

SymbolicToM dramatically improves theory of mind reasoning performance: for example, we gain +65 accuracy points in the ToMi dataset when using SymbolicToM with GPT3-Davinci, with consistent gains across a myriad of LLMs! See the paper for more results 😀

Tweet media one

1

1

6

@melaniesclar

Melanie Sclar

5 months

@andersonbcdefg thank you so much! Code is here: For future reference, I left the link in the manuscript!

Tweet card media

GitHub - msclar/formatspread: Code accompanying "How I learned to start worrying about prompt...

Code accompanying "How I learned to start worrying about prompt formatting". - msclar/formatspread

1

1

7

@melaniesclar

Melanie Sclar

2 years

Primero anuncian la película de Los Simuladores y ahora VUELVE MONKEY ISLAND?! Es mucha emoción junta

@grumpygamer

Ron Gilbert - Not here anymore, on Mastodon now

2 years

A little something we've been working on for the past 2 years in complete secrecy.

2K

7K

28K

0

0

6

@melaniesclar

Melanie Sclar

3 years

@Mau_Albornoz @Brunobian Hay datos numéricos sobre el nivel de eficacia de la combinación? Pensé que se iban a publicar hoy junto con el anuncio pero no los encontré. Gracias!

2

0

5

@melaniesclar

Melanie Sclar

3 years

@danidiazxo Apoyo 100% que el estado cubra hormonas y abortos, pero no está bueno este ejemplo que se da tan a la ligera todo el tiempo. Los fumadores son adictos: el que no deja es porque no puede, o porque no es conciente de lo mal que se hace a sí mismo y sus seres queridos.

1

0

5

@melaniesclar

Melanie Sclar

4 years

@GonzaCoding Hay de todo! En general cuando contratan exparticipantes, ellos entrenan a los chicos y el profe de matemática se mantiene al margen. Hay profes copados que quieren aprender también, o que llevan problemas creativos al aula. @LauP24 trabaja para que esto suceda en todos lados!

1

0

4

@melaniesclar

Melanie Sclar

2 years

Joint work with the inspiring @PeterWestTM , @shocheen , Yulia Tsvetkov, and @YejinChoinka ! For more details on the method, metrics, and more, refer to: Code, models & data are available at:

Tweet card media

GitHub - msclar/referee

Contribute to msclar/referee development by creating an account on GitHub.

1

0

5

@melaniesclar

Melanie Sclar

4 years

@SStolkiner Todo esto sin hablar de lo azaroso del proceso. El que queda hizo mérito, pero no necesariamente más que el que no quedó. A veces la diferencia yace en contratar una asesoría (carísima!) para mejorar tu personal statement, entre otros truquillos.

0

0

4

@melaniesclar

Melanie Sclar

5 years

#HashCode competing from Buenos Aires, Argentina!

Tweet media one

1

0

3

@melaniesclar

Melanie Sclar

9 years

Los exolímpicos instalando el hashtag #ProvincialOMA2015 ! http://t.co/n1tuxk8Knv

Tweet media one

0

0

4

@melaniesclar

Melanie Sclar

4 years

@SStolkiner El TOEFL, el SAT y las app cuestan mucha plata. Y si no te dan 100% de beca? Sin contar que para llegar a una buena app, conviene tener actividades extra: competencias, talleres, etc. De esas que uno puede hacer cuando tiene tiempo libre y una comunidad que te propone hacerlas.

1

0

4

@melaniesclar

Melanie Sclar

3 years

@LEYANTISECTAS Hay que dejar de robar con las palabras "cuántico" y "transmutación" por dos años

0

0

4

@melaniesclar

Melanie Sclar

2 years

@gneubig @ybisk Communication occurs through a fixed set of symbols, each corresponding to an information piece. Imperfect hearing makes SymmToM partially observable, and requires agents to deduce interactions they did not witness to succeed. 5/n

1

0

4

@melaniesclar

Melanie Sclar

4 years

@arstrn Una de la que soy culpable: "epsilon" para referirse a "muy poco". Encima llega un momento donde lo internalizas tanto que lo terninás usando en contextos donde no va!

1

0

4

@melaniesclar

Melanie Sclar

2 years

Referee distills latent knowledge in pre-trained language models via sampling examples from the teacher models, then purifying with several filters: length, fidelity, and Information Bottleneck. Referee results in a more efficient, controllable model than what we start with. 3/n

Tweet media one

1

0

4

@melaniesclar

Melanie Sclar

2 years

@gneubig @ybisk SymmToM proves extremely hard *even for well-known multi-agent RL models tailored to the task*, making it a useful benchmark to develop and test new models. 6/n

1

0

4

@melaniesclar

Melanie Sclar

4 years

@claricechurros La foto es buenísima, pero hablando en serio, con doce años ya habías decidido hacer un curso de ingreso de un año e ir al colegio los sábados (si reconozco bien ese fondo). No tires abajo a tu yo del pasado!!!

0

0

4

@melaniesclar

Melanie Sclar

3 years

Un familiar tiene turno para vacunarse por COVID en Provincia de Buenos Aires el miércoles, pero recién se cumplen dos semanas de que se vacunó para la gripe el viernes. Alguien sabe si hay algo que pueda hacerse además de cancelar el turno? No veo un botón para posponerlo.

4

1

4

@melaniesclar

Melanie Sclar

4 years

@paulmarat Yo banco que algunas conferencias sigan siendo virtuales. La experiencia es peor, pero gracias a eso pude ir a ICML. Vamos a presentar en un workshop en NeurIPS y sería muy difícil viajar si fuera en Vancouver (a diferencia de grupos de por ejemplo EEUU).

1

0

3

@melaniesclar

Melanie Sclar

2 years

@gneubig @ybisk Previous work in machine theory of mind (the ability to understand others’ mental states and act upon them) mainly attempts to design agents that model the mental state of others as passive observers or in specific predefined roles, such as in speaker-listener scenarios. 3/n

1

0

3

@melaniesclar

Melanie Sclar

6 years

@bitstamp my credit card payment is being rejected, even though I have 3D secure. Already checked with my bank, they say they didn't receive any payment request from your end. What's the issue? Thanks!

1

0

3

@melaniesclar

Melanie Sclar

2 years

Referee is a framework for sentence summarization that works by iteratively generating and distilling knowledge into successively better models. It’s [Refer]ence fr[ee]—beginning by distilling from a large language model rather than human-produced data. 2/n

Tweet media one

1

0

3

@melaniesclar

Melanie Sclar

2 years

Joint work with the wonderful @gneubig and @ybisk ! Come chat at the poster session or feel free to reach out at any point during the conference :) More details below: 2/n

1

0

3

@melaniesclar

Melanie Sclar

2 years

Using Referee’s intermediate steps, we obtain a diverse sentence summarization dataset. We then use it to train a model–Referee-Control–that can simultaneously compress at any ratio by adding control codes. Human eval shows we outperform GPT3-Curie while being 16x smaller. 5/n

Tweet media one

1

0

3

@melaniesclar

Melanie Sclar

3 years

@megandfigueroa Is this usual in English speaking countries? I'm a native Spanish speaker and we never had an "English name" in class. We used our real name, no matter what it was!

1

0

3

@melaniesclar

Melanie Sclar

4 years

@delfiramirez10 @SilveradoSimon @edufeiok Participan chicos de escuelas privadas y de públicas. La mitad del equipo argentino de este año es de la escuela pública. Las dos medallas de bronce son del politécnico de Rosario (dependiente de la UNR) y una de las menciones es del Nacional Buenos Aires (dependiente de la UBA).

1

0

3

@melaniesclar

Melanie Sclar

2 years

@gneubig @ybisk In contrast, we propose to model machine theory of mind in a more general symmetric scenario. SymmToM is a fully symmetric multi-agent environment where all agents can see, hear, speak, and move, and are active players in a simple information-gathering game. 4/n

1

0

3

@melaniesclar

Melanie Sclar

3 years

@Brunobian Según lo que vi en el monitor público de vacunaci��n, CABA no tiene stock hace varios días. Reciben y las dan en el día, más que nada segundas dosis. Sería bueno que repartan proporcional a la demanda ahora que hay provincias con muchísimo stock sin usar!

0

0

3

@melaniesclar

Melanie Sclar

4 years

Felicitaciones a los tres!!! Qué bueno que haya entusiasmado el desafío :) Dejo link a la solución por si no están en discord y se quedaron con la intriga.

@asapplatam

ASAPP Latam

4 years

Ya tenemos a los ganadores del #CodingChallenge en la @pyconar 🥇 Primer Lugar : Sebastián Cherny 🥈🥉 Segundo y Tercer Lugar : Martín Ezequiel Fraga y Jonathan Seijo ¡Felicidades! ¿Cómo se resolvía el challenge? La respuesta la dejamos en el discord del evento

0

1

9

0

0

3

@melaniesclar

Melanie Sclar

3 years

@vickycharra @femitconf Muchas gracias Vicky!!! Grosa total :) y gracias FemIT por recordar la charla 2020! Espero ansiosa conocer a les oradores 2021!

0

0

3

@melaniesclar

Melanie Sclar

6 months

@ianchoPanza Una prima de mis primas se llama Rosario y vive en Rosario. Siempre me pregunté si los papás lo hicieron a propósito jajaja

1

0

3

@melaniesclar

Melanie Sclar

3 years

@ch4rleston @DataScienceArg @pgroisma @WillyDuran65 Cómo te enteraste del llamado? No me llegó por ningún lado, estoy re out! Hay más detalles sobre los requerimientos para los postulantes en algún lado? Así puedo saber mejor a quién insistirle!

1

0

3

@melaniesclar

Melanie Sclar

3 years

@ch4rleston @DataScienceArg @pgroisma @WillyDuran65 Excelente! Ahí mandé el anuncio a la lista del DC. Gracias por difundirlo!

0

0

3