На 11 юни 1920 г., малко след изгрев слънце, Елуел е прострелян в главата от автоматичен пистолет .45 в заключената си къща в Ню Йорк. Същата сутрин икономката Мари Ларсен пристигна както обикновено в елегантния апартамент на Елуел. Този път обаче тя се изправи пред зловеща гледка, която за момент я шокира.
Тя бързо възкликна, че в апартамента на мистър Елуел има непознат и че той е мъртъв. При по-нататъшна проверка беше открито, че непознатият е Джо Елуел, само че без дизайнерските си перуки и блестящите зъбни протези, които той използва, за да подобри външния си вид на публични места.
Смята се, че Елуел е бил прострелян в главата, но самоубийството не е вероятно обяснение. В стаята нямаше следа от оръжието, но оръжието на убийството изглежда е стреляно на разстояние 1–2 метра (3–5 фута).
Местопрестъпление
Полицаите били стъписвани от местопрестъплението. На местопрестъплението не е открит пистолет, но куршумът, който го е убил, е намерен спретнато поставен на маса. Възможно е куршумът да е рикоширал от стената и върху масата, но поставянето изглеждаше нагласено. Патронът на куршума лежеше на земята.
Убиецът беше клекнал пред Елуел, когато натисна спусъка, за да може да види ъгъла на раната. Нищо не е откраднато и на мястото не са намерени чужди отпечатъци. Нямаше следи от борба или насилствено влизане в къщата. Всичко беше заключено, включително стаята и къщата.
Елуел трябва да е познавал убиеца си и свободно да го е допуснал в къщата. Той седна и не обърна внимание на посетител, докато отваряше пощата си. Разговарял ли е приятелски с госта си, докато вършеше тази светска задача? Нямаше индикация за престъплението в писмата или на земята.
Улики?
Предишната вечер Елуел вечеря с Виола Краус, наскоро разведена жена, в хотел „Риц-Карлтън“. Елуел е бил романтично обвързан с много жени, включително Краус. Хелън Дерби, която се омъжва за Елуел през 1904 г., го представя на своите приятели и познати с добри връзки.
Въпреки че Елуел стана милионер от игрите на бридж, съпругата му му помогна да установи връзки с нейните приятели и познати с добри връзки. Двамата се развеждат през 1920 г. Въпреки че Дерби първоначално е била основен заподозрян, нейното алиби е херметично и тя не е замесена в смъртта на бившия си съпруг.
Според окръжния прокурор Едуард Суон, Елуел е разговарял в апартамента си точно преди да бъде застрелян и затова вероятно е познавал убиеца си. Единствената цел на убиеца била да го убие. Няма откраднати ценности. Всъщност около трупа на Елуел бяха разхвърляни ценности.
Въпреки че всички доказателства бяха събрани от разследващите, те така и не успяха да установят кой е застрелял Джо Елуел и случаят остава неразгадана мистерия.