James Joyce tenía 22 años, estaba aburrido en casa de sus padres y lleno de problemas con su novia Nora Barnacle. Quería huir, perderse durante aquel verano de 1904. Estuvo en casas de familias de amigos, pero no se demoraba más que unos días pues sus horarios resultaban bastante incómodos. Por ese entonces Gogarty, un amigo suyo, le propuso que alquilaran una vivienda junto con otro conocido. Gogarty tenía en mente la Torre Martello, una de las dieciséis estructuras circulares que habían sido construidas en la costa de Sandycove para defender a Irlanda de la invasión Napoleónica. Gogarty veía en ello un símbolo de irreverencia en contra de las ideas religiosas del país y pensó que se convertiría en una especie de centro de culto pagano cuyo profeta sería Nietzsche. La voz alcanzó a regarse y los tres jóvenes llegaron a recibir visitas como la de Arthur Griffith, líder del naciente movimiento Sinn Féin.

Pero entre Gogarty, Trench y el turbado Joyce no pudo instalarse la camaradería. Eran conflictivos y arrogantes, y se tiraban unos a otros no sólo con la lengua; un día Trench, el tercer inquilino, quien aparece en la figura de Haynes en Ulises, se levanta dormido y hace unos disparos que van a dar cerca de la cama de Joyce. Gogarty, Malachi Mulligan, coge la pistola y dispara aún más cerca de la cabecera de su cama, dando en unas ollas que fueron a caer sobre la cabeza del joven Jim. Joyce se siente indeseado en la Torre Martello y se marcha al otro día.

Precisamente en esta torre comienza Ulises, con Mulligan acusando a Stephen Dedalus (James Joyce) de jesuita y luego culpándolo de la muerte de su propia madre por no arrodillarse ante ella cuando se lo suplicó en su lecho de muerte. Esto causa una pelea entre los dos y Dedalus sale a deambular por la ciudad, olvidando pedir la llave de la torre. Ahí comienza la tortuosa aventura para el lector.