"Pastel Memories" spielt in einer nahen Zukunft in Akihabara, einem Stadtteil Tokios, der einst als Zentrum für Otaku-Kultur bekannt war. In dieser Welt sind die Erinnerungen an Anime, Manga und Spiele jedoch fast vollständig verschwunden, da eine mysteriöse Krankheit namens "Otaku-Krankheit" die Menschen dazu gebracht hat, ihr Interesse an diesen Medien zu verlieren. Die Handlung dreht sich um eine Gruppe von Mädchen, die in einem kleinen Laden namens "Rabbit House" arbeiten, der sich auf den Verkauf von Merchandise aus vergangenen Otaku-Kulturen spezialisiert hat.

Die Protagonistinnen, darunter Izumi Tsubaki, Miu Amatsuki, Yuu Mashiro und andere, entdecken eines Tages, dass die Geschichten und Charaktere aus den alten Anime und Manga in ihrer Welt zu verschwinden drohen. Sie erfahren, dass dies durch die Aktivitäten einer Organisation namens "Adventure Delight" verursacht wird, die die Erinnerungen an diese Werke systematisch auslöscht. Um dies zu verhindern, beschließen die Mädchen, in die Welt der Geschichten einzutauchen, indem sie ein magisches Buch namens "Pastel Memories" verwenden. Dieses Buch ermöglicht es ihnen, in die verschiedenen fiktiven Welten einzutreten, die von den alten Anime und Manga inspiriert sind.

In jeder Episode reisen die Mädchen in eine andere Welt, die von einem bestimmten Genre oder Thema geprägt ist, wie beispielsweise Fantasy, Science-Fiction oder Mystery. Dort treffen sie auf Charaktere, die von den ursprünglichen Werken inspiriert sind, und müssen Herausforderungen bewältigen, um die Erinnerungen an diese Geschichten zu bewahren. Dabei kämpfen sie gegen die Kräfte von "Adventure Delight", die versuchen, die Welten zu zerstören und die Erinnerungen an die Geschichten auszulöschen.

Die Charaktere entwickeln sich im Laufe der Serie weiter, während sie lernen, zusammenzuarbeiten und ihre eigenen Stärken zu nutzen, um die Welten zu retten. Jede der Protagonistinnen hat eine eigene Persönlichkeit und Hintergrundgeschichte, die im Verlauf der Serie näher beleuchtet wird. Die Handlung verbindet Elemente des Abenteuers, der Fantasy und des Slice-of-Life, wobei der Fokus auf der Rettung der verlorenen Erinnerungen und der Bewahrung der Otaku-Kultur liegt.

"Pastel Memories" bietet eine Mischung aus humorvollen und emotionalen Momenten, während es gleichzeitig die Bedeutung von Geschichten und Erinnerungen in der modernen Gesellschaft thematisiert. Die Serie richtet sich an ein Publikum, das sich für die Otaku-Kultur interessiert, und bietet zahlreiche Anspielungen auf klassische Anime und Manga, die Fans dieser Medien erkennen und schätzen werden.