却说那些在声势煊赫的源氏的羽蔽下生活的女子，一直也算过得称心如意，逍遥快活。源氏也因此落得清闲安乐。只有那个玉鬟小姐，因被意外所烦扰，以至于心绪纷乱，与这为义父的相处得十分尴尬。她知道，外人对他们的父女关系早已确信不疑，这样的丑事是万万不可随意声张的，况且源氏的声誉及为人，又是那可恶的大夫监远远赶不上的，因此她只能把这事隐忍在心里，暗自悲伤。源氏虽然心中爱恋玉鬟，但也担心流言飞语，所以从不在人前提起，因此心中也十分悲伤。他经常去探望玉鬟，一有机会就向她表白。玉鬟已经到了晓事的年纪，对源氏的行为不免有些懊恼，但又不好严厉拒绝，所以只一味佯装不知，处处小心提防，这也让源氏十分难堪。
此前，兵部卿亲王就听说玉鬟端庄娴雅，人见人爱，便满怀真挚地写信去向她求婚。谁知却一直没有回音，于是心中非常焦躁。现在正是五月，按风俗本月不宜嫁娶。但兵部卿亲王却已无法忍耐，依旧写信给玉鬟道：“万望与小姐相见，诉尽相思之苦。”源氏看了来信，便对玉鬟道：“你为什么要拒绝他呢，这是件美事呀。像这样的人向你求爱，你得经常给他回信，千万不能漠然置之。”然后，他就想教她怎样作答，可玉鬟确实满心的嫌恶，于是借口没心情，不肯回信。
这玉鬟身边的侍女，原本没有什么高贵或者才华出众的人。只有一个人稍微有些才能，因为她的母亲是伯父宰相的女儿，因此被称作宰相君。后来家道中落，才来六条院做了侍女。这女子人品不错，书法也很好，玉鬟一直都是让她来代笔回信的。这时，源氏把宰相君叫到跟前，口述内容，让她代玉鬟回信。源氏这般的安排，也许是有意窥探兵部卿亲王与玉鬟的感情发展。而事实上，玉鬟并不喜欢这些求爱的来信，她只是为了免去源氏的纠缠，所以多少用了些心思去启阅兵部卿亲王那缠绵悱恻的情书，心里却并不欢喜。
源氏以窥探他人的私情取乐，闲着没事，便擅自做主，写信约了兵部卿亲王前来。那兵部卿亲王接到回信，自然是欣喜异常，立马前来赴约。源氏先在房间里悄悄藏了一个香炉，让室内香味弥漫，又把客坐的蒲团放在边门房中，与主人仅隔一帷屏，距离很近。兵部卿亲王到了之后，宰相君被派出来代小姐应答。谁知她见了兵部卿亲王，竟然害羞得呆住了，一时也答不出话来。源氏便从帷屏后面伸出手来，拧了她一下，斥道：“怎么怕成这样!”那宰相君顿时娇痴起来，显得更加狼狈了。
快到傍晚的时候，天色渐渐暗了下来，兵部卿亲王依旧沉静地坐着，表现得俊逸闲适。内室忽然飘来一阵幽香，混着源氏的衣香，越发芬芳袭人。兵部卿亲王心下想道：“玉鬟的容貌一定是美到无法想象了吧。”于是心中的爱慕之情便更加炽烈了，然后他又向宰相君坦言了倾慕之情，夸她字如其人。他这样的举动合乎情理，并不像冒失贪色的人，神情也与寻常人不一样。源氏就在一旁饶有兴味地偷听着。而玉鬟此刻正躺在东厢房的**。
宰相君轻轻走进房内，向源氏转达了亲王的情意。源氏便让她转告小姐：“这样接待客人，太沉闷了，万事应该随机应变才对。你已经长大了，怎么还能有所回避而让侍女传话呢？就算不想亲口答话，也用不着这样疏远。”这番劝诫的话语，又增加了玉鬟的不快，但她又担心源氏趁机闯进房来，于是索性溜了出去，一直来到正厅与厢房之间的帷屏旁边，躺了下来。
玉鬟安静地听着兵部卿亲王的娓娓倾诉，却始终不发一言，弄得他很失望。这时，源氏悄然溜近了她身旁，忽地把帷屏下端撩起。突然，四围就星星点点地亮了起来，玉鬟大吃一惊，以为帏屏被蜡烛点着了，却不想是源氏在作弄她。原来源氏在黄昏的时候网罗了许多萤火虫，为免泄漏了光亮，就一直藏在身边。此刻见机会来了，便假装拉整帷帘，突然把萤火虫放出来。昏暗当中，萤光闪烁，玉鬟被吓得连忙举起扇子遮住脸，那侧影异常美丽。其实源氏这样戏弄玉鬟，是别有用心的。兵部卿亲王虽然热切地追求着玉鬟，却只知道她是源氏的女儿，而不知道她究竟有多美。源氏此刻突然在昏黑屋内放出光明，便可让他一窥玉鬟的芳容。这也让玉鬟十分气恼。假如她是源氏的亲生女儿，他一定不会这样做，这样的用心实在是无聊之极。而源氏将萤火虫放出后，就由另一扇门溜回府邸去了。
坐在外面的兵部卿亲王从玉鬟的举止推测，自己与她的距离很近，并不是事先预想的那么远，不由得有些兴奋。于是，他借着微光，从帷屏隙缝间向里面窥探，发现自己和玉鬟相隔不过一个房间的距离。虽然他只是隐约窥得玉鬟的婀娜身姿，却已经心驰神**，永生难忘了，遂赠诗道：“流萤无声清光明，
我情如火炽热焚。望能体察我的一片痴心。”
玉鬟心想，在这种情况下，如果一再考虑，迟迟不答，不免有失体面，应该尽快答才是。便答道：“流萤无声蒙火烧，
有苦难言受煎熬。”她草草作了答复，让宰相君传出，就独自回到内室去了。兵部卿亲王见她这样冷淡，十分惆怅。他又想到，如果逗留得太久，就真的是好色之徒了，于是告辞离去。那时，已是夜深鼓漏，房檐前滴淋着雨水，打湿了他的襟袖，这情形正像是子规啼血，好不凄凉。
第二天，侍女们都称赞源氏对玉鬟的照顾周到得似父亲一般，完全不知道他这样做是别有用心。侍女们也在称赞兵部卿亲王的仪容优美，说他酷似源氏大臣。玉鬟见源氏为她的婚事操劳，也心生感激，她暗自思忖：“这就是自己的命苦，如果是找到了生父，以常人的身份接受源氏的爱情，也没什么不好。如今这种情况，确实是无可奈何啊。”而源氏为了不让她受委屈，也不敢胡作非为，只是习惯不太好而已。即便是对那秋好皇后，他也不见得是纯粹的父爱，一抓住机会，就会生起那不良用心。他只是碍于秋好皇后的身份尊贵，不易高攀，才一直把感情隐于心中，独自苦恼。而玉鬟性情温婉，样貌俊俏，让他常常无法抑制恋慕之情，而生出些越界的想法，幸好他能立刻省悟，才有所收敛。
源氏一会儿劝玉鬟亲近卿亲王，一会儿又劝玉鬟疏远他。到了端午，源氏要到六条院东北的马场殿去，便顺路去探视了玉鬟。他对玉鬟道：“你觉得兵部卿亲王怎么样？听说他常常脾气暴躁，夜不归宿，你应该对他若即若离，不要过分亲近才好。这世间的男子，大多是多愁善感，这样只会令对方伤心。”他说话时的神态很潇洒。他穿着华丽的锦袍，外面随意罩了件薄质长礼服，显得异常高贵清丽。衣服上的花纹与平日并没有区别，可是今天看起来特别新颖，感觉连衣服都格外馨香。玉鬟心道：“如果没有那件让人烦恼的事，这人也称得上是俊美可爱!”就在这时，兵部卿亲王的人送来一封信。薄薄的信纸是白色的，笔迹虽清晰优美，看似饱含深意，却经不住咀嚼。“菖蒲遇端阳，
淹没深水滨。
寂寞无人采，
根末垂泣音。”这信被系在一枝极长的菖蒲根上，让人过目难忘。源氏告诉玉鬟道：“今天这封信，须要你亲自答复。”说完就离开了。侍女们端来笔砚，也劝小姐回复。玉鬟好像也正有此意，便提笔答诗道：“菖蒲须根溪下哭，
深浅未明难辨分。
根端一朝脱泥出，
始见根本不甚深。”这诗用淡墨写成，兵部卿亲王看了，有些遗憾，心道：“要是再多些风情，那才叫好呢。”
端午这天，玉鬟收到了许多式样别致的香荷包，十分欢喜，前些日子的痛苦也已烟消云散。这时，她不禁又想道：“我只希望太政大臣不再对我心怀他念，我也可以安然度日了。”
这天，近卫府官员想到马场去练习骑射。源氏便去了东院探望花散里，他对花散里道：“近卫府官员要在马场里练习骑射，夕雾也会带几个男子到这里来，他们白天就会到，你得早点做好准备。不过有些奇怪的是，我这里的事从来没有张扬，这些亲王却都能够知晓，而且还前来拜访，这事算是闹大了，我们得留心才是。”然后，又吩咐侍女们：“大家把门窗打开，一起观赏骑射竞赛吧。今天来着竞赛的是左近卫府的漂亮官员们，相貌一点不比寻常殿上人差呢!”侍女们听了源氏的话，都兴致勃勃地等候起来。玉鬟那边的女童，也有的过来观赏。
一时间，廊房门口挂起了许多油绿的帘子，添设了许多上淡下浓的彩色帷屏。女童和女仆们进进出出，接踵而至，十分热闹。有四个像是玉鬟身边的女童，都穿着紫红薄绸汗衫，内衬蓝面深红里子衫，样子非常伶俐可爱。穿深红色夹衫外罩红面蓝里汗衣衫的是花散里的侍女，都显得端庄稳重。女仆们也都穿上了端午节的盛装，有得穿着上淡下浓的紫色夏衣，有得身穿暗红面蓝里的中国服，个个争奇斗艳，美丽动人，惹得那批年轻的殿上人频频回顾。
。
这次的骑射竞赛，花样繁多且新颖。方式也和朝廷行事不一样。马场很宽阔，一直通向紫姫的南院。紫姫那边的侍女，也都出来争先观赏。近卫府中将、少将等人都参加了竞赛。源氏在未时的时候抵达马场殿，这时，众人早已经到齐了。其实侍女们对骑射方面的事不是很了解，倒是对近侍那光鲜的服饰和竞争胜负的姿态很感兴趣。这时，乐队奏起了《打球乐》和《纳苏利》，为参赛者助威。决定胜负之际，更是钟鼓齐鸣，阵势煞是威风。竞赛一直进行到天完全黑下来，才结束。参赛的近侍们按各自的等级接受了奖赏，一直到了深夜，才一一散去。
当晚，源氏留宿在花散里那里，和她聊了聊天。他对花散里道：“兵部卿亲王虽然样貌平平，但人格高雅，为人风流倜傥，比别的亲王好多了，大家都在赞美他呢。你见过他吗？你觉得他有没有缺点？”花散里道：“他是你的弟弟，看起来却好像比你年长些。我以前在宫中见过他一面，已经很久没见过他了。听说最近他常到这里来，交往得很密，他的相貌倒是比以前更加俊美了。他弟弟帅亲王也美丽，但品格却不如他好，有些像皇上的脾气。”源氏听了花散里的话，觉得她眼力很好。但他只是微笑，并不再继续审评他人的美丑。因为在他看来，揭人短处，本身就是无知妄为的表现，而且有失身份。而对于那个髭黑大将，他虽然知道他品性雅致，并且被世人所称赞，但他仍然觉得他不够资格做女婿，所以从没有提起。
再说花散里，她禀性懦弱，万事得过且过，实在配不上源氏。所以到了现在，源氏与她已没有以往那么亲密了，更没有**之欢。源氏也时常为此痛苦不堪，但也从不强人所难。这么多年来，花散里就一直自闭在居室里，就连春秋游宴那些事，她也只是从别人口中听一下而并不参与。这次难得有这样的盛会在她院中举行，她自然感到无上荣耀，遂吟道：“菖蒲味虽苦，
幼驹莫要尝。
喜逢瑞阳天，
出谷浴阳光。”诗虽然不怎么样，但音调听起来还算委婉，源氏也由此心生怜爱，便回道：“君似绿菖蒲，
我如水菰身。
苍老赴溪滨，
永伴翠萍中。”这两首诗，都是肺腑之言。源氏说完便笑道：“你我虽然不是经常见面，也没有**之欢，竟然也能这样闲谈，真是舒畅啊。”那晚，花散里把寝台让给源氏，自己则在帷屏外歇息。
接连几天都是梅雨霏霏，六条院里的女人们颇感无聊，便赏玩起了诗画。明石姫擅长绘画，于是画了一些差人送到紫姫那边给小女公子赏玩。玉鬟在乡野长大，的确有些孤陋寡闻，如今看了明石姫的这些画，自然是惊叹不已，于是整天忙着阅读描摹。
玉鬟也渐渐读了一些书，她觉得书中的女子虽然也是命运多舛，但却没有一个人像自己这样命苦。她觉得书中的住吉姫，生前一定美貌无双，而那个妄图霸占她的主计头，正像是可恶的筑紫的大夫监，而自己则是住吉姫的真实写照!
一天，源氏闲着四处闲逛，看到到处散布着这些书，十分惊讶。有一日，他就对玉鬟道：“这些故事，大多是杜撰，你明知道那不是真的，还这般执迷，你们这些女子真是喜欢受骗。下雨的日子里，专心作画倒是好的，但是你这头发蓬乱不事梳理，就是不识大体了。”说完，便自己笑了起来，又道：“不过寂寞无聊的时候，看看这些书也不是不可以，而且这些故事也算凄婉曲折，也有些趣味，能够动人心弦。拿这来消遣，也怪不得你。只是另外有些故事，写得十分夸张离奇，荒诞不稽，让人看了心惊胆战，而且只要静下来一想，就会觉得毫无道理，完全是无稽之谈，也或许真有其事。最近我那边的侍女也常常给那些小姑娘讲这些故事。我在一旁听了，也惊叹这世间竟然还有这么会编故事的人。”玉鬟道：“是呀，就是像你这样善于杜撰的人，才这样说呢。而我是个愚笨的人，对那些都深信不疑呢。”说完便推开砚台。源氏忙道：“你就当我说瞎话吧。事实上，那些故事也有记述真情的，比如神代以来的《日本记》，就记述了详尽的凡事奇俗呢。”他也止不住地又笑了起来，又道：“古书上记载的，虽然不是历史事实，但也是世间的真人真事。作者自己体会到那些真情实感后，犹觉不快，于是就想讲给别人听，所以才执笔记录，从此流传开来，就成了小说。如果作者想讲善，就会着力表现那些善事；要是想记录恶，就会大书恶事。不过，作者记录的都是真实的，并不是胡编乱造的。事实上，一个人的觉悟与烦恼，就正如小说中的善与恶。所以世上的一切事情，从善的角度来看，并不全是子虚乌有，毫无益处的。此外，同是小说，中国与日本的也有分别。即便都是日本小说，古代与今代也大不相同。内容各有深浅，各有所偏，不可凭空胡乱解释。在佛经教义当中，也有所谓的方便之道。愚昧的人对此迷惑不解，其实《方等经》中有很多这样的例子。仔细研究它的原旨，其实是大同小异的。”源氏说得兴起，极力赞扬了小说的功德，然后话锋一转，对听得云里雾里的玉鬟道：“话又说回来，小说中有没有像我这样痴狂不悟的人，还不一定呢!恐怕也没有像你这样假装无知、孤僻无情的女人吧？不过这样也好，我正好可以用这个来做素材，写一部史无前例的小说来流传万世吧!”说完，他便向玉鬟挨过身来。玉鬟默然低头，过了一会儿才道：“这事早就已经盛传于世了，还写什么小说啊？”源氏只道：“你也觉得我这样的人少有么？像你这样态度的女人，也是绝无仅有的呢。”说完，便靠在橱壁上，潇洒自得地吟诗道：“愁苦忧心寻旧例，
古来未有忘宗女。有违父母，也是佛之大戒啊!”
玉鬟只默默地低下头，不再出声。源氏便趁机抚摸她的秀发，肆无忌惮地抒发着无限怨情。玉鬟终于又开口道：“我亦寻遍古来事，
从未寻见此亲心。”源氏一听，顿时觉得羞愧难当，尴尬不已。
源氏在恋爱方面，算得上是经验丰富，世所罕见。但对那明石小女公子，却是严加管教，呵护备至。他曾告诫紫姫：“在小女公子面前，一定不能阅读色情故事。她年幼虽小，不能分辨故事中那些风情女子，但如果不从小严加管教，将来就会惹出大祸的。”他这一番情真意切的告诫，渗透了无限父女亲情，要是被玉鬟听到，她一定会自恨命薄吧。
然而紫姫却以小女公子喜读为借口，常常自己看得爱不释手。她非常喜欢《野物语》中的画页。她看着画中的小姑娘若有所思地躺着，便想起了自己年幼时的情形。源氏便对她道：“那么小的年纪，就已经有这样的情怀。那我的耐心，实在可称得上是世人典范了。”紫姫道：“故事中有些轻薄的女子，忸怩做作，一味模仿别人，真是粗俗可笑。只有《空穗物语》中藤原君之女，看起来率直稳重，谨慎细致。不过她也过于偏颇，和男子没什么两样，实在不可取。”源氏道：“这样的女子，不仅古书里有，现在这世上也有。她们自诩品行端正，和常人不一样，难道就真的不懂人生的乐趣么？现在的父母教养女儿，只想着让她受到世人的赞誉，却压抑了孩子烂漫无邪的天性，真是遗憾!要知道有的女子，年幼时被人称赞，长大后的言行举止却不乏可指责的地方。所以千万不要让那些浅陋的人来赞誉你的女儿。”此外，书中还有许多描写后母虐待儿女的故事，然人心中生厌，也不适合小女公子看。源氏便亲自严格挑选故事，命人重新誊写清楚，再配以插图，送给小女公子阅读。这样周全的考虑，也只是希望小女公子将来平安无恙。
源氏的子女不多，所以也非常关怀夕雾。他经常想：“我现在在世，小女公子有我的照护，自然是无忧无虑的。不过要是现在就让兄妹二人熟识，培养些感情，他日我不在的时候，他们相互还能有个照应。因此他批准夕雾偶尔可以到小女公子所居的南厢房去，但仍然禁止他进入紫姫及侍女们的居处。事实上，夕雾心地敦厚，诚恳朴实，源氏对他倒还是放心。
小女公子已经八岁了，特别喜欢调弄玩偶。那场景让夕雾不由得想起了当年和云居雁玩耍的情景，于是便热心地走上前去帮她组合玩偶，但心中却难免沮丧起来。不过记忆终归是记忆，碰到了年轻貌美的女子，夕雾也会偶尔与她们调情，但都是逢场作戏，他也不会把她们放在心上。因为他只钟情于云居雁，所以一心盼着早日加官晋爵，甩掉这身低贱的绿袍，然后向云居雁求婚。其实，如果他不停地恳求，内大臣说不定会让步。但是他一定要内大臣自己觉悟，反过来向自己道歉，所以就一直把炽热的感情隐忍在心底，坚决不表露一丝迹象。因此，就连云居雁的兄长们，比如柏木那些，也觉得夕雾的态度淡漠。柏木倾心玉鬟，但除了小侍女见子以外，也没有人可以帮他，所以他就向夕雾求助。然而，他俩的关系却和父辈当年一样，有些僵化，于是夕雾只是很冷漠地回道：“别人的事，都与我无关。”
内大臣有很多儿子，全都是后房的姫妾所生，如今都已陆续按其生母的身份及各自的品性得到了地位和官爵，内大臣也算是称心了。可他的女儿却很少，长女弘徽殿女御没有登上后位，次女云居雁也没能顺利入宫，这些都让他惋惜不已。他也还一直惦念着当年夕颜所生的那个女儿。他常想：“我那可爱的女儿，跟她那轻薄的母亲一起杳无踪迹，不知道现在怎么样了？但愿她母亲通晓些事理，不要告诉别人那是我的女儿。不管怎么样，我都希望她能带着女儿回来。”于是他对儿子们嘱咐道：“如果有人自称是我的女儿，一必要把她带回来，当年我任性妄为，犯了许多懊悔的错事。其中有一个好女人，在和我相好的时候，为我生了一个女儿。后来却又阴差阳错地离我而去。那母女俩现在也不知道在哪里。我的女儿本来就少，又失去这么一个，真是遗憾。”他就这样常常念叨着，当然也有忘记的时候，但每次看到别人为女儿操劳的时候，他就觉得非常烦恼，悲伤不已。
有一天，他做了一个梦，便找了一个高明的解梦人来辨析。那人解释道：“大人恐怕有一位失散多年的公子或者小姐，此刻正寄人篱下呢，不久之后就会有消息了。”内大臣忙道：“如果是女子寄人篱下，是吉是凶？”这时，他竟然又想起了玉鬟，心里便思念起她来。