然而，好日子享尽，莎莉文家的幸运之神开始远离，不再眷顾了。
厄运先从安妮下手。3岁未到，安妮的眼睛开始发痒，眼皮上长满了细沙状的小颗粒。这些小颗粒由软变硬，由小变大，扎得安妮眼睛又痒又痛。
安妮揉了又揉，擦了又擦，结果情形变得更糟糕了。小颗粒并没有因揉擦而消失，反而刺伤了眼球。安妮的眼疾一天比一天严重。
莎莉文家并不富有，根本没有钱去看私人医生，只得等候福利机构的巡回医生来带安妮去治疗。
他们尝试了许多治疗方法和偏方。听邻居说用天竺葵泡水洗眼睛可以治好，爱丽丝便去摘生长在窗前开着红花的大竺叶子，用大锅煮沸。她用这些苦汁洗涤女儿的眼睛，结果安妮痛得拼命地哭叫，眼疾依然没有治好。
最后，他们只好带安妮去看私人医生。医生翻了安妮的眼皮，拿出一把小刮刀，刮着眼皮上的小颗粒。安妮痛得尖叫乱抓，医生态度粗暴地喝住：“抓紧她，不许动。”
医生的情绪非常恶劣，为什么这些付不出医药费的穷人偏爱来找他？他大吼：“坐下，坐下。”畏畏缩缩的莎莉文夫妇只敢小心翼翼紧靠在椅子边。
托马斯必恭必敬，走上前去说：“大夫，请您帮帮忙，请您治好我女儿的眼睛。”
“给你一些眼药膏，一天涂两次，挺有效的。”医生的话显得颇具权威。
莎莉文夫妇对医生有莫大的信心，于是就安心离去。
望着他们走向街中的背景，医生摇了头，叹了气。他知道小女孩的眼睛已经没有痊愈的希望了。
“颗粒性结膜炎（砂眼）”，他不忍告诉莎莉文这个病名。“砂眼”是那些有钱人才生得起的富贵病。需要阳光、新鲜空气及整洁的环境，需要肉类、鱼类、蔬菜和水果等滋养品来调养，需要花很多钱才能医好的疾病。
医生情不自禁地摇着头，不要想这些无法解决的问题吧！假如那女孩的父母有钱，她根本不可能染上这种不干不净的毛病。“砂眼”偏爱贫民窟，喜欢在肮脏的地区散布。
世事无常，祸不单行。安妮感染砂眼后，爱丽丝也生病了。
一天早晨，爱丽丝摸着自己喉部，觉得酸痛难忍。几天后痛苦不但没减退，反而有些微微发烧，她一天比一天消瘦，身体变得倦怠无力。她开始拼命地咳嗽，不用医生说，爱丽丝也知道自己得了什么病。“肺结核”是专门找穷人纠缠不放的绝症。
时运不济，一波未平，一波又起。过了几天，爱丽丝告诉丈夫：“托马斯，我们又有孩子了。”
爱丽丝宣布这个消息时，他们正在吃晚饭，托马斯默然放下刀叉，咽下食物，问道：“什么时候生？”
“今年冬天吧，我想可能在圣诞节前后。”
托马斯不屑地啐道：“好一个累赘的圣诞礼物。”他狠狠地摔下餐巾，掉头走了出去。爱丽丝长叹一声，怎么能怪她呢？一切都这么不顺心，她的肺病，安妮的眼疾，现在又加上一个花钱的婴儿。一个钱不能当两个用啊！
1869年1月，吉米出生了。他一生下来就体弱多病，遗传了母亲的体质，臀部长了一个大大的结核瘤。
往后的日子爱丽丝总是脸色苍白，眉头深锁。日后人们告诉安妮，她的母亲年轻时多么开朗、爱笑，而安妮记忆中的母亲却是苍白、困倦、瘦弱，寂静得像一尊雕像。
安妮与她父亲仍有快乐时光。他继续为女儿唱歌、跳舞，说一些令人开心的故事——只是次数在逐渐减少。有些回忆令她永生难忘，其中一幕是父亲蹲在她身旁，问她：“今天痛吗？”
安妮点点头，她知道父亲说的是她的眼睛。
“我的小宝贝，来吧！天气这么好，我带你出去走走。”托马斯牵着她的手。
父女俩走了5里路，到了邻镇西乡。托马斯听说此地来了一位眼科医生，所以特地带安妮来。但是检查过安妮的眼睛后，医生只是摇摇头。
离开医生诊所，回家的路上，托马斯在安妮身边蹲下，搂着她说：“宝贝，不要担心，这个医生虽然不能看好你的毛病，但爸爸总会找到一个好医生来医好你的眼睛的。”他拍着胸脯保证。
他把安妮扛在肩上。“等你长大一点，我就带你回到我们的家乡——爱尔兰。
用爱尔兰香浓河的河水洗净你的眼睛，就不会再痛了。“他满怀深情地加上一句：”那是世界上最好的药水。“听得安妮眼睛发亮。瘦小的她岂知从美国马萨诸塞州到爱尔兰的香浓河，路途是多么地遥远。
托马斯带着女儿走到镇中心的繁华区。一家商店橱窗里展示了一顶美丽的白色草帽。
“嗨！”她的鼻尖贴到橱窗玻璃上赞叹地叫起来。
白色的帽子上有一条淡蓝色蕾丝带垂在后面。托马斯看看女儿，拍了拍她的肩膀走进店里。
安妮看到售货员从橱窗里取下帽子。几分钟后，托马斯走出来，把帽子戴在安妮头上。这是她一生中的第一顶帽子！美得像童话故事中小仙女头上的帽子！戴着世界上最美丽的帽子，她一路欢笑回到家。
病魔侵凌家人，托马斯面对接踵而来的重重困难显得手足无措，他不知道怎么样才能摆脱心中的忧虑和烦恼。沉重的负担和悲哀折腾着托马斯，他慢慢迷失正念，开始学会了借酒消愁，然而举杯消愁愁更愁。
托马斯常常喝得烂醉才回家。他们又生了一个小孩，爱丽丝病得奄奄一息，骨瘦如柴，婴儿又吵又闹，她没有多余的精力顾及安妮。
安妮年幼不懂尘世坎坷，不解人意，她需要家人关怀示爱。然而她的双亲没有多余的爱滋润她、呵护她。她心里的不安和焦虑纠葛在一起，化为一把无名火，使她变得愤怒，常常狂乱地发脾气。安妮已没有办法控制自己了，她由快乐天真变成暴躁易怒的小女孩。
无知的安妮宣泄她的情绪和大人迥然不同。她用自己的方式，用整个身体冲击小生命中的郁懑。她大声嘶喊、怒吼、东撕西摔，试图抗拒莫名的恐惧。
她的脾气让人不能忍受，以至于邻居们都叫她“令人讨厌的小孩”。
有一次，她把手伸进烤箱里拿面包，不小心被火烫到。虽然这是自己的错误，她却勃然大怒，抓了火钳，夹起面包，使劲地摔在地上。
眼看安妮愤怒地糟蹋她们的宝贵口粮，母亲只能无力地呻吟：“安妮，安妮……”
另外有一次，爱丽丝叫安妮照顾睡在摇篮里的小妹妹一玛丽。安妮摇一摇，不觉怒气从中而来，打从心眼里她就不喜欢玛丽。玛丽夺走了妈妈所有的疼惜和怜爱。
她越想越生气，愤愤地用力摇晃，咚的一声，小婴儿从摇篮里滚下来。
那一天晚上，父亲狠狠地揍了她。她咬紧牙根，滴泪不流，从此怨恨更像燎原的野火，难以平息。
安妮的坏脾气有增无减，直到不可收拾。每天早晨，她喜欢看她父亲刮胡子。
这一天，看到刮胡膏的瓶口沾满了泡沫，她注视了一会儿，泡沫裹着胡子，多么好玩。她的手慢慢靠去，伸到肥皂泡里。
不巧托马斯的情绪也不好，“把手拿开。”她打了安妮的小手。
这一巴掌点燃了安妮的宿怨与积恨，瞬间像火药爆炸一样，安妮举起手边的瓶瓶罐罐，对着镜子一个接一个狠狠地掷去。镜片碎落满地，留下木头空框颤颤震动。
安妮嘶声裂叫，父亲没有动手打她，也没有破口大骂，而是呆若木鸡，哺哺自语：“是魔鬼缠身？是鬼迷心窍？看看你所做的，你这个扫帚星，带来厄运……都已7年了。”句句清晰地刺进安妮心坎。
可怜的安妮成了代罪羔羊！其实托马斯的情绪不在于破碎的镜子，而在于贫穷和疾病。辗转不能人眠的漫漫长夜，父亲哺哺的诅咒，困扰了安妮多年。
祸不单行，福无双至。穷困和疾病像一串无法打开的链环，厄运周而复始，年复一年。吉米已3岁，肿瘤越长越大，安妮眼疾更趋恶化，爱丽丝病人膏盲，托马斯沉沦酗酒，无法自拔。情况已到了山穷水尽，无法再坏的境地了。在这些苦痛的岁月里，爱丽丝勉强撑住了这个家。结核病菌像虫一般无声无息地把她啃蚀耗尽。
昨日，她还在那儿，次日，她已魂归西天。栋梁倒塌的家，七零八落。
莎莉文的亲戚只得出面救济，出来安顿一个酗酒的男人和3个年幼的小孩的去处。
亲族代表通知所有的亲属开会，住在附近的亲戚都来参加。爱伦姑妈主动提议要收养吉米和小婴儿玛丽。没有人主动收留安妮，就是因为她一发不可收拾的坏脾气和眼疾。
经过一番推诿后，大家决定由堂哥约翰与堂嫂苏达希收留安妮。约翰有钱！可不是吗？好歹他拥有一个制烟厂，虽然不算大，却也算是自己当老板，独资经营。
“你们最宽裕，该你们抚养。”大家异口同声要求他们收养安妮。
“你们毫无道理，只是嫉妒我们。”苏达希大叫不平，但她推不开道义责任。
当天下午，他们只得把安妮带回家。
苏达希尽她所能，有心善待这个不速之客，无奈安妮仇视一切家教规范。在安妮心中，她已一无所有，只剩下不可侵犯的“自由”，自己得好好保护自己。她幼稚，没有正确的是非观，一切只是出于本能，不择手段、不可理喻地维护所谓“自由”。三番五次，她的粗暴野蛮把苏达希吓得不愿意再招惹她了。家规、教养无法施用在她身上。苏达希堂嫂也就撒手不管，不闻不问，任由她自生自灭了。
有一阵子安妮过得很惬意。春天到来，安妮在田野里游荡，从这个牧场到那个草原。坐在苹果树下编织自日梦，躺在干稻草堆上发呆，混过日子。只要离开寄养的“家”，她就心安。舒坦、快乐。
一天晚上，约翰告诉太太：“你猜，我今天看到安妮在做些什么事？”
“我看到她躺在谷仓后面那片草地上。我足足观察了5分钟，她高举着手，一动不动。有只小麻雀从树上飞过来，掠过她身上，看了她一眼飞走了，安妮还是不动。那只小麻雀竟然又飞回来停在她手指上，她们就这样子，像老朋友似的互相观看——真是不可思议。”
苏达希冷冷地哼道：“有什么好奇怪？小鸟的朋友？岂是只小鸟，她就像一头野兽。养一只小马或小牛都比养她好得多。”
约翰感慨道：“在家里无恶不作，在外面却可以这般温驯有耐心。”
秋天来了，学校要开学了，安妮也到了该入学的年龄。一天，她找到苏达希堂嫂，用兴奋而激动的声音颤抖地问：“我可不可以去上学？”
“不要做白日梦了。”苏达希嗤之以鼻，“凭你这一双眼睛，一辈子也别想读书、写字。”
圣诞节快要到了，约翰和苏达希几乎每天拿着大包小包的东西，进入前面大客厅。他们将圣诞礼物存放在前厅，所有的小孩都不准踏人。安妮当然是惟一例外，她一再进进出出。
一天，她发现一个非常美丽的洋娃娃，乖乖坐在小椅子上。一双蓝色深邃的眼睛，满头金色卷发，细瓷做的脸蛋光鲜粉嫩，镶着蕾丝花边的拖地长礼服裹住她。
灰暗的大客厅，安妮无法看清楚。虽然她视力微弱，却看得出这个洋娃娃美丽非凡，举世无双。
从此以后，安妮不时溜进去看那个洋娃娃。她抱着洋娃娃展拍、抚慰、亲一亲。
圣诞节前的这些相处使她误认为这个洋娃娃非她莫属了。
久盼的佳节终于来到，家里的每个人鱼贯走人大厅。约翰打扮成圣诞老人分发礼物。每一个小孩子都有一份，安妮拿到她的一份礼物，看也不看，就把它放在一旁。因为在她的眼里只有那个洋娃娃，她等着抱洋娃娃呢。然而约翰拿起它，给了自己的女儿。
瞬间，安妮不能相信自己的眼睛，她冻住了似的凝然直立。她突然冲出来，一把抢过娃娃，揪住金色卷发，将它狠狠地摔在地上。她发疯似地扔、踢、摔身边的所有东西。约翰好不容易架住她时，她已毁掉了全家的佳节气氛。
真叫人受不了！于是又开了家族会议，大家一再商量安妮的去留。他们已经厌倦了扮演慈善好人的角色了，当初收留孩子只是碍于情面，无法推脱罢了。
不过爱伦姑妈是例外，她说玛丽乖巧可爱，自己喜欢这孩子，愿意继续收养。
而吉米的臀部的肿瘤病况已越来越严重，她已无法承担医药费。至于安妮？没有人能驯服，也就没有人愿意收留他。
约翰夫妇回家前，安妮和吉米的命运已定。家族会议决定将他们送到德士堡救济院，从此以后与莎莉文家族的人毫不相干。