Date: Fri, 6 May 2011 07:56:48 -0700 From: Artem Belevich <art@freebsd.org> To: Holger Kipp <Holger.Kipp@alogis.com> Cc: "stable@freebsd.org" <stable@freebsd.org> Subject: Re: resilvering takes ages on 8.2 (amd64 from 18.04.2011) Message-ID: <BANLkTint=FqaFE7yzM7k-zS22kHvt=QHdQ@mail.gmail.com> In-Reply-To: <814C9E9472FDCC40AAC3FC95A2D67E3B0BD7BB81@msx3.exchange.alogis.com> References: <814C9E9472FDCC40AAC3FC95A2D67E3B0BD7BB81@msx3.exchange.alogis.com>
next in thread | previous in thread | raw e-mail | index | archive | help
On Fri, May 6, 2011 at 5:43 AM, Holger Kipp <Holger.Kipp@alogis.com> wrote: > Resilvering a disk in raidz2 ZFS is taking ages. Any ideas? I had replace= d a different disk this morning (da7) and it took only about 1 hour alltoge= ther. Any ideas? Or did I do something very wrong (tm)? Don't believe everything you see. On my pool I often see scrub time estimates of few hundred hours even though it always takes about 6 hours. Once ZFS is done thrashing disks while it scrubs metadata and starts doing bulk data transfer, estimates would eventually converge to a sensible value. > Disks =A0 da0 =A0 da1 =A0 da2 =A0 da3 =A0 da4 =A0 da5 =A0 da6 =A0 =A03280= 04 wire > KB/t =A0 0.67 =A04.92 =A04.68 =A04.46 =A04.53 =A04.66 =A04.91 =A0 =A0 847= 28 act > tps =A0 =A0 151 =A0 138 =A0 150 =A0 151 =A0 146 =A0 149 =A0 140 =A0 =A0 3= 9788 inact > MB/s =A0 0.10 =A00.66 =A00.69 =A00.66 =A00.65 =A00.68 =A00.67 =A0 =A0 =A0= 1520 cache > %busy =A0 101 =A0 =A041 =A0 =A044 =A0 =A042 =A0 =A041 =A0 =A040 =A0 =A039= =A0 7647296 free Yup. It does look like your pool is in "thrashing" stage -- lots of seeking= . --Artem > > Best regards, > Holger > > -------------------- > > =A08.2-STABLE FreeBSD 8.2-STABLE #12: Mon Apr 18 12:48:56 CEST 2011 > > # zpool status > =A0pool: tank > =A0state: DEGRADED > status: One or more devices is currently being resilvered. =A0The pool wi= ll > =A0 =A0 =A0 =A0continue to function, possibly in a degraded state. > action: Wait for the resilver to complete. > =A0scrub: resilver in progress for 0h21m, 1.10% done, 32h19m to go > config: > > =A0 =A0 =A0 =A0NAME =A0 =A0 =A0 =A0 =A0 STATE =A0 =A0 READ WRITE CKSUM > =A0 =A0 =A0 =A0tank =A0 =A0 =A0 =A0 =A0 DEGRADED =A0 =A0 0 =A0 =A0 0 =A0 = =A0 0 > =A0 =A0 =A0 =A0 =A0raidz2 =A0 =A0 =A0 DEGRADED =A0 =A0 0 =A0 =A0 0 =A0 = =A0 0 > =A0 =A0 =A0 =A0 =A0 =A0replacing =A0DEGRADED =A0 =A0 0 =A0 =A0 0 =A0 =A0 = 0 > =A0 =A0 =A0 =A0 =A0 =A0 =A0da0/old =A0OFFLINE =A0 =A0 =A00 =A0 =A0 0 =A0 = =A0 0 > =A0 =A0 =A0 =A0 =A0 =A0 =A0da0 =A0 =A0 =A0ONLINE =A0 =A0 =A0 0 =A0 =A0 0 = =A0 =A0 0 =A0158M resilvered > =A0 =A0 =A0 =A0 =A0 =A0da1 =A0 =A0 =A0 =A0ONLINE =A0 =A0 =A0 0 =A0 =A0 0 = =A0 =A0 0 > =A0 =A0 =A0 =A0 =A0 =A0da2 =A0 =A0 =A0 =A0ONLINE =A0 =A0 =A0 0 =A0 =A0 0 = =A0 =A0 0 > =A0 =A0 =A0 =A0 =A0 =A0da7 =A0 =A0 =A0 =A0ONLINE =A0 =A0 =A0 0 =A0 =A0 0 = =A0 =A0 0 > =A0 =A0 =A0 =A0 =A0 =A0da3 =A0 =A0 =A0 =A0ONLINE =A0 =A0 =A0 0 =A0 =A0 0 = =A0 =A0 0 > =A0 =A0 =A0 =A0 =A0 =A0da4 =A0 =A0 =A0 =A0ONLINE =A0 =A0 =A0 0 =A0 =A0 0 = =A0 =A0 0 > =A0 =A0 =A0 =A0 =A0 =A0da5 =A0 =A0 =A0 =A0ONLINE =A0 =A0 =A0 0 =A0 =A0 0 = =A0 =A0 0 > =A0 =A0 =A0 =A0 =A0 =A0da6 =A0 =A0 =A0 =A0ONLINE =A0 =A0 =A0 0 =A0 =A0 0 = =A0 =A0 0 > > errors: No known data errors > > > > ----------------- > =A0 =A01 users =A0 =A0Load =A00.00 =A00.00 =A00.00 =A0 =A0 =A0 =A0 =A0 = =A0 =A0 =A0 =A0May =A06 14:37 > > Mem:KB =A0 =A0REAL =A0 =A0 =A0 =A0 =A0 =A0VIRTUAL =A0 =A0 =A0 =A0 =A0 =A0= =A0 =A0 =A0 =A0 =A0 VN PAGER =A0 SWAP PAGER > =A0 =A0 =A0 =A0Tot =A0 Share =A0 =A0 =A0Tot =A0 =A0Share =A0 =A0Free =A0 = =A0 =A0 =A0 =A0 in =A0 out =A0 =A0 in =A0 out > Act =A0119320 =A0 18980 =A01362144 =A0 =A025756 7648824 =A0count > All =A0344920 =A0 23296 1075218k =A0 =A057012 =A0 =A0 =A0 =A0 =A0pages > Proc: =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0= =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0Interrupts > =A0r =A0 p =A0 d =A0 s =A0 w =A0 Csw =A0Trp =A0Sys =A0Int =A0Sof =A0Flt = =A0 =A0 =A0 =A0cow =A0 =A04765 total > =A0 =A0 =A0 =A0 =A0 =A0 76 =A0 =A0 =A09171 =A0 11 =A0130 =A0766 =A0952 = =A0 =A0 =A0 =A0 =A0 =A0 zfod =A0 =A0 =A0 =A0atkbd0 1 > =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 = =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0ozfod =A0 =A0 =A0 ata0 irq14 > =A00.7%Sys =A0 0.3%Intr =A00.0%User =A00.0%Nice 99.0%Idle =A0 =A0 =A0 =A0= %ozfod =A0 =A0 1 uhci0 16 > | =A0 =A0| =A0 =A0| =A0 =A0| =A0 =A0| =A0 =A0| =A0 =A0| =A0 =A0| =A0 =A0|= =A0 =A0| =A0 =A0| =A0 =A0 =A0 daefr =A0 =A0 =A0 uhci1 17 > =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 = =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0prcfr =A0 =A0 1 twe0 irq24 > =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 = =A0 =A0 7 dtbuf =A0 =A0 1106 totfr =A01999 cpu0: time > Namei =A0 =A0 Name-cache =A0 Dir-cache =A0 =A0206492 desvn =A0 =A0 =A0 = =A0 =A0react =A0 763 isp0 256 > =A0 Calls =A0 =A0hits =A0 % =A0 =A0hits =A0 % =A0 =A0 =A03598 numvn =A0 = =A0 =A0 =A0 =A0pdwak =A0 =A0 2 em0 irq257 > =A0 =A0 =A012 =A0 =A0 =A011 =A092 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A01382= frevn =A0 =A0 =A0 =A0 =A0pdpgs =A01999 cpu1: time > =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 = =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0intrn > Disks =A0 da0 =A0 da1 =A0 da2 =A0 da3 =A0 da4 =A0 da5 =A0 da6 =A0 =A03280= 04 wire > KB/t =A0 0.67 =A04.92 =A04.68 =A04.46 =A04.53 =A04.66 =A04.91 =A0 =A0 847= 28 act > tps =A0 =A0 151 =A0 138 =A0 150 =A0 151 =A0 146 =A0 149 =A0 140 =A0 =A0 3= 9788 inact > MB/s =A0 0.10 =A00.66 =A00.69 =A00.66 =A00.65 =A00.68 =A00.67 =A0 =A0 =A0= 1520 cache > %busy =A0 101 =A0 =A041 =A0 =A044 =A0 =A042 =A0 =A041 =A0 =A040 =A0 =A039= =A0 7647296 free > =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0 = =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A060464 buf > > > -- > > > Holger Kipp > Diplom-Mathematiker > Senior Consultant > > > =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0[alogis] > > Tel. =A0 =A0: =A0 =A0 =A0 +49 30 436 58 114 > Fax =A0 =A0 : =A0 =A0 =A0 +49 30 436 58 214 > Mobil =A0 : =A0 =A0 =A0 +49 178 36 58 114 > > E-Mail =A0: =A0 =A0 =A0 holger.kipp@alogis.com > =A0 =A0 =A0 =A0 =A0 =A0 =A0 =A0alogis AG > Alt-Moabit 90 B > D- 10559 Berlin > > Web: www.alogis.com<http://www.alogis.com>; > > > > alogis AG > Sitz/Registergericht: Berlin/AG Charlottenburg, HRB 71484 > Vorstand: Arne Friedrichs, Joern Samuelson > Aufsichtsratsvorsitzender: Reinhard Mielke > > > _______________________________________________ > freebsd-stable@freebsd.org mailing list > http://lists.freebsd.org/mailman/listinfo/freebsd-stable > To unsubscribe, send any mail to "freebsd-stable-unsubscribe@freebsd.org" >
Want to link to this message? Use this URL: <https://mail-archive.FreeBSD.org/cgi/mid.cgi?BANLkTint=FqaFE7yzM7k-zS22kHvt=QHdQ>