From owner-freebsd-users-jp@freebsd.org Fri Jul 23 11:42:05 2021 Return-Path: Delivered-To: freebsd-users-jp@mailman.nyi.freebsd.org Received: from mx1.freebsd.org (mx1.freebsd.org [IPv6:2610:1c1:1:606c::19:1]) by mailman.nyi.freebsd.org (Postfix) with ESMTP id B8E44670CAC for ; Fri, 23 Jul 2021 11:42:05 +0000 (UTC) (envelope-from junchoon@dec.sakura.ne.jp) Received: from www121.sakura.ne.jp (www121.sakura.ne.jp [153.125.133.21]) (using TLSv1.3 with cipher TLS_AES_256_GCM_SHA384 (256/256 bits) key-exchange X25519 server-signature RSA-PSS (4096 bits) server-digest SHA256) (Client did not present a certificate) by mx1.freebsd.org (Postfix) with ESMTPS id 4GWS8q2m15z4Sxc for ; Fri, 23 Jul 2021 11:42:02 +0000 (UTC) (envelope-from junchoon@dec.sakura.ne.jp) Received: from kalamity.joker.local (123-48-130-181.area1b.commufa.jp [123.48.130.181]) (authenticated bits=0) by www121.sakura.ne.jp (8.16.1/8.16.1/[SAKURA-WEB]/20201212) with ESMTPA id 16NBfrc3092061 for ; Fri, 23 Jul 2021 20:41:53 +0900 (JST) (envelope-from junchoon@dec.sakura.ne.jp) Date: Fri, 23 Jul 2021 20:41:52 +0900 From: Tomoaki AOKI To: freebsd-users-jp@freebsd.org Message-Id: <20210723204152.f6e11330c013ac70c12c22bf@dec.sakura.ne.jp> In-Reply-To: <202107221216.16MCGFQt086475@kx.truefc.org> References: <60f2fca8.1c69fb81.68ec9.af9a@mx.google.com> <202107192155.16JLtZjT047164@kx.truefc.org> <202107221216.16MCGFQt086475@kx.truefc.org> Reply-To: junchoon@dec.sakura.ne.jp Organization: Junchoon corps X-Mailer: Sylpheed 3.7.0 (GTK+ 2.24.33; amd64-portbld-freebsd13.0) Mime-Version: 1.0 Content-Type: text/plain; charset=ISO-2022-JP Content-Transfer-Encoding: 7bit X-Rspamd-Queue-Id: 4GWS8q2m15z4Sxc X-Spamd-Bar: ++ Authentication-Results: mx1.freebsd.org; dkim=none; dmarc=none; spf=none (mx1.freebsd.org: domain of junchoon@dec.sakura.ne.jp has no SPF policy when checking 153.125.133.21) smtp.mailfrom=junchoon@dec.sakura.ne.jp X-Spamd-Result: default: False [2.33 / 15.00]; HAS_REPLYTO(0.00)[junchoon@dec.sakura.ne.jp]; RCVD_VIA_SMTP_AUTH(0.00)[]; MV_CASE(0.50)[]; REPLYTO_ADDR_EQ_FROM(0.00)[]; TO_DN_NONE(0.00)[]; HAS_ORG_HEADER(0.00)[]; NEURAL_HAM_SHORT(-1.00)[-1.000]; FROM_EQ_ENVFROM(0.00)[]; MIME_TRACE(0.00)[0:+]; RBL_DBL_DONT_QUERY_IPS(0.00)[153.125.133.21:from]; ASN(0.00)[asn:7684, ipnet:153.125.128.0/18, country:JP]; MID_RHS_MATCH_FROM(0.00)[]; RECEIVED_SPAMHAUS_PBL(0.00)[123.48.130.181:received]; R_DKIM_NA(0.00)[]; ARC_NA(0.00)[]; FROM_HAS_DN(0.00)[]; TO_MATCH_ENVRCPT_ALL(0.00)[]; MIME_GOOD(-0.10)[text/plain]; PREVIOUSLY_DELIVERED(0.00)[freebsd-users-jp@freebsd.org]; DMARC_NA(0.00)[sakura.ne.jp]; AUTH_NA(1.00)[]; RCPT_COUNT_ONE(0.00)[1]; SPAMHAUS_ZRD(0.00)[153.125.133.21:from:127.0.2.255]; NEURAL_SPAM_MEDIUM(0.99)[0.995]; RCVD_TLS_LAST(0.00)[]; NEURAL_SPAM_LONG(0.94)[0.940]; R_SPF_NA(0.00)[no SPF record]; RCVD_COUNT_TWO(0.00)[2]; MAILMAN_DEST(0.00)[freebsd-users-jp] Subject: [FreeBSD-users-jp 96842] Re: =?iso-2022-jp?b?WkZTGyRCJCxGTUEzGyhCYm9vdBskQiQ3JEokLyRKGyhC?= =?iso-2022-jp?b?GyRCJGokXiQ3JD8bKEI=?= X-BeenThere: freebsd-users-jp@freebsd.org X-Mailman-Version: 2.1.34 Precedence: list List-Id: Discussion relevant to FreeBSD communities in Japan List-Unsubscribe: , List-Archive: List-Post: List-Help: List-Subscribe: , X-List-Received-Date: Fri, 23 Jul 2021 11:42:05 -0000 青木@名古屋です。 あまり参考にならないかもしれませんが...。 私の場合、基本的に「メイン環境には最新のstableブランチ（今なら13）を 使う」ポリシーで運用しているので、所謂「.0リリース」に向けて新たな stableブランチが来られる直前のコミットの状態でhead（今の呼びだと main）環境の更新を凍結し、 　・メイン環境をブランチ直後の最新stableに更新した直後、 　・ブートコードを全て（Legacy／EFIとも）更新して起動できるのを確認し、 　・まずmainの方をzpool upgradeして起動・動作に問題ないのを確認し。 　・stableの方のホームディレクトリのデータセットをmainの方に 　　zfs send | zfs recvしてからmain環境の方で問題ないのを確認 してからstable環境の方もzpool upgradeするようにしています。 両方のコードがブランチ名関係を除いて完全に一致している状況でしか upgradeしないのがミソで、最悪でもZFS関係のコードとブートコードが 完全に一致していさえすれば相互のsend | recvで非互換問題に遭遇 することもない、と。 ひとつ不安なのが、現状、mainはOpenZFSの開発版、stable/13は リリース版をマージするように変更されてしまったことですね。 これ、次にstable/14がブランチするとき破綻しそうな気しか しないんですが...。　最悪でも、両バージョンで使用できる featureに差がない状況でないと危険で。 On Thu, 22 Jul 2021 21:16:15 +0900 KIRIYAMA Kazuhiko wrote: > On Tue, 20 Jul 2021 09:50:53 +0900, > Hideo Kuwabara wrote: > > > > きりやま さん、ありがとうございます。 > > > > そうですね、JBODでやるのが早いと思いますが、1個壊れた時が怖いなと思い止めました。ブートローダーをストライピングに置くと故障率が倍になると言われて、移動しました。 > > > > JBODの出来るIFの乗ってないでBIOS+GPT > > もあったので、この方法に統一しました。 > > > > > > > > > > 2021年7月20日(火) 6:56 KIRIYAMA Kazuhiko : > > > > > On Mon, 19 Jul 2021 09:50:03 +0900, > > > Hideo Kuwabara wrote: > > > > > > > > 返信ありがとうございます。 > > > > Root on ZFSの甘い罠でした。 > > > > > > > > gptzfsbootを使っていて、gptのパーティションなので、4Tは大丈夫かと思っていたのですが、思い込みでした。 > > > > > > > > gpt はあくまで mbr の上位互換があるので、ブートブロックは2T以内に置かないと、2Tを使った頃にブート出来なくなります。 > > > > > > > > /boot を移動してから tarで解凍すると動くとか、bootコードを再書き込みすると治るとかありますが、運が良いと治るようです。 > > > > > > > > > > > ブートローダーの置いてあるファイルシステムの最後GPTの管理テーブルを書くらしいですが、BIOSが最後をレポートするときにINT13しかないので、2Tを超えた時に正しい値を返すと限らないとのことです。 > > > > > > > > 管理テーブルが行方不明になると救いようが無いと思います。ストライピングだし無理かと思います。 > > > > > > > > UEFIの場合にはAPIがあって大丈夫のようですね。 > > > > > > > > 状態は、USBでブートすれば、ZFSは見えない状態でしたが、-f でimportしたら普通に見えるようになりました。 > > > > > > > > こうなるとデータ救っておいて再インストールかと思ってます。 > > > > > > > > あ、一つ試してない心残りがあります。 > > > > gpart recover ada0 > > > > > > > > これをやってから再インストールすれば良かったなと心残りの状態です。 > > > > > > > > 最終的には、プールを1個追加して/bootdirを > > > > zfsroot にマウントしました。ここに/bootを移動してから、リンクしました。 > > > > boodir は、freebsd-zfs > > > で1gのスライスを切りました。UEFIがないので、GPTの数バイトの管理テーブルはここに書かれると思います。 > > > > ブートローダーのプールは、zfs mirror > > > > に一応しました。 > > > > > > > > 現在は6TB辛い書き込んでますが、問題無くリブートできております。 > > > > > > このあたりの話は [1] にありますが，結局 RAID カードの JBOD > > > でディスクを 2TB に分割した状態にしてやれば FreeBSD 側で認識 > > > するので，そいつらをまとめて RAIDZ3 とかにするしかできないの > > > ではと思います．うちでは以下のようなかんじで使ってます． > > > > > > root@vm:~ # uname -a > > > FreeBSD xx.xxxxxx.xxx 14.0-CURRENT FreeBSD 14.0-CURRENT #1 > > > main-n244894-f61e92ca5a23: Fri Feb 19 07:41:10 JST 2021 > > > admin@xx.xxxxxx.xxx:/usr/obj/usr/src/amd64.amd64/sys/GENERIC amd64 > > > root@vm:~ # zpool list > > > NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP > > > HEALTH ALTROOT > > > bootpool 1.88G 320M 1.56G - - 1% 16% 1.00x > > > ONLINE - > > > zroot 20.2T 4.77T 15.5T - - 8% 23% 1.00x > > > ONLINE - > > > root@vm:~ # zpool status > > > pool: bootpool > > > state: ONLINE > > > status: Some supported features are not enabled on the pool. The pool can > > > still be used, but some features are unavailable. > > > action: Enable all features using 'zpool upgrade'. Once this is done, > > > the pool may no longer be accessible by software that does not > > > support > > > the features. See zpool-features(5) for details. > > > scan: scrub repaired 0B in 00:00:02 with 0 errors on Wed Nov 4 20:36:05 > > ところで，zpool-features(5) を使ってらっしゃる方はいらっしゃ > いますでしょうか？ 私は怖くて未だに `zpool upgrade' してない > んですが... ;-) > > > > 2020 > > > config: > > > > > > NAME STATE READ WRITE CKSUM > > > bootpool ONLINE 0 0 0 > > > mirror-0 ONLINE 0 0 0 > > > mfid0p2 ONLINE 0 0 0 > > > mfid1p2 ONLINE 0 0 0 > > > mfid2p2 ONLINE 0 0 0 > > > mfid3p2 ONLINE 0 0 0 > > > mfid4p2 ONLINE 0 0 0 > > > mfid5p2 ONLINE 0 0 0 > > > mfid6p2 ONLINE 0 0 0 > > > mfid7p2 ONLINE 0 0 0 > > > mfid8p2 ONLINE 0 0 0 > > > mfid9p2 ONLINE 0 0 0 > > > mfid10p2 ONLINE 0 0 0 > > > mfid11p2 ONLINE 0 0 0 > > > > > > errors: No known data errors > > > > > > pool: zroot > > > state: ONLINE > > > status: Some supported features are not enabled on the pool. The pool can > > > still be used, but some features are unavailable. > > > action: Enable all features using 'zpool upgrade'. Once this is done, > > > the pool may no longer be accessible by software that does not > > > support > > > the features. See zpool-features(5) for details. > > > scan: scrub repaired 0B in 01:14:07 with 0 errors on Wed Nov 4 21:50:23 > > > 2020 > > > config: > > > > > > NAME STATE READ WRITE CKSUM > > > zroot ONLINE 0 0 0 > > > raidz3-0 ONLINE 0 0 0 > > > mfid0p4 ONLINE 0 0 0 > > > mfid1p4 ONLINE 0 0 0 > > > mfid2p4 ONLINE 0 0 0 > > > mfid3p4 ONLINE 0 0 0 > > > mfid4p4 ONLINE 0 0 0 > > > mfid5p4 ONLINE 0 0 0 > > > mfid6p4 ONLINE 0 0 0 > > > mfid7p4 ONLINE 0 0 0 > > > mfid8p4 ONLINE 0 0 0 > > > mfid9p4 ONLINE 0 0 0 > > > mfid10p4 ONLINE 0 0 0 > > > mfid11p4 ONLINE 0 0 0 > > > > > > errors: No known data errors > > > root@vm:~ # > > > > > > > > > [1] > > > http://freebsd.1045724.x6.nabble.com/ZFS-I-O-error-blocks-larger-than-16777216-are-not-supported-tt6265032.html#none > > > > > > > > > > > > > > > > > > > 2021年7月18日(日) 0:52 skyblue : > > > > > > > > > 悸村です。 > > > > > 当方、たいていは ufs を使用しているので、zfs に関して詳しくな > > > > > いのですが、ちょっと気になる点があります。 > > > > > > > > > > On Mon, 5 Jul 2021 19:47:28 +0900 > > > > > Hideo Kuwabara wrote: > > > > > > > > > > > ハードディスクは入れ替えたばかりなので、ハードの不良ではないと思います。 > > > > > > 少し前に、 installworld, installkernel で 11.4p4 で動かしていました。 > > > > > > > > > > /usr/src/UPDATING の 'ZFS notes' はお読みになられたでしょうか。 > > > > > > ZFS notes > > > > > > --------- > > > > > > When upgrading the boot ZFS pool to a new version, always follow > > > > > > these two steps: > > > > > > > > > > > > 1.) recompile and reinstall the ZFS boot loader and boot block > > > > > > (this is part of "make buildworld" and "make installworld") > > > > > > > > > > > > 2.) update the ZFS boot block on your boot drive > > > > > > > > > > > > The following example updates the ZFS boot block on the first > > > > > > partition (freebsd-boot) of a GPT partitioned drive ada0: > > > > > > "gpart bootcode -p /boot/gptzfsboot -i 1 ada0" > > > > > > > > > > > > Non-boot pools do not need these updates. > > > > > > > > > > 恐らく、installworld の直後あたりに、 > > > > > > "gpart bootcode -p /boot/gptzfsboot -i 1 ada0" > > > > > と、boot block を更新する作業が必須のように書いてあります。 > > > > > > > > > > 我が家では追試のテストが出来ない現状です。 > > > > > こちらの勘違いでしたら、外している筈なので、ご容赦ください。 > > > > > > > > > > なお、当該の注記は、11.4 と 13.0 では、幾らか差異があります。 > > > > > > > > > > --- /usr/src/UPDATING 2020-06-12 20:48:06.000000000 +0900 > > > > > +++ /y2/UPDATING-fb13.0-p3 2021-04-09 09:24:00.000000000 +0900 > > > > > > > > > > @@ -1707,9 +2268,11 @@ > > > > > > > > > > 2.) update the ZFS boot block on your boot drive > > > > > > > > > > - The following example updates the ZFS boot block on the first > > > > > - partition (freebsd-boot) of a GPT partitioned drive ada0: > > > > > - "gpart bootcode -p /boot/gptzfsboot -i 1 ada0" > > > > > + The following example updates the ZFS boot block on the > > > > > + freebsd-boot partition of a GPT partitioned drive ada0: > > > > > + "gpart bootcode -p /boot/gptzfsboot -i $N ada0" > > > > > + The value $N will typically be 1 (if booting from BIOS) or 2 > > > (if > > > > > + booting from EFI). > > > > > > > > > > 13.0 では、いわゆる legacy BIOS と UEFI では別の指定をするように > > > > > 記述されています。 > > > > > > > > > > > > > > > On Mon, 5 Jul 2021 19:47:28 +0900 > > > > > Hideo Kuwabara wrote: > > > > > > > > > > > 桑原と申します。 > > > > > > > > > > > > FreeBSD11.4 p4 にして暫くしたら突然bootしなくなりました。 > > > > > > > > > > > > > > > > > > Attempting Boot From Hard Drive (C:) > > > > > > ZFS: i/o error - all block copies unavaillavle > > > > > > ZFS: cat't read MOS of pool zroot > > > > > > gptzfsboot: failed to mount default pool zroot > > > > > > > > > > > > FreeBSD/x86 boot > > > > > > > > > > > > 復旧のヒントを頂ければと思います。 > > > > > > > > > > > > ハードディスクは入れ替えたばかりなので、ハードの不良ではないと思います。 > > > > > > 少し前に、 installworld, installkernel で 11.4p4 で動かしていました。 > > > > > > > > > > > > USBでbootしても、zpool は見えませんでした。 > > > > > > そこで、 zpool import zroot しましたが はねられ 指示に従って > > > > > > zpool import -f zroot したら zpool は正常に見えるようになり、 > > > > > > 手動でマウントすると中身は正しく見えますが、ブートできません。 > > > > > > 何かお呪いが必要でしょうか？ > > > > > > > > > > -- > > > > > 悸村成一 > > > > > _______________________________________________ > > > > > freebsd-users-jp@freebsd.org mailing list > > > > > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp > > > > > To unsubscribe, send any mail to " > > > freebsd-users-jp-unsubscribe@freebsd.org > > > > > " > > > > > > > > > -- > > > > > > > > Super Connect Network > > > > Hideo Kuwabara > > > > _______________________________________________ > > > > freebsd-users-jp@freebsd.org mailing list > > > > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp > > > > To unsubscribe, send any mail to " > > > freebsd-users-jp-unsubscribe@freebsd.org" > > > > > > > > > > --- > > > きりやま > > > _______________________________________________ > > > freebsd-users-jp@freebsd.org mailing list > > > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp > > > To unsubscribe, send any mail to "freebsd-users-jp-unsubscribe@freebsd.org > > > " > > > > > -- > > > > Super Connect Network > > Hideo Kuwabara > > _______________________________________________ > > freebsd-users-jp@freebsd.org mailing list > > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp > > To unsubscribe, send any mail to "freebsd-users-jp-unsubscribe@freebsd.org" > > > > --- > きりやま > _______________________________________________ > freebsd-users-jp@freebsd.org mailing list > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp > To unsubscribe, send any mail to "freebsd-users-jp-unsubscribe@freebsd.org" -- 青木 知明 [Tomoaki AOKI]