From owner-freebsd-users-jp@freebsd.org Tue Dec 15 07:47:04 2015 Return-Path: Delivered-To: freebsd-users-jp@mailman.ysv.freebsd.org Received: from mx1.freebsd.org (mx1.freebsd.org [IPv6:2001:1900:2254:206a::19:1]) by mailman.ysv.freebsd.org (Postfix) with ESMTP id B9277A4463C for ; Tue, 15 Dec 2015 07:47:04 +0000 (UTC) (envelope-from mojimoji528@yahoo.co.jp) Received: from nh505-vm4.bullet.mail.kks.yahoo.co.jp (nh505-vm4.bullet.mail.kks.yahoo.co.jp [183.79.57.106]) by mx1.freebsd.org (Postfix) with ESMTP id 5EF2717A8 for ; Tue, 15 Dec 2015 07:47:03 +0000 (UTC) (envelope-from mojimoji528@yahoo.co.jp) Received: from [183.79.100.140] by nh505.bullet.mail.kks.yahoo.co.jp with NNFMP; 15 Dec 2015 07:44:28 -0000 Received: from [183.79.101.63] by t503.bullet.mail.kks.yahoo.co.jp with NNFMP; 15 Dec 2015 07:44:28 -0000 Received: from [127.0.0.1] by omp507.mail.kks.yahoo.co.jp with NNFMP; 15 Dec 2015 07:44:28 -0000 X-Yahoo-Newman-Property: ymail-3 X-Yahoo-Newman-Id: 447279.40022.bm@omp507.mail.kks.yahoo.co.jp Received: (qmail 76782 invoked by alias); 15 Dec 2015 07:44:28 -0000 DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=yahoo.co.jp; s=yj20110701; t=1450165468; bh=flxi1TjmDzlBHNUaEAFG2nN7E3u0SnmN3nkk7cFCXqs=; h=Received:X-YMail-JAS:X-Apparently-From:X-YMail-OSG:Date:From:To:Subject:In-Reply-To:References:Message-Id:MIME-Version:Content-Type:Content-Transfer-Encoding:X-Mailer; b=QvwltV2P8e1vjRl0eNdc3VIl609+1BPLjqKJ3ZaYJQ3czq/d3TwzR2SJAcbmLV9tfZ3FLd3MvEC/3xzLmP6gjg8iyOkoneuMQdL0KDG2lTd0bB7ni73qhWYsXfA5PPpFvtV6LEGgtzZyn8S8hzz47MMV8Lh1nhdwNXNXbCmLYVM= DomainKey-Signature: a=rsa-sha1; q=dns; c=nofws; s=yj20110701; d=yahoo.co.jp; h=Received:X-YMail-JAS:X-Apparently-From:X-YMail-OSG:Date:From:To:Subject:In-Reply-To:References:Message-Id:MIME-Version:Content-Type:Content-Transfer-Encoding:X-Mailer; b=vjHy6RW+LjBVTZ8QAqngTK3PiH15y7OnBlJyaeIzgz6zof7wLkgtQ/sp/kqAZSBnse6/1H31hXeSdH9ut5SwfhgAl0ggmrZBab1VtMdAg4w5Avw3jzsgdlhngBzp1XyU80qV6vY8vHWXDH3Rc8709O7jj0v/mvkpWdosxcUFe3k= ; Received: from unknown (HELO ?192.168.10.100?) (27.96.59.130 with login) by smtp604.mail.ssk.yahoo.co.jp with SMTP; 15 Dec 2015 07:44:28 -0000 X-YMail-JAS: rrItKRMVM1myFpwbLy.orVtGtoWsTPXKHhNo_ew.GdfRZLrHMr8wHKXAjZXJfOcVB7yemEg8Fn6W3t1ewQdNCwPE_DCGWS.c01y83q23kpyZX4jv.a3oZTbWmpqbEzqksg-- X-Apparently-From: X-YMail-OSG: 6VpfzbIVM1n1GiypwI5FPORNDIYZbrHqELkHlcnSuwaiG0I PHCzOEJX3BmSMPLtCRVSY6pvXjwzpWl3FtI90mS6Qfl4EVKXJ4f5gQUFJJdM 9HtDEbNeslX2KDv1cR5wWYN5WreYtNHUczLvr5CNdOoZ9T2TUsXpo.BnoJnv 83DVfE6EdwlvvFNisSXKgf7o9Z7xnLRf0OTuAn6jchIgvktZ0wFqpFysrI2_ kU45x2ogYPlL7iYcIHVkb6cDwG8FUCA17xXJVY27p7WV9X3vRiGuRaoAYxuX XUURznJEODDXs._cY7kqbxeerq7Kkcnp67fqiUBdrimNQQg1o9W5A1rstCId 3H1OyYiFsdHSedLidCWoF46b1fErTYj72tMPcWDlk6MpybGaIOdJQcIqhXru cFqosp8LDewLyyUS2sn2kEBZrkvOF0WLHbAaWPmn73u7DRp3ztCsIo_d.mW6 UrWBodRDPYqo1JOz_a0_qIzS3GYVKA7p8tHGGRFAfEGNrFAacseAUB6qpUUw aF8HVuvnP6TpZF_FY_X.MMq8R Date: Tue, 15 Dec 2015 16:44:28 +0900 From: =?ISO-2022-JP?B?GyRCJGIkOCRiJDgbKEI=?= To: freebsd-users-jp@freebsd.org In-Reply-To: <20151214.103724.2126919077244353026.hrs@allbsd.org> References: <20151204180446.A504.60E52F2C@yahoo.co.jp> <20151214.103724.2126919077244353026.hrs@allbsd.org> Message-Id: <20151215164427.A54F.60E52F2C@yahoo.co.jp> MIME-Version: 1.0 Content-Type: text/plain; charset="ISO-2022-JP" Content-Transfer-Encoding: 7bit X-Mailer: Becky! ver. 2.58 [ja] Subject: [FreeBSD-users-jp 95627] Re: =?iso-2022-jp?b?bmV0c3RhdCAbJEIkRxsoQiBDTE9TRUQgGyRCJCwbKEI=?= =?iso-2022-jp?b?GyRCST08KCQ1JGwkayRzJEckOSEjISMhIyEjGyhC?= X-BeenThere: freebsd-users-jp@freebsd.org X-Mailman-Version: 2.1.20 Precedence: list List-Id: Discussion relevant to FreeBSD communities in Japan List-Unsubscribe: , List-Archive: List-Post: List-Help: List-Subscribe: , X-List-Received-Date: Tue, 15 Dec 2015 07:47:04 -0000 Hirokiさん、詳しい説明有難う御座いました。 出張帰りで本日は検証が出来ませんが、後日ちょっとやってみ ます。 もし、そこが問題であれば Courier IMAP を update すれば解 決するかもしれませんね。 ただ、気になるのは「今までうまくいっていたのに」というあ たりです。 もしかしたら、これは L4 スイッチが気を利かせてくれた、と いう可能性もあるのかな？とも思っています。 その辺は誰も知らないですよね(^^; ちなみに、L4 は紫の知る人ぞ知るスイッチを使っています。 中古なんですけどね(^^; 結構、色が好きで・・・（笑） 会社では初号機と呼ばれてます。私はエヴァを見たこと無いん ですけど。。。。(^^; Mon, 14 Dec 2015 10:37:24 +0900 (JST) に、 Hiroki Sato さんは書きました: > もじもじ wrote > in <20151204180446.A504.60E52F2C@yahoo.co.jp>: > > mo> 仮にそうだとしても、そもそも CLOSED が表示されるのはなぜ > mo> なんでしょうか。 > > CLOSED はそもそも表示される可能性がまったくないものでは > ありませんが、FreeBSD 7 以降は、それ以前より表示される可能性が > 高くなっています。これは、TCP 通信時に使われる構造体の > メモリ領域の確保の方法が、4.4BSD で使われていたものから > 変更されたからです。 > > socket API で通信を行なう場合、ファイル記述子、ソケット、 > IP プロトコル制御ブロック、TCP プロトコル制御ブロック、のように、 > 通信の各層で使われる構造体がカーネルに順番に確保されます。 > > 4.4BSD の場合、それぞれの構造体は必要がなくなった時点で解放されます。 > たとえば、アプリケーションが通信終了時にファイル記述子を > close した時、ソケットやプロトコル制御ブロックの構造体は、 > すぐには解放されません。FIN の交換など、プロトコルで要求される > 終了シーケンスが終って、初めて解放されます。 > 逆に、先に通信相手から FIN が送られてきて TCP 接続が > 切断された場合、FIN 交換が終った時点でTCP プロトコル制御ブロックの > 領域が、先に解放されます。 > > FreeBSD 7 には、この細分化されている構造体の確保・解放を、 > ある程度まとめる変更が入りました。 > 7.0 以降では、たとえば、TCP 通信が FIN を交換して終了シーケンスを > 完了していたとしても、ファイル記述子を close しないと > TCP プロトコル制御ブロックが解放されません。 > この状態の時、netstat の結果に CLOSED として現れます。 > 「CLOSED が見えることがほとんどない」とよく説明されているのは、 > 前述したとおり、4.4BSD ではファイル記述子が close されてないとしても、 > FIN を交換した時点で TCP プロトコル制御ブロックが > 解放されるようになっているからです。 > > この変更の動機は、FreeBSD が SMP に対応してカーネル各部が > 並列処理されるようになったことにより、相互に関連する構造体の > 参照・確保・解放にかかるコストが大きくなったためです。 > 構造体同士はポインタで参照されているので、確保・解放には排他制御が必要です。 > そのような相互参照があると、構造体へのアクセスのたびにロックが発生して > 性能が低下してしまいますし、領域が本当に確保されているのかどうかを > 確認したり、確保できなかった時のエラー処理などがかなり複雑になります。 > > そのため、頻繁に使われる組み合わせについては、不要になってもすぐに > 解放しないようにしました。 > これにより多くの排他制御を省くことができるようになりましたが、 > その一方で、メモリの使用量が少し増えることと、構造体解放までの > 時間が長くなるという副作用が観察されるようになっています。 > > ただし、実用上、TCP 接続が切断された後に、ソケットを close しないで > 放置するという状況は考えにくいので、まともに書かれているプログラムなら、 > やっぱり CLOSED はすぐに消えます。 > > 7.0 が出た直後くらいから、「CLOSED が出て消えない」というレポートが > いくつかあがっていました。調査の結果、ほとんどがアプリケーション側の > バグが顕在化したことによるものでした。 > users-jp 95621 にはログなどの症状に関する生情報がないので > 何とも判断できませんが、Courier IMAP 同じ問題を抱えているのかも知れません。 > > CLOSED が出ている状態の netstat と、sockstat の出力を > 並べて比較してみてください。1 個のCLOSED 状態の接続について、 > 対応する sockstat の行の FD のカラムにファイル記述子の数値が > 出ていて、かつ CLOSED を発生させているアプリケーションを > 終了させた時に、すぐに CLOSED が全部消えるのであれば、 > TCP 接続断後の close() に失敗していて、 > 記述子がリークしている可能性が高いのではないかと思います。 > FreeBSD 7 以降では、socket をオープンした時の > 記述子を正しく close しないと、切断後の TCP 接続が > CLOSED のまま残るからです。 > > 過去にあった典型的な例は、close() の引数に閉じるべきでない記述子が > 指定されていて少しずつリークしていたものの、リークによる > メモリ使用量が小さく、記述子数の上限に引っかかることもなかったので > 長い間気づかれていなかった、というものでした。 > close() の戻り値をチェックしないプログラムが多いので、この手の > バグは気づかれにくいようです。 > > -- Hiroki -- もじもじ