net: sock_def_readable() and friends RCU conversion
authorEric Dumazet <eric.dumazet@gmail.com>
Thu, 29 Apr 2010 11:01:49 +0000 (11:01 +0000)
committerDavid S. Miller <davem@davemloft.net>
Sat, 1 May 2010 22:00:15 +0000 (15:00 -0700)
commit43815482370c510c569fd18edb57afcb0fa8cab6
tree063efaae3758402b84f056438b704d1de68f7837
parent83d7eb2979cd3390c375470225dd2d8f2009bc70
net: sock_def_readable() and friends RCU conversion

sk_callback_lock rwlock actually protects sk->sk_sleep pointer, so we
need two atomic operations (and associated dirtying) per incoming
packet.

RCU conversion is pretty much needed :

1) Add a new structure, called "struct socket_wq" to hold all fields
that will need rcu_read_lock() protection (currently: a
wait_queue_head_t and a struct fasync_struct pointer).

[Future patch will add a list anchor for wakeup coalescing]

2) Attach one of such structure to each "struct socket" created in
sock_alloc_inode().

3) Respect RCU grace period when freeing a "struct socket_wq"

4) Change sk_sleep pointer in "struct sock" by sk_wq, pointer to "struct
socket_wq"

5) Change sk_sleep() function to use new sk->sk_wq instead of
sk->sk_sleep

6) Change sk_has_sleeper() to wq_has_sleeper() that must be used inside
a rcu_read_lock() section.

7) Change all sk_has_sleeper() callers to :
  - Use rcu_read_lock() instead of read_lock(&sk->sk_callback_lock)
  - Use wq_has_sleeper() to eventually wakeup tasks.
  - Use rcu_read_unlock() instead of read_unlock(&sk->sk_callback_lock)

8) sock_wake_async() is modified to use rcu protection as well.

9) Exceptions :
  macvtap, drivers/net/tun.c, af_unix use integrated "struct socket_wq"
instead of dynamically allocated ones. They dont need rcu freeing.

Some cleanups or followups are probably needed, (possible
sk_callback_lock conversion to a spinlock for example...).

Signed-off-by: Eric Dumazet <eric.dumazet@gmail.com>
Signed-off-by: David S. Miller <davem@davemloft.net>
16 files changed:
drivers/net/macvtap.c
drivers/net/tun.c
include/linux/net.h
include/net/af_unix.h
include/net/sock.h
net/atm/common.c
net/core/sock.c
net/core/stream.c
net/dccp/output.c
net/iucv/af_iucv.c
net/phonet/pep.c
net/phonet/socket.c
net/rxrpc/af_rxrpc.c
net/sctp/socket.c
net/socket.c
net/unix/af_unix.c