[NET_SCHED]: Revert "avoid transmit softirq on watchdog wakeup" optimization
[safe/jmp/linux-2.6] / net / sched / em_meta.c
index f1eeaf6..650f09c 100644 (file)
@@ -9,7 +9,7 @@
  * Authors:    Thomas Graf <tgraf@suug.ch>
  *
  * ==========================================================================
- * 
+ *
  *     The metadata ematch compares two meta objects where each object
  *     represents either a meta value stored in the kernel or a static
  *     value provided by userspace. The objects are not provided by
  *              lvalue                                   rvalue
  *           +-----------+                           +-----------+
  *           | type: INT |                           | type: INT |
- *      def  | id: INDEV |                           | id: VALUE |
+ *      def  | id: DEV   |                           | id: VALUE |
  *           | data:     |                           | data: 3   |
  *           +-----------+                           +-----------+
  *                 |                                       |
- *                 ---> meta_ops[INT][INDEV](...)          |
- *                            |                            |
+ *                 ---> meta_ops[INT][DEV](...)            |
+ *                                                       |
  *                 -----------                             |
  *                 V                                       V
  *           +-----------+                           +-----------+
  *           | type: INT |                           | type: INT |
- *      obj  | id: INDEV |                           | id: VALUE |
+ *      obj  | id: DEV |                             | id: VALUE |
  *           | data: 2   |<--data got filled out     | data: 3   |
  *           +-----------+                           +-----------+
  *                 |                                         |
@@ -58,7 +58,6 @@
  *           only available if that subsytem is enabled in the kernel.
  */
 
-#include <linux/config.h>
 #include <linux/module.h>
 #include <linux/types.h>
 #include <linux/kernel.h>
@@ -70,6 +69,7 @@
 #include <net/dst.h>
 #include <net/route.h>
 #include <net/pkt_cls.h>
+#include <net/sock.h>
 
 struct meta_obj
 {
@@ -169,26 +169,6 @@ META_COLLECTOR(var_dev)
        *err = var_dev(skb->dev, dst);
 }
 
-META_COLLECTOR(int_indev)
-{
-       *err = int_dev(skb->input_dev, dst);
-}
-
-META_COLLECTOR(var_indev)
-{
-       *err = var_dev(skb->input_dev, dst);
-}
-
-META_COLLECTOR(int_realdev)
-{
-       *err = int_dev(skb->real_dev, dst);
-}
-
-META_COLLECTOR(var_realdev)
-{
-       *err = var_dev(skb->real_dev, dst);
-}
-
 /**************************************************************************
  * skb attributes
  **************************************************************************/
@@ -204,11 +184,6 @@ META_COLLECTOR(int_protocol)
        dst->value = skb->protocol;
 }
 
-META_COLLECTOR(int_security)
-{
-       dst->value = skb->security;
-}
-
 META_COLLECTOR(int_pkttype)
 {
        dst->value = skb->pkt_type;
@@ -233,12 +208,10 @@ META_COLLECTOR(int_maclen)
  * Netfilter
  **************************************************************************/
 
-#ifdef CONFIG_NETFILTER
-META_COLLECTOR(int_nfmark)
+META_COLLECTOR(int_mark)
 {
-       dst->value = skb->nfmark;
+       dst->value = skb->mark;
 }
-#endif
 
 /**************************************************************************
  * Traffic Control
@@ -249,31 +222,21 @@ META_COLLECTOR(int_tcindex)
        dst->value = skb->tc_index;
 }
 
-#ifdef CONFIG_NET_CLS_ACT
-META_COLLECTOR(int_tcverd)
-{
-       dst->value = skb->tc_verd;
-}
-
-META_COLLECTOR(int_tcclassid)
-{
-       dst->value = skb->tc_classid;
-}
-#endif
-
 /**************************************************************************
  * Routing
  **************************************************************************/
 
-#ifdef CONFIG_NET_CLS_ROUTE
 META_COLLECTOR(int_rtclassid)
 {
        if (unlikely(skb->dst == NULL))
                *err = -1;
        else
+#ifdef CONFIG_NET_CLS_ROUTE
                dst->value = skb->dst->tclassid;
-}
+#else
+               dst->value = 0;
 #endif
+}
 
 META_COLLECTOR(int_rtiif)
 {
@@ -284,6 +247,214 @@ META_COLLECTOR(int_rtiif)
 }
 
 /**************************************************************************
+ * Socket Attributes
+ **************************************************************************/
+
+#define SKIP_NONLOCAL(skb)                     \
+       if (unlikely(skb->sk == NULL)) {        \
+               *err = -1;                      \
+               return;                         \
+       }
+
+META_COLLECTOR(int_sk_family)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_family;
+}
+
+META_COLLECTOR(int_sk_state)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_state;
+}
+
+META_COLLECTOR(int_sk_reuse)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_reuse;
+}
+
+META_COLLECTOR(int_sk_bound_if)
+{
+       SKIP_NONLOCAL(skb);
+       /* No error if bound_dev_if is 0, legal userspace check */
+       dst->value = skb->sk->sk_bound_dev_if;
+}
+
+META_COLLECTOR(var_sk_bound_if)
+{
+       SKIP_NONLOCAL(skb);
+
+        if (skb->sk->sk_bound_dev_if == 0) {
+               dst->value = (unsigned long) "any";
+               dst->len = 3;
+        } else  {
+               struct net_device *dev;
+
+               dev = dev_get_by_index(skb->sk->sk_bound_dev_if);
+               *err = var_dev(dev, dst);
+               if (dev)
+                       dev_put(dev);
+        }
+}
+
+META_COLLECTOR(int_sk_refcnt)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = atomic_read(&skb->sk->sk_refcnt);
+}
+
+META_COLLECTOR(int_sk_rcvbuf)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_rcvbuf;
+}
+
+META_COLLECTOR(int_sk_shutdown)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_shutdown;
+}
+
+META_COLLECTOR(int_sk_proto)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_protocol;
+}
+
+META_COLLECTOR(int_sk_type)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_type;
+}
+
+META_COLLECTOR(int_sk_rmem_alloc)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = atomic_read(&skb->sk->sk_rmem_alloc);
+}
+
+META_COLLECTOR(int_sk_wmem_alloc)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = atomic_read(&skb->sk->sk_wmem_alloc);
+}
+
+META_COLLECTOR(int_sk_omem_alloc)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = atomic_read(&skb->sk->sk_omem_alloc);
+}
+
+META_COLLECTOR(int_sk_rcv_qlen)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_receive_queue.qlen;
+}
+
+META_COLLECTOR(int_sk_snd_qlen)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_write_queue.qlen;
+}
+
+META_COLLECTOR(int_sk_wmem_queued)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_wmem_queued;
+}
+
+META_COLLECTOR(int_sk_fwd_alloc)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_forward_alloc;
+}
+
+META_COLLECTOR(int_sk_sndbuf)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_sndbuf;
+}
+
+META_COLLECTOR(int_sk_alloc)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_allocation;
+}
+
+META_COLLECTOR(int_sk_route_caps)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_route_caps;
+}
+
+META_COLLECTOR(int_sk_hash)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_hash;
+}
+
+META_COLLECTOR(int_sk_lingertime)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_lingertime / HZ;
+}
+
+META_COLLECTOR(int_sk_err_qlen)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_error_queue.qlen;
+}
+
+META_COLLECTOR(int_sk_ack_bl)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_ack_backlog;
+}
+
+META_COLLECTOR(int_sk_max_ack_bl)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_max_ack_backlog;
+}
+
+META_COLLECTOR(int_sk_prio)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_priority;
+}
+
+META_COLLECTOR(int_sk_rcvlowat)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_rcvlowat;
+}
+
+META_COLLECTOR(int_sk_rcvtimeo)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_rcvtimeo / HZ;
+}
+
+META_COLLECTOR(int_sk_sndtimeo)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_sndtimeo / HZ;
+}
+
+META_COLLECTOR(int_sk_sendmsg_off)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_sndmsg_off;
+}
+
+META_COLLECTOR(int_sk_write_pend)
+{
+       SKIP_NONLOCAL(skb);
+       dst->value = skb->sk->sk_write_pending;
+}
+
+/**************************************************************************
  * Meta value collectors assignment table
  **************************************************************************/
 
@@ -293,41 +464,62 @@ struct meta_ops
                               struct meta_value *, struct meta_obj *, int *);
 };
 
+#define META_ID(name) TCF_META_ID_##name
+#define META_FUNC(name) { .get = meta_##name }
+
 /* Meta value operations table listing all meta value collectors and
  * assigns them to a type and meta id. */
 static struct meta_ops __meta_ops[TCF_META_TYPE_MAX+1][TCF_META_ID_MAX+1] = {
        [TCF_META_TYPE_VAR] = {
-               [TCF_META_ID_DEV]       = { .get = meta_var_dev },
-               [TCF_META_ID_INDEV]     = { .get = meta_var_indev },
-               [TCF_META_ID_REALDEV]   = { .get = meta_var_realdev }
+               [META_ID(DEV)]                  = META_FUNC(var_dev),
+               [META_ID(SK_BOUND_IF)]          = META_FUNC(var_sk_bound_if),
        },
        [TCF_META_TYPE_INT] = {
-               [TCF_META_ID_RANDOM]    = { .get = meta_int_random },
-               [TCF_META_ID_LOADAVG_0] = { .get = meta_int_loadavg_0 },
-               [TCF_META_ID_LOADAVG_1] = { .get = meta_int_loadavg_1 },
-               [TCF_META_ID_LOADAVG_2] = { .get = meta_int_loadavg_2 },
-               [TCF_META_ID_DEV]       = { .get = meta_int_dev },
-               [TCF_META_ID_INDEV]     = { .get = meta_int_indev },
-               [TCF_META_ID_REALDEV]   = { .get = meta_int_realdev },
-               [TCF_META_ID_PRIORITY]  = { .get = meta_int_priority },
-               [TCF_META_ID_PROTOCOL]  = { .get = meta_int_protocol },
-               [TCF_META_ID_SECURITY]  = { .get = meta_int_security },
-               [TCF_META_ID_PKTTYPE]   = { .get = meta_int_pkttype },
-               [TCF_META_ID_PKTLEN]    = { .get = meta_int_pktlen },
-               [TCF_META_ID_DATALEN]   = { .get = meta_int_datalen },
-               [TCF_META_ID_MACLEN]    = { .get = meta_int_maclen },
-#ifdef CONFIG_NETFILTER
-               [TCF_META_ID_NFMARK]    = { .get = meta_int_nfmark },
-#endif
-               [TCF_META_ID_TCINDEX]   = { .get = meta_int_tcindex },
-#ifdef CONFIG_NET_CLS_ACT
-               [TCF_META_ID_TCVERDICT] = { .get = meta_int_tcverd },
-               [TCF_META_ID_TCCLASSID] = { .get = meta_int_tcclassid },
-#endif
-#ifdef CONFIG_NET_CLS_ROUTE
-               [TCF_META_ID_RTCLASSID] = { .get = meta_int_rtclassid },
-#endif
-               [TCF_META_ID_RTIIF]     = { .get = meta_int_rtiif }
+               [META_ID(RANDOM)]               = META_FUNC(int_random),
+               [META_ID(LOADAVG_0)]            = META_FUNC(int_loadavg_0),
+               [META_ID(LOADAVG_1)]            = META_FUNC(int_loadavg_1),
+               [META_ID(LOADAVG_2)]            = META_FUNC(int_loadavg_2),
+               [META_ID(DEV)]                  = META_FUNC(int_dev),
+               [META_ID(PRIORITY)]             = META_FUNC(int_priority),
+               [META_ID(PROTOCOL)]             = META_FUNC(int_protocol),
+               [META_ID(PKTTYPE)]              = META_FUNC(int_pkttype),
+               [META_ID(PKTLEN)]               = META_FUNC(int_pktlen),
+               [META_ID(DATALEN)]              = META_FUNC(int_datalen),
+               [META_ID(MACLEN)]               = META_FUNC(int_maclen),
+               [META_ID(NFMARK)]               = META_FUNC(int_mark),
+               [META_ID(TCINDEX)]              = META_FUNC(int_tcindex),
+               [META_ID(RTCLASSID)]            = META_FUNC(int_rtclassid),
+               [META_ID(RTIIF)]                = META_FUNC(int_rtiif),
+               [META_ID(SK_FAMILY)]            = META_FUNC(int_sk_family),
+               [META_ID(SK_STATE)]             = META_FUNC(int_sk_state),
+               [META_ID(SK_REUSE)]             = META_FUNC(int_sk_reuse),
+               [META_ID(SK_BOUND_IF)]          = META_FUNC(int_sk_bound_if),
+               [META_ID(SK_REFCNT)]            = META_FUNC(int_sk_refcnt),
+               [META_ID(SK_RCVBUF)]            = META_FUNC(int_sk_rcvbuf),
+               [META_ID(SK_SNDBUF)]            = META_FUNC(int_sk_sndbuf),
+               [META_ID(SK_SHUTDOWN)]          = META_FUNC(int_sk_shutdown),
+               [META_ID(SK_PROTO)]             = META_FUNC(int_sk_proto),
+               [META_ID(SK_TYPE)]              = META_FUNC(int_sk_type),
+               [META_ID(SK_RMEM_ALLOC)]        = META_FUNC(int_sk_rmem_alloc),
+               [META_ID(SK_WMEM_ALLOC)]        = META_FUNC(int_sk_wmem_alloc),
+               [META_ID(SK_OMEM_ALLOC)]        = META_FUNC(int_sk_omem_alloc),
+               [META_ID(SK_WMEM_QUEUED)]       = META_FUNC(int_sk_wmem_queued),
+               [META_ID(SK_RCV_QLEN)]          = META_FUNC(int_sk_rcv_qlen),
+               [META_ID(SK_SND_QLEN)]          = META_FUNC(int_sk_snd_qlen),
+               [META_ID(SK_ERR_QLEN)]          = META_FUNC(int_sk_err_qlen),
+               [META_ID(SK_FORWARD_ALLOCS)]    = META_FUNC(int_sk_fwd_alloc),
+               [META_ID(SK_ALLOCS)]            = META_FUNC(int_sk_alloc),
+               [META_ID(SK_ROUTE_CAPS)]        = META_FUNC(int_sk_route_caps),
+               [META_ID(SK_HASH)]              = META_FUNC(int_sk_hash),
+               [META_ID(SK_LINGERTIME)]        = META_FUNC(int_sk_lingertime),
+               [META_ID(SK_ACK_BACKLOG)]       = META_FUNC(int_sk_ack_bl),
+               [META_ID(SK_MAX_ACK_BACKLOG)]   = META_FUNC(int_sk_max_ack_bl),
+               [META_ID(SK_PRIO)]              = META_FUNC(int_sk_prio),
+               [META_ID(SK_RCVLOWAT)]          = META_FUNC(int_sk_rcvlowat),
+               [META_ID(SK_RCVTIMEO)]          = META_FUNC(int_sk_rcvtimeo),
+               [META_ID(SK_SNDTIMEO)]          = META_FUNC(int_sk_sndtimeo),
+               [META_ID(SK_SENDMSG_OFF)]       = META_FUNC(int_sk_sendmsg_off),
+               [META_ID(SK_WRITE_PENDING)]     = META_FUNC(int_sk_write_pend),
        }
 };
 
@@ -354,18 +546,16 @@ static int meta_var_change(struct meta_value *dst, struct rtattr *rta)
 {
        int len = RTA_PAYLOAD(rta);
 
-       dst->val = (unsigned long) kmalloc(len, GFP_KERNEL);
+       dst->val = (unsigned long)kmemdup(RTA_DATA(rta), len, GFP_KERNEL);
        if (dst->val == 0UL)
                return -ENOMEM;
-       memcpy((void *) dst->val, RTA_DATA(rta), len);
        dst->len = len;
        return 0;
 }
 
 static void meta_var_destroy(struct meta_value *v)
 {
-       if (v->val)
-               kfree((void *) v->val);
+       kfree((void *) v->val);
 }
 
 static void meta_var_apply_extras(struct meta_value *v,
@@ -396,9 +586,9 @@ static int meta_int_compare(struct meta_obj *a, struct meta_obj *b)
        /* Let gcc optimize it, the unlikely is not really based on
         * some numbers but jump free code for mismatches seems
         * more logical. */
-       if (unlikely(a == b))
+       if (unlikely(a->value == b->value))
                return 0;
-       else if (a < b)
+       else if (a->value < b->value)
                return -1;
        else
                return 1;
@@ -481,7 +671,7 @@ static inline struct meta_type_ops * meta_type_ops(struct meta_value *v)
  * Core
  **************************************************************************/
 
-static inline int meta_get(struct sk_buff *skb, struct tcf_pkt_info *info, 
+static inline int meta_get(struct sk_buff *skb, struct tcf_pkt_info *info,
                           struct meta_value *v, struct meta_obj *dst)
 {
        int err = 0;
@@ -563,7 +753,7 @@ static int em_meta_change(struct tcf_proto *tp, void *data, int len,
        struct rtattr *tb[TCA_EM_META_MAX];
        struct tcf_meta_hdr *hdr;
        struct meta_match *meta = NULL;
-       
+
        if (rtattr_parse(tb, TCA_EM_META_MAX, data, len) < 0)
                goto errout;
 
@@ -578,10 +768,9 @@ static int em_meta_change(struct tcf_proto *tp, void *data, int len,
            TCF_META_ID(hdr->right.kind) > TCF_META_ID_MAX)
                goto errout;
 
-       meta = kmalloc(sizeof(*meta), GFP_KERNEL);
+       meta = kzalloc(sizeof(*meta), GFP_KERNEL);
        if (meta == NULL)
                goto errout;
-       memset(meta, 0, sizeof(*meta));
 
        memcpy(&meta->lvalue.hdr, &hdr->left, sizeof(hdr->left));
        memcpy(&meta->rvalue.hdr, &hdr->right, sizeof(hdr->right));
@@ -633,7 +822,7 @@ static int em_meta_dump(struct sk_buff *skb, struct tcf_ematch *em)
 
 rtattr_failure:
        return -1;
-}              
+}
 
 static struct tcf_ematch_ops em_meta_ops = {
        .kind     = TCF_EM_META,
@@ -650,7 +839,7 @@ static int __init init_em_meta(void)
        return tcf_em_register(&em_meta_ops);
 }
 
-static void __exit exit_em_meta(void) 
+static void __exit exit_em_meta(void)
 {
        tcf_em_unregister(&em_meta_ops);
 }
@@ -659,3 +848,5 @@ MODULE_LICENSE("GPL");
 
 module_init(init_em_meta);
 module_exit(exit_em_meta);
+
+MODULE_ALIAS_TCF_EMATCH(TCF_EM_META);