SAFE public projects git trees. - safe/jmp/linux-2.6/blob - drivers/net/tun.c

   1 /*
   2  *  TUN - Universal TUN/TAP device driver.
   3  *  Copyright (C) 1999-2002 Maxim Krasnyansky <maxk@qualcomm.com>
   4  *
   5  *  This program is free software; you can redistribute it and/or modify
   6  *  it under the terms of the GNU General Public License as published by
   7  *  the Free Software Foundation; either version 2 of the License, or
   8  *  (at your option) any later version.
   9  *
  10  *  This program is distributed in the hope that it will be useful,
  11  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  13  *  GNU General Public License for more details.
  14  *
  15  *  $Id: tun.c,v 1.15 2002/03/01 02:44:24 maxk Exp $
  16  */
  17
  18 /*
  19  *  Changes:
  20  *
  21  *  Mike Kershaw <dragorn@kismetwireless.net> 2005/08/14
  22  *    Add TUNSETLINK ioctl to set the link encapsulation
  23  *
  24  *  Mark Smith <markzzzsmith@yahoo.com.au>
  25  *    Use random_ether_addr() for tap MAC address.
  26  *
  27  *  Harald Roelle <harald.roelle@ifi.lmu.de>  2004/04/20
  28  *    Fixes in packet dropping, queue length setting and queue wakeup.
  29  *    Increased default tx queue length.
  30  *    Added ethtool API.
  31  *    Minor cleanups
  32  *
  33  *  Daniel Podlejski <underley@underley.eu.org>
  34  *    Modifications for 2.3.99-pre5 kernel.
  35  */
  36
  37 #define DRV_NAME        "tun"
  38 #define DRV_VERSION     "1.6"
  39 #define DRV_DESCRIPTION "Universal TUN/TAP device driver"
  40 #define DRV_COPYRIGHT   "(C) 1999-2004 Max Krasnyansky <maxk@qualcomm.com>"
  41
  42 #include <linux/module.h>
  43 #include <linux/errno.h>
  44 #include <linux/kernel.h>
  45 #include <linux/major.h>
  46 #include <linux/slab.h>
  47 #include <linux/smp_lock.h>
  48 #include <linux/poll.h>
  49 #include <linux/fcntl.h>
  50 #include <linux/init.h>
  51 #include <linux/skbuff.h>
  52 #include <linux/netdevice.h>
  53 #include <linux/etherdevice.h>
  54 #include <linux/miscdevice.h>
  55 #include <linux/ethtool.h>
  56 #include <linux/rtnetlink.h>
  57 #include <linux/if.h>
  58 #include <linux/if_arp.h>
  59 #include <linux/if_ether.h>
  60 #include <linux/if_tun.h>
  61 #include <linux/crc32.h>
  62 #include <linux/nsproxy.h>
  63 #include <linux/virtio_net.h>
  64 #include <net/net_namespace.h>
  65 #include <net/netns/generic.h>
  66
  67 #include <asm/system.h>
  68 #include <asm/uaccess.h>
  69
  70 /* Uncomment to enable debugging */
  71 /* #define TUN_DEBUG 1 */
  72
  73 #ifdef TUN_DEBUG
  74 static int debug;
  75
  76 #define DBG  if(tun->debug)printk
  77 #define DBG1 if(debug==2)printk
  78 #else
  79 #define DBG( a... )
  80 #define DBG1( a... )
  81 #endif
  82
  83 #define FLT_EXACT_COUNT 8
  84 struct tap_filter {
  85         unsigned int    count;    /* Number of addrs. Zero means disabled */
  86         u32             mask[2];  /* Mask of the hashed addrs */
  87         unsigned char   addr[FLT_EXACT_COUNT][ETH_ALEN];
  88 };
  89
  90 struct tun_file {
  91         struct tun_struct *tun;
  92         struct net *net;
  93         wait_queue_head_t       read_wait;
  94 };
  95
  96 struct tun_struct {
  97         struct tun_file         *tfile;
  98         unsigned int            flags;
  99         uid_t                   owner;
 100         gid_t                   group;
 101
 102         struct sk_buff_head     readq;
 103
 104         struct net_device       *dev;
 105         struct fasync_struct    *fasync;
 106
 107         struct tap_filter       txflt;
 108
 109 #ifdef TUN_DEBUG
 110         int debug;
 111 #endif
 112 };
 113
 114 static int tun_attach(struct tun_struct *tun, struct file *file)
 115 {
 116         struct tun_file *tfile = file->private_data;
 117         const struct cred *cred = current_cred();
 118         int err;
 119
 120         ASSERT_RTNL();
 121
 122         /* Check permissions */
 123         if (((tun->owner != -1 && cred->euid != tun->owner) ||
 124              (tun->group != -1 && cred->egid != tun->group)) &&
 125                 !capable(CAP_NET_ADMIN))
 126                 return -EPERM;
 127
 128         netif_tx_lock_bh(tun->dev);
 129
 130         err = -EINVAL;
 131         if (tfile->tun)
 132                 goto out;
 133
 134         err = -EBUSY;
 135         if (tun->tfile)
 136                 goto out;
 137
 138         err = 0;
 139         tfile->tun = tun;
 140         tun->tfile = tfile;
 141
 142 out:
 143         netif_tx_unlock_bh(tun->dev);
 144         return err;
 145 }
 146
 147 static void __tun_detach(struct tun_struct *tun)
 148 {
 149         struct tun_file *tfile = tun->tfile;
 150
 151         /* Detach from net device */
 152         netif_tx_lock_bh(tun->dev);
 153         tfile->tun = NULL;
 154         tun->tfile = NULL;
 155         netif_tx_unlock_bh(tun->dev);
 156
 157         /* Drop read queue */
 158         skb_queue_purge(&tun->readq);
 159 }
 160
 161 static struct tun_struct *__tun_get(struct tun_file *tfile)
 162 {
 163         return tfile->tun;
 164 }
 165
 166 static struct tun_struct *tun_get(struct file *file)
 167 {
 168         return __tun_get(file->private_data);
 169 }
 170
 171 static void tun_put(struct tun_struct *tun)
 172 {
 173         /* Noop for now */
 174 }
 175
 176 /* TAP filterting */
 177 static void addr_hash_set(u32 *mask, const u8 *addr)
 178 {
 179         int n = ether_crc(ETH_ALEN, addr) >> 26;
 180         mask[n >> 5] |= (1 << (n & 31));
 181 }
 182
 183 static unsigned int addr_hash_test(const u32 *mask, const u8 *addr)
 184 {
 185         int n = ether_crc(ETH_ALEN, addr) >> 26;
 186         return mask[n >> 5] & (1 << (n & 31));
 187 }
 188
 189 static int update_filter(struct tap_filter *filter, void __user *arg)
 190 {
 191         struct { u8 u[ETH_ALEN]; } *addr;
 192         struct tun_filter uf;
 193         int err, alen, n, nexact;
 194
 195         if (copy_from_user(&uf, arg, sizeof(uf)))
 196                 return -EFAULT;
 197
 198         if (!uf.count) {
 199                 /* Disabled */
 200                 filter->count = 0;
 201                 return 0;
 202         }
 203
 204         alen = ETH_ALEN * uf.count;
 205         addr = kmalloc(alen, GFP_KERNEL);
 206         if (!addr)
 207                 return -ENOMEM;
 208
 209         if (copy_from_user(addr, arg + sizeof(uf), alen)) {
 210                 err = -EFAULT;
 211                 goto done;
 212         }
 213
 214         /* The filter is updated without holding any locks. Which is
 215          * perfectly safe. We disable it first and in the worst
 216          * case we'll accept a few undesired packets. */
 217         filter->count = 0;
 218         wmb();
 219
 220         /* Use first set of addresses as an exact filter */
 221         for (n = 0; n < uf.count && n < FLT_EXACT_COUNT; n++)
 222                 memcpy(filter->addr[n], addr[n].u, ETH_ALEN);
 223
 224         nexact = n;
 225
 226         /* The rest is hashed */
 227         memset(filter->mask, 0, sizeof(filter->mask));
 228         for (; n < uf.count; n++)
 229                 addr_hash_set(filter->mask, addr[n].u);
 230
 231         /* For ALLMULTI just set the mask to all ones.
 232          * This overrides the mask populated above. */
 233         if ((uf.flags & TUN_FLT_ALLMULTI))
 234                 memset(filter->mask, ~0, sizeof(filter->mask));
 235
 236         /* Now enable the filter */
 237         wmb();
 238         filter->count = nexact;
 239
 240         /* Return the number of exact filters */
 241         err = nexact;
 242
 243 done:
 244         kfree(addr);
 245         return err;
 246 }
 247
 248 /* Returns: 0 - drop, !=0 - accept */
 249 static int run_filter(struct tap_filter *filter, const struct sk_buff *skb)
 250 {
 251         /* Cannot use eth_hdr(skb) here because skb_mac_hdr() is incorrect
 252          * at this point. */
 253         struct ethhdr *eh = (struct ethhdr *) skb->data;
 254         int i;
 255
 256         /* Exact match */
 257         for (i = 0; i < filter->count; i++)
 258                 if (!compare_ether_addr(eh->h_dest, filter->addr[i]))
 259                         return 1;
 260
 261         /* Inexact match (multicast only) */
 262         if (is_multicast_ether_addr(eh->h_dest))
 263                 return addr_hash_test(filter->mask, eh->h_dest);
 264
 265         return 0;
 266 }
 267
 268 /*
 269  * Checks whether the packet is accepted or not.
 270  * Returns: 0 - drop, !=0 - accept
 271  */
 272 static int check_filter(struct tap_filter *filter, const struct sk_buff *skb)
 273 {
 274         if (!filter->count)
 275                 return 1;
 276
 277         return run_filter(filter, skb);
 278 }
 279
 280 /* Network device part of the driver */
 281
 282 static const struct ethtool_ops tun_ethtool_ops;
 283
 284 /* Net device open. */
 285 static int tun_net_open(struct net_device *dev)
 286 {
 287         netif_start_queue(dev);
 288         return 0;
 289 }
 290
 291 /* Net device close. */
 292 static int tun_net_close(struct net_device *dev)
 293 {
 294         netif_stop_queue(dev);
 295         return 0;
 296 }
 297
 298 /* Net device start xmit */
 299 static int tun_net_xmit(struct sk_buff *skb, struct net_device *dev)
 300 {
 301         struct tun_struct *tun = netdev_priv(dev);
 302
 303         DBG(KERN_INFO "%s: tun_net_xmit %d\n", tun->dev->name, skb->len);
 304
 305         /* Drop packet if interface is not attached */
 306         if (!tun->tfile)
 307                 goto drop;
 308
 309         /* Drop if the filter does not like it.
 310          * This is a noop if the filter is disabled.
 311          * Filter can be enabled only for the TAP devices. */
 312         if (!check_filter(&tun->txflt, skb))
 313                 goto drop;
 314
 315         if (skb_queue_len(&tun->readq) >= dev->tx_queue_len) {
 316                 if (!(tun->flags & TUN_ONE_QUEUE)) {
 317                         /* Normal queueing mode. */
 318                         /* Packet scheduler handles dropping of further packets. */
 319                         netif_stop_queue(dev);
 320
 321                         /* We won't see all dropped packets individually, so overrun
 322                          * error is more appropriate. */
 323                         dev->stats.tx_fifo_errors++;
 324                 } else {
 325                         /* Single queue mode.
 326                          * Driver handles dropping of all packets itself. */
 327                         goto drop;
 328                 }
 329         }
 330
 331         /* Enqueue packet */
 332         skb_queue_tail(&tun->readq, skb);
 333         dev->trans_start = jiffies;
 334
 335         /* Notify and wake up reader process */
 336         if (tun->flags & TUN_FASYNC)
 337                 kill_fasync(&tun->fasync, SIGIO, POLL_IN);
 338         wake_up_interruptible(&tun->tfile->read_wait);
 339         return 0;
 340
 341 drop:
 342         dev->stats.tx_dropped++;
 343         kfree_skb(skb);
 344         return 0;
 345 }
 346
 347 static void tun_net_mclist(struct net_device *dev)
 348 {
 349         /*
 350          * This callback is supposed to deal with mc filter in
 351          * _rx_ path and has nothing to do with the _tx_ path.
 352          * In rx path we always accept everything userspace gives us.
 353          */
 354         return;
 355 }
 356
 357 #define MIN_MTU 68
 358 #define MAX_MTU 65535
 359
 360 static int
 361 tun_net_change_mtu(struct net_device *dev, int new_mtu)
 362 {
 363         if (new_mtu < MIN_MTU || new_mtu + dev->hard_header_len > MAX_MTU)
 364                 return -EINVAL;
 365         dev->mtu = new_mtu;
 366         return 0;
 367 }
 368
 369 static const struct net_device_ops tun_netdev_ops = {
 370         .ndo_open               = tun_net_open,
 371         .ndo_stop               = tun_net_close,
 372         .ndo_start_xmit         = tun_net_xmit,
 373         .ndo_change_mtu         = tun_net_change_mtu,
 374 };
 375
 376 static const struct net_device_ops tap_netdev_ops = {
 377         .ndo_open               = tun_net_open,
 378         .ndo_stop               = tun_net_close,
 379         .ndo_start_xmit         = tun_net_xmit,
 380         .ndo_change_mtu         = tun_net_change_mtu,
 381         .ndo_set_multicast_list = tun_net_mclist,
 382         .ndo_set_mac_address    = eth_mac_addr,
 383         .ndo_validate_addr      = eth_validate_addr,
 384 };
 385
 386 /* Initialize net device. */
 387 static void tun_net_init(struct net_device *dev)
 388 {
 389         struct tun_struct *tun = netdev_priv(dev);
 390
 391         switch (tun->flags & TUN_TYPE_MASK) {
 392         case TUN_TUN_DEV:
 393                 dev->netdev_ops = &tun_netdev_ops;
 394
 395                 /* Point-to-Point TUN Device */
 396                 dev->hard_header_len = 0;
 397                 dev->addr_len = 0;
 398                 dev->mtu = 1500;
 399
 400                 /* Zero header length */
 401                 dev->type = ARPHRD_NONE;
 402                 dev->flags = IFF_POINTOPOINT | IFF_NOARP | IFF_MULTICAST;
 403                 dev->tx_queue_len = TUN_READQ_SIZE;  /* We prefer our own queue length */
 404                 break;
 405
 406         case TUN_TAP_DEV:
 407                 dev->netdev_ops = &tap_netdev_ops;
 408                 /* Ethernet TAP Device */
 409                 ether_setup(dev);
 410
 411                 random_ether_addr(dev->dev_addr);
 412
 413                 dev->tx_queue_len = TUN_READQ_SIZE;  /* We prefer our own queue length */
 414                 break;
 415         }
 416 }
 417
 418 /* Character device part */
 419
 420 /* Poll */
 421 static unsigned int tun_chr_poll(struct file *file, poll_table * wait)
 422 {
 423         struct tun_file *tfile = file->private_data;
 424         struct tun_struct *tun = __tun_get(tfile);
 425         unsigned int mask = POLLOUT | POLLWRNORM;
 426
 427         if (!tun)
 428                 return POLLERR;
 429
 430         DBG(KERN_INFO "%s: tun_chr_poll\n", tun->dev->name);
 431
 432         poll_wait(file, &tfile->read_wait, wait);
 433
 434         if (!skb_queue_empty(&tun->readq))
 435                 mask |= POLLIN | POLLRDNORM;
 436
 437         tun_put(tun);
 438         return mask;
 439 }
 440
 441 /* prepad is the amount to reserve at front.  len is length after that.
 442  * linear is a hint as to how much to copy (usually headers). */
 443 static struct sk_buff *tun_alloc_skb(size_t prepad, size_t len, size_t linear,
 444                                      gfp_t gfp)
 445 {
 446         struct sk_buff *skb;
 447         unsigned int i;
 448
 449         skb = alloc_skb(prepad + len, gfp|__GFP_NOWARN);
 450         if (skb) {
 451                 skb_reserve(skb, prepad);
 452                 skb_put(skb, len);
 453                 return skb;
 454         }
 455
 456         /* Under a page?  Don't bother with paged skb. */
 457         if (prepad + len < PAGE_SIZE)
 458                 return NULL;
 459
 460         /* Start with a normal skb, and add pages. */
 461         skb = alloc_skb(prepad + linear, gfp);
 462         if (!skb)
 463                 return NULL;
 464
 465         skb_reserve(skb, prepad);
 466         skb_put(skb, linear);
 467
 468         len -= linear;
 469
 470         for (i = 0; i < MAX_SKB_FRAGS; i++) {
 471                 skb_frag_t *f = &skb_shinfo(skb)->frags[i];
 472
 473                 f->page = alloc_page(gfp|__GFP_ZERO);
 474                 if (!f->page)
 475                         break;
 476
 477                 f->page_offset = 0;
 478                 f->size = PAGE_SIZE;
 479
 480                 skb->data_len += PAGE_SIZE;
 481                 skb->len += PAGE_SIZE;
 482                 skb->truesize += PAGE_SIZE;
 483                 skb_shinfo(skb)->nr_frags++;
 484
 485                 if (len < PAGE_SIZE) {
 486                         len = 0;
 487                         break;
 488                 }
 489                 len -= PAGE_SIZE;
 490         }
 491
 492         /* Too large, or alloc fail? */
 493         if (unlikely(len)) {
 494                 kfree_skb(skb);
 495                 skb = NULL;
 496         }
 497
 498         return skb;
 499 }
 500
 501 /* Get packet from user space buffer */
 502 static __inline__ ssize_t tun_get_user(struct tun_struct *tun, struct iovec *iv, size_t count)
 503 {
 504         struct tun_pi pi = { 0, __constant_htons(ETH_P_IP) };
 505         struct sk_buff *skb;
 506         size_t len = count, align = 0;
 507         struct virtio_net_hdr gso = { 0 };
 508
 509         if (!(tun->flags & TUN_NO_PI)) {
 510                 if ((len -= sizeof(pi)) > count)
 511                         return -EINVAL;
 512
 513                 if(memcpy_fromiovec((void *)&pi, iv, sizeof(pi)))
 514                         return -EFAULT;
 515         }
 516
 517         if (tun->flags & TUN_VNET_HDR) {
 518                 if ((len -= sizeof(gso)) > count)
 519                         return -EINVAL;
 520
 521                 if (memcpy_fromiovec((void *)&gso, iv, sizeof(gso)))
 522                         return -EFAULT;
 523
 524                 if (gso.hdr_len > len)
 525                         return -EINVAL;
 526         }
 527
 528         if ((tun->flags & TUN_TYPE_MASK) == TUN_TAP_DEV) {
 529                 align = NET_IP_ALIGN;
 530                 if (unlikely(len < ETH_HLEN))
 531                         return -EINVAL;
 532         }
 533
 534         if (!(skb = tun_alloc_skb(align, len, gso.hdr_len, GFP_KERNEL))) {
 535                 tun->dev->stats.rx_dropped++;
 536                 return -ENOMEM;
 537         }
 538
 539         if (skb_copy_datagram_from_iovec(skb, 0, iv, len)) {
 540                 tun->dev->stats.rx_dropped++;
 541                 kfree_skb(skb);
 542                 return -EFAULT;
 543         }
 544
 545         if (gso.flags & VIRTIO_NET_HDR_F_NEEDS_CSUM) {
 546                 if (!skb_partial_csum_set(skb, gso.csum_start,
 547                                           gso.csum_offset)) {
 548                         tun->dev->stats.rx_frame_errors++;
 549                         kfree_skb(skb);
 550                         return -EINVAL;
 551                 }
 552         } else if (tun->flags & TUN_NOCHECKSUM)
 553                 skb->ip_summed = CHECKSUM_UNNECESSARY;
 554
 555         switch (tun->flags & TUN_TYPE_MASK) {
 556         case TUN_TUN_DEV:
 557                 if (tun->flags & TUN_NO_PI) {
 558                         switch (skb->data[0] & 0xf0) {
 559                         case 0x40:
 560                                 pi.proto = htons(ETH_P_IP);
 561                                 break;
 562                         case 0x60:
 563                                 pi.proto = htons(ETH_P_IPV6);
 564                                 break;
 565                         default:
 566                                 tun->dev->stats.rx_dropped++;
 567                                 kfree_skb(skb);
 568                                 return -EINVAL;
 569                         }
 570                 }
 571
 572                 skb_reset_mac_header(skb);
 573                 skb->protocol = pi.proto;
 574                 skb->dev = tun->dev;
 575                 break;
 576         case TUN_TAP_DEV:
 577                 skb->protocol = eth_type_trans(skb, tun->dev);
 578                 break;
 579         };
 580
 581         if (gso.gso_type != VIRTIO_NET_HDR_GSO_NONE) {
 582                 pr_debug("GSO!\n");
 583                 switch (gso.gso_type & ~VIRTIO_NET_HDR_GSO_ECN) {
 584                 case VIRTIO_NET_HDR_GSO_TCPV4:
 585                         skb_shinfo(skb)->gso_type = SKB_GSO_TCPV4;
 586                         break;
 587                 case VIRTIO_NET_HDR_GSO_TCPV6:
 588                         skb_shinfo(skb)->gso_type = SKB_GSO_TCPV6;
 589                         break;
 590                 default:
 591                         tun->dev->stats.rx_frame_errors++;
 592                         kfree_skb(skb);
 593                         return -EINVAL;
 594                 }
 595
 596                 if (gso.gso_type & VIRTIO_NET_HDR_GSO_ECN)
 597                         skb_shinfo(skb)->gso_type |= SKB_GSO_TCP_ECN;
 598
 599                 skb_shinfo(skb)->gso_size = gso.gso_size;
 600                 if (skb_shinfo(skb)->gso_size == 0) {
 601                         tun->dev->stats.rx_frame_errors++;
 602                         kfree_skb(skb);
 603                         return -EINVAL;
 604                 }
 605
 606                 /* Header must be checked, and gso_segs computed. */
 607                 skb_shinfo(skb)->gso_type |= SKB_GSO_DODGY;
 608                 skb_shinfo(skb)->gso_segs = 0;
 609         }
 610
 611         netif_rx_ni(skb);
 612
 613         tun->dev->stats.rx_packets++;
 614         tun->dev->stats.rx_bytes += len;
 615
 616         return count;
 617 }
 618
 619 static ssize_t tun_chr_aio_write(struct kiocb *iocb, const struct iovec *iv,
 620                               unsigned long count, loff_t pos)
 621 {
 622         struct tun_struct *tun = tun_get(iocb->ki_filp);
 623         ssize_t result;
 624
 625         if (!tun)
 626                 return -EBADFD;
 627
 628         DBG(KERN_INFO "%s: tun_chr_write %ld\n", tun->dev->name, count);
 629
 630         result = tun_get_user(tun, (struct iovec *) iv, iov_length(iv, count));
 631
 632         tun_put(tun);
 633         return result;
 634 }
 635
 636 /* Put packet to the user space buffer */
 637 static __inline__ ssize_t tun_put_user(struct tun_struct *tun,
 638                                        struct sk_buff *skb,
 639                                        struct iovec *iv, int len)
 640 {
 641         struct tun_pi pi = { 0, skb->protocol };
 642         ssize_t total = 0;
 643
 644         if (!(tun->flags & TUN_NO_PI)) {
 645                 if ((len -= sizeof(pi)) < 0)
 646                         return -EINVAL;
 647
 648                 if (len < skb->len) {
 649                         /* Packet will be striped */
 650                         pi.flags |= TUN_PKT_STRIP;
 651                 }
 652
 653                 if (memcpy_toiovec(iv, (void *) &pi, sizeof(pi)))
 654                         return -EFAULT;
 655                 total += sizeof(pi);
 656         }
 657
 658         if (tun->flags & TUN_VNET_HDR) {
 659                 struct virtio_net_hdr gso = { 0 }; /* no info leak */
 660                 if ((len -= sizeof(gso)) < 0)
 661                         return -EINVAL;
 662
 663                 if (skb_is_gso(skb)) {
 664                         struct skb_shared_info *sinfo = skb_shinfo(skb);
 665
 666                         /* This is a hint as to how much should be linear. */
 667                         gso.hdr_len = skb_headlen(skb);
 668                         gso.gso_size = sinfo->gso_size;
 669                         if (sinfo->gso_type & SKB_GSO_TCPV4)
 670                                 gso.gso_type = VIRTIO_NET_HDR_GSO_TCPV4;
 671                         else if (sinfo->gso_type & SKB_GSO_TCPV6)
 672                                 gso.gso_type = VIRTIO_NET_HDR_GSO_TCPV6;
 673                         else
 674                                 BUG();
 675                         if (sinfo->gso_type & SKB_GSO_TCP_ECN)
 676                                 gso.gso_type |= VIRTIO_NET_HDR_GSO_ECN;
 677                 } else
 678                         gso.gso_type = VIRTIO_NET_HDR_GSO_NONE;
 679
 680                 if (skb->ip_summed == CHECKSUM_PARTIAL) {
 681                         gso.flags = VIRTIO_NET_HDR_F_NEEDS_CSUM;
 682                         gso.csum_start = skb->csum_start - skb_headroom(skb);
 683                         gso.csum_offset = skb->csum_offset;
 684                 } /* else everything is zero */
 685
 686                 if (unlikely(memcpy_toiovec(iv, (void *)&gso, sizeof(gso))))
 687                         return -EFAULT;
 688                 total += sizeof(gso);
 689         }
 690
 691         len = min_t(int, skb->len, len);
 692
 693         skb_copy_datagram_iovec(skb, 0, iv, len);
 694         total += len;
 695
 696         tun->dev->stats.tx_packets++;
 697         tun->dev->stats.tx_bytes += len;
 698
 699         return total;
 700 }
 701
 702 static ssize_t tun_chr_aio_read(struct kiocb *iocb, const struct iovec *iv,
 703                             unsigned long count, loff_t pos)
 704 {
 705         struct file *file = iocb->ki_filp;
 706         struct tun_file *tfile = file->private_data;
 707         struct tun_struct *tun = __tun_get(tfile);
 708         DECLARE_WAITQUEUE(wait, current);
 709         struct sk_buff *skb;
 710         ssize_t len, ret = 0;
 711
 712         if (!tun)
 713                 return -EBADFD;
 714
 715         DBG(KERN_INFO "%s: tun_chr_read\n", tun->dev->name);
 716
 717         len = iov_length(iv, count);
 718         if (len < 0) {
 719                 ret = -EINVAL;
 720                 goto out;
 721         }
 722
 723         add_wait_queue(&tfile->read_wait, &wait);
 724         while (len) {
 725                 current->state = TASK_INTERRUPTIBLE;
 726
 727                 /* Read frames from the queue */
 728                 if (!(skb=skb_dequeue(&tun->readq))) {
 729                         if (file->f_flags & O_NONBLOCK) {
 730                                 ret = -EAGAIN;
 731                                 break;
 732                         }
 733                         if (signal_pending(current)) {
 734                                 ret = -ERESTARTSYS;
 735                                 break;
 736                         }
 737
 738                         /* Nothing to read, let's sleep */
 739                         schedule();
 740                         continue;
 741                 }
 742                 netif_wake_queue(tun->dev);
 743
 744                 ret = tun_put_user(tun, skb, (struct iovec *) iv, len);
 745                 kfree_skb(skb);
 746                 break;
 747         }
 748
 749         current->state = TASK_RUNNING;
 750         remove_wait_queue(&tfile->read_wait, &wait);
 751
 752 out:
 753         tun_put(tun);
 754         return ret;
 755 }
 756
 757 static void tun_setup(struct net_device *dev)
 758 {
 759         struct tun_struct *tun = netdev_priv(dev);
 760
 761         skb_queue_head_init(&tun->readq);
 762
 763         tun->owner = -1;
 764         tun->group = -1;
 765
 766         dev->ethtool_ops = &tun_ethtool_ops;
 767         dev->destructor = free_netdev;
 768         dev->features |= NETIF_F_NETNS_LOCAL;
 769 }
 770
 771 static int tun_set_iff(struct net *net, struct file *file, struct ifreq *ifr)
 772 {
 773         struct tun_struct *tun;
 774         struct net_device *dev;
 775         int err;
 776
 777         dev = __dev_get_by_name(net, ifr->ifr_name);
 778         if (dev) {
 779                 if ((ifr->ifr_flags & IFF_TUN) && dev->netdev_ops == &tun_netdev_ops)
 780                         tun = netdev_priv(dev);
 781                 else if ((ifr->ifr_flags & IFF_TAP) && dev->netdev_ops == &tap_netdev_ops)
 782                         tun = netdev_priv(dev);
 783                 else
 784                         return -EINVAL;
 785
 786                 err = tun_attach(tun, file);
 787                 if (err < 0)
 788                         return err;
 789         }
 790         else {
 791                 char *name;
 792                 unsigned long flags = 0;
 793
 794                 err = -EINVAL;
 795
 796                 if (!capable(CAP_NET_ADMIN))
 797                         return -EPERM;
 798
 799                 /* Set dev type */
 800                 if (ifr->ifr_flags & IFF_TUN) {
 801                         /* TUN device */
 802                         flags |= TUN_TUN_DEV;
 803                         name = "tun%d";
 804                 } else if (ifr->ifr_flags & IFF_TAP) {
 805                         /* TAP device */
 806                         flags |= TUN_TAP_DEV;
 807                         name = "tap%d";
 808                 } else
 809                         goto failed;
 810
 811                 if (*ifr->ifr_name)
 812                         name = ifr->ifr_name;
 813
 814                 dev = alloc_netdev(sizeof(struct tun_struct), name,
 815                                    tun_setup);
 816                 if (!dev)
 817                         return -ENOMEM;
 818
 819                 dev_net_set(dev, net);
 820
 821                 tun = netdev_priv(dev);
 822                 tun->dev = dev;
 823                 tun->flags = flags;
 824                 tun->txflt.count = 0;
 825
 826                 tun_net_init(dev);
 827
 828                 if (strchr(dev->name, '%')) {
 829                         err = dev_alloc_name(dev, dev->name);
 830                         if (err < 0)
 831                                 goto err_free_dev;
 832                 }
 833
 834                 err = register_netdevice(tun->dev);
 835                 if (err < 0)
 836                         goto err_free_dev;
 837
 838                 err = tun_attach(tun, file);
 839                 if (err < 0)
 840                         goto err_free_dev;
 841         }
 842
 843         DBG(KERN_INFO "%s: tun_set_iff\n", tun->dev->name);
 844
 845         if (ifr->ifr_flags & IFF_NO_PI)
 846                 tun->flags |= TUN_NO_PI;
 847         else
 848                 tun->flags &= ~TUN_NO_PI;
 849
 850         if (ifr->ifr_flags & IFF_ONE_QUEUE)
 851                 tun->flags |= TUN_ONE_QUEUE;
 852         else
 853                 tun->flags &= ~TUN_ONE_QUEUE;
 854
 855         if (ifr->ifr_flags & IFF_VNET_HDR)
 856                 tun->flags |= TUN_VNET_HDR;
 857         else
 858                 tun->flags &= ~TUN_VNET_HDR;
 859
 860         /* Make sure persistent devices do not get stuck in
 861          * xoff state.
 862          */
 863         if (netif_running(tun->dev))
 864                 netif_wake_queue(tun->dev);
 865
 866         strcpy(ifr->ifr_name, tun->dev->name);
 867         return 0;
 868
 869  err_free_dev:
 870         free_netdev(dev);
 871  failed:
 872         return err;
 873 }
 874
 875 static int tun_get_iff(struct net *net, struct file *file, struct ifreq *ifr)
 876 {
 877         struct tun_struct *tun = tun_get(file);
 878
 879         if (!tun)
 880                 return -EBADFD;
 881
 882         DBG(KERN_INFO "%s: tun_get_iff\n", tun->dev->name);
 883
 884         strcpy(ifr->ifr_name, tun->dev->name);
 885
 886         ifr->ifr_flags = 0;
 887
 888         if (ifr->ifr_flags & TUN_TUN_DEV)
 889                 ifr->ifr_flags |= IFF_TUN;
 890         else
 891                 ifr->ifr_flags |= IFF_TAP;
 892
 893         if (tun->flags & TUN_NO_PI)
 894                 ifr->ifr_flags |= IFF_NO_PI;
 895
 896         if (tun->flags & TUN_ONE_QUEUE)
 897                 ifr->ifr_flags |= IFF_ONE_QUEUE;
 898
 899         if (tun->flags & TUN_VNET_HDR)
 900                 ifr->ifr_flags |= IFF_VNET_HDR;
 901
 902         tun_put(tun);
 903         return 0;
 904 }
 905
 906 /* This is like a cut-down ethtool ops, except done via tun fd so no
 907  * privs required. */
 908 static int set_offload(struct net_device *dev, unsigned long arg)
 909 {
 910         unsigned int old_features, features;
 911
 912         old_features = dev->features;
 913         /* Unset features, set them as we chew on the arg. */
 914         features = (old_features & ~(NETIF_F_HW_CSUM|NETIF_F_SG|NETIF_F_FRAGLIST
 915                                     |NETIF_F_TSO_ECN|NETIF_F_TSO|NETIF_F_TSO6));
 916
 917         if (arg & TUN_F_CSUM) {
 918                 features |= NETIF_F_HW_CSUM|NETIF_F_SG|NETIF_F_FRAGLIST;
 919                 arg &= ~TUN_F_CSUM;
 920
 921                 if (arg & (TUN_F_TSO4|TUN_F_TSO6)) {
 922                         if (arg & TUN_F_TSO_ECN) {
 923                                 features |= NETIF_F_TSO_ECN;
 924                                 arg &= ~TUN_F_TSO_ECN;
 925                         }
 926                         if (arg & TUN_F_TSO4)
 927                                 features |= NETIF_F_TSO;
 928                         if (arg & TUN_F_TSO6)
 929                                 features |= NETIF_F_TSO6;
 930                         arg &= ~(TUN_F_TSO4|TUN_F_TSO6);
 931                 }
 932         }
 933
 934         /* This gives the user a way to test for new features in future by
 935          * trying to set them. */
 936         if (arg)
 937                 return -EINVAL;
 938
 939         dev->features = features;
 940         if (old_features != dev->features)
 941                 netdev_features_change(dev);
 942
 943         return 0;
 944 }
 945
 946 static int tun_chr_ioctl(struct inode *inode, struct file *file,
 947                          unsigned int cmd, unsigned long arg)
 948 {
 949         struct tun_file *tfile = file->private_data;
 950         struct tun_struct *tun;
 951         void __user* argp = (void __user*)arg;
 952         struct ifreq ifr;
 953         int ret;
 954
 955         if (cmd == TUNSETIFF || _IOC_TYPE(cmd) == 0x89)
 956                 if (copy_from_user(&ifr, argp, sizeof ifr))
 957                         return -EFAULT;
 958
 959         if (cmd == TUNGETFEATURES) {
 960                 /* Currently this just means: "what IFF flags are valid?".
 961                  * This is needed because we never checked for invalid flags on
 962                  * TUNSETIFF. */
 963                 return put_user(IFF_TUN | IFF_TAP | IFF_NO_PI | IFF_ONE_QUEUE |
 964                                 IFF_VNET_HDR,
 965                                 (unsigned int __user*)argp);
 966         }
 967
 968         tun = __tun_get(tfile);
 969         if (cmd == TUNSETIFF && !tun) {
 970                 int err;
 971
 972                 ifr.ifr_name[IFNAMSIZ-1] = '\0';
 973
 974                 rtnl_lock();
 975                 err = tun_set_iff(tfile->net, file, &ifr);
 976                 rtnl_unlock();
 977
 978                 if (err)
 979                         return err;
 980
 981                 if (copy_to_user(argp, &ifr, sizeof(ifr)))
 982                         return -EFAULT;
 983                 return 0;
 984         }
 985
 986
 987         if (!tun)
 988                 return -EBADFD;
 989
 990         DBG(KERN_INFO "%s: tun_chr_ioctl cmd %d\n", tun->dev->name, cmd);
 991
 992         ret = 0;
 993         switch (cmd) {
 994         case TUNGETIFF:
 995                 ret = tun_get_iff(current->nsproxy->net_ns, file, &ifr);
 996                 if (ret)
 997                         break;
 998
 999                 if (copy_to_user(argp, &ifr, sizeof(ifr)))
1000                         ret = -EFAULT;
1001                 break;
1002
1003         case TUNSETNOCSUM:
1004                 /* Disable/Enable checksum */
1005                 if (arg)
1006                         tun->flags |= TUN_NOCHECKSUM;
1007                 else
1008                         tun->flags &= ~TUN_NOCHECKSUM;
1009
1010                 DBG(KERN_INFO "%s: checksum %s\n",
1011                     tun->dev->name, arg ? "disabled" : "enabled");
1012                 break;
1013
1014         case TUNSETPERSIST:
1015                 /* Disable/Enable persist mode */
1016                 if (arg)
1017                         tun->flags |= TUN_PERSIST;
1018                 else
1019                         tun->flags &= ~TUN_PERSIST;
1020
1021                 DBG(KERN_INFO "%s: persist %s\n",
1022                     tun->dev->name, arg ? "enabled" : "disabled");
1023                 break;
1024
1025         case TUNSETOWNER:
1026                 /* Set owner of the device */
1027                 tun->owner = (uid_t) arg;
1028
1029                 DBG(KERN_INFO "%s: owner set to %d\n", tun->dev->name, tun->owner);
1030                 break;
1031
1032         case TUNSETGROUP:
1033                 /* Set group of the device */
1034                 tun->group= (gid_t) arg;
1035
1036                 DBG(KERN_INFO "%s: group set to %d\n", tun->dev->name, tun->group);
1037                 break;
1038
1039         case TUNSETLINK:
1040                 /* Only allow setting the type when the interface is down */
1041                 rtnl_lock();
1042                 if (tun->dev->flags & IFF_UP) {
1043                         DBG(KERN_INFO "%s: Linktype set failed because interface is up\n",
1044                                 tun->dev->name);
1045                         ret = -EBUSY;
1046                 } else {
1047                         tun->dev->type = (int) arg;
1048                         DBG(KERN_INFO "%s: linktype set to %d\n", tun->dev->name, tun->dev->type);
1049                         ret = 0;
1050                 }
1051                 rtnl_unlock();
1052                 break;
1053
1054 #ifdef TUN_DEBUG
1055         case TUNSETDEBUG:
1056                 tun->debug = arg;
1057                 break;
1058 #endif
1059         case TUNSETOFFLOAD:
1060                 rtnl_lock();
1061                 ret = set_offload(tun->dev, arg);
1062                 rtnl_unlock();
1063                 break;
1064
1065         case TUNSETTXFILTER:
1066                 /* Can be set only for TAPs */
1067                 ret = -EINVAL;
1068                 if ((tun->flags & TUN_TYPE_MASK) != TUN_TAP_DEV)
1069                         break;
1070                 rtnl_lock();
1071                 ret = update_filter(&tun->txflt, (void __user *)arg);
1072                 rtnl_unlock();
1073                 break;
1074
1075         case SIOCGIFHWADDR:
1076                 /* Get hw addres */
1077                 memcpy(ifr.ifr_hwaddr.sa_data, tun->dev->dev_addr, ETH_ALEN);
1078                 ifr.ifr_hwaddr.sa_family = tun->dev->type;
1079                 if (copy_to_user(argp, &ifr, sizeof ifr))
1080                         ret = -EFAULT;
1081                 break;
1082
1083         case SIOCSIFHWADDR:
1084                 /* Set hw address */
1085                 DBG(KERN_DEBUG "%s: set hw address: %pM\n",
1086                         tun->dev->name, ifr.ifr_hwaddr.sa_data);
1087
1088                 rtnl_lock();
1089                 ret = dev_set_mac_address(tun->dev, &ifr.ifr_hwaddr);
1090                 rtnl_unlock();
1091                 break;
1092         default:
1093                 ret = -EINVAL;
1094                 break;
1095         };
1096
1097         tun_put(tun);
1098         return ret;
1099 }
1100
1101 static int tun_chr_fasync(int fd, struct file *file, int on)
1102 {
1103         struct tun_struct *tun = tun_get(file);
1104         int ret;
1105
1106         if (!tun)
1107                 return -EBADFD;
1108
1109         DBG(KERN_INFO "%s: tun_chr_fasync %d\n", tun->dev->name, on);
1110
1111         lock_kernel();
1112         if ((ret = fasync_helper(fd, file, on, &tun->fasync)) < 0)
1113                 goto out;
1114
1115         if (on) {
1116                 ret = __f_setown(file, task_pid(current), PIDTYPE_PID, 0);
1117                 if (ret)
1118                         goto out;
1119                 tun->flags |= TUN_FASYNC;
1120         } else
1121                 tun->flags &= ~TUN_FASYNC;
1122         ret = 0;
1123 out:
1124         unlock_kernel();
1125         tun_put(tun);
1126         return ret;
1127 }
1128
1129 static int tun_chr_open(struct inode *inode, struct file * file)
1130 {
1131         struct tun_file *tfile;
1132         cycle_kernel_lock();
1133         DBG1(KERN_INFO "tunX: tun_chr_open\n");
1134
1135         tfile = kmalloc(sizeof(*tfile), GFP_KERNEL);
1136         if (!tfile)
1137                 return -ENOMEM;
1138         tfile->tun = NULL;
1139         tfile->net = get_net(current->nsproxy->net_ns);
1140         init_waitqueue_head(&tfile->read_wait);
1141         file->private_data = tfile;
1142         return 0;
1143 }
1144
1145 static int tun_chr_close(struct inode *inode, struct file *file)
1146 {
1147         struct tun_file *tfile = file->private_data;
1148         struct tun_struct *tun = __tun_get(tfile);
1149
1150
1151         if (tun) {
1152                 DBG(KERN_INFO "%s: tun_chr_close\n", tun->dev->name);
1153
1154                 rtnl_lock();
1155                 __tun_detach(tun);
1156
1157                 /* If desireable, unregister the netdevice. */
1158                 if (!(tun->flags & TUN_PERSIST))
1159                         unregister_netdevice(tun->dev);
1160
1161                 rtnl_unlock();
1162         }
1163
1164         put_net(tfile->net);
1165         kfree(tfile);
1166
1167         return 0;
1168 }
1169
1170 static const struct file_operations tun_fops = {
1171         .owner  = THIS_MODULE,
1172         .llseek = no_llseek,
1173         .read  = do_sync_read,
1174         .aio_read  = tun_chr_aio_read,
1175         .write = do_sync_write,
1176         .aio_write = tun_chr_aio_write,
1177         .poll   = tun_chr_poll,
1178         .ioctl  = tun_chr_ioctl,
1179         .open   = tun_chr_open,
1180         .release = tun_chr_close,
1181         .fasync = tun_chr_fasync
1182 };
1183
1184 static struct miscdevice tun_miscdev = {
1185         .minor = TUN_MINOR,
1186         .name = "tun",
1187         .fops = &tun_fops,
1188 };
1189
1190 /* ethtool interface */
1191
1192 static int tun_get_settings(struct net_device *dev, struct ethtool_cmd *cmd)
1193 {
1194         cmd->supported          = 0;
1195         cmd->advertising        = 0;
1196         cmd->speed              = SPEED_10;
1197         cmd->duplex             = DUPLEX_FULL;
1198         cmd->port               = PORT_TP;
1199         cmd->phy_address        = 0;
1200         cmd->transceiver        = XCVR_INTERNAL;
1201         cmd->autoneg            = AUTONEG_DISABLE;
1202         cmd->maxtxpkt           = 0;
1203         cmd->maxrxpkt           = 0;
1204         return 0;
1205 }
1206
1207 static void tun_get_drvinfo(struct net_device *dev, struct ethtool_drvinfo *info)
1208 {
1209         struct tun_struct *tun = netdev_priv(dev);
1210
1211         strcpy(info->driver, DRV_NAME);
1212         strcpy(info->version, DRV_VERSION);
1213         strcpy(info->fw_version, "N/A");
1214
1215         switch (tun->flags & TUN_TYPE_MASK) {
1216         case TUN_TUN_DEV:
1217                 strcpy(info->bus_info, "tun");
1218                 break;
1219         case TUN_TAP_DEV:
1220                 strcpy(info->bus_info, "tap");
1221                 break;
1222         }
1223 }
1224
1225 static u32 tun_get_msglevel(struct net_device *dev)
1226 {
1227 #ifdef TUN_DEBUG
1228         struct tun_struct *tun = netdev_priv(dev);
1229         return tun->debug;
1230 #else
1231         return -EOPNOTSUPP;
1232 #endif
1233 }
1234
1235 static void tun_set_msglevel(struct net_device *dev, u32 value)
1236 {
1237 #ifdef TUN_DEBUG
1238         struct tun_struct *tun = netdev_priv(dev);
1239         tun->debug = value;
1240 #endif
1241 }
1242
1243 static u32 tun_get_link(struct net_device *dev)
1244 {
1245         struct tun_struct *tun = netdev_priv(dev);
1246         return !!tun->tfile;
1247 }
1248
1249 static u32 tun_get_rx_csum(struct net_device *dev)
1250 {
1251         struct tun_struct *tun = netdev_priv(dev);
1252         return (tun->flags & TUN_NOCHECKSUM) == 0;
1253 }
1254
1255 static int tun_set_rx_csum(struct net_device *dev, u32 data)
1256 {
1257         struct tun_struct *tun = netdev_priv(dev);
1258         if (data)
1259                 tun->flags &= ~TUN_NOCHECKSUM;
1260         else
1261                 tun->flags |= TUN_NOCHECKSUM;
1262         return 0;
1263 }
1264
1265 static const struct ethtool_ops tun_ethtool_ops = {
1266         .get_settings   = tun_get_settings,
1267         .get_drvinfo    = tun_get_drvinfo,
1268         .get_msglevel   = tun_get_msglevel,
1269         .set_msglevel   = tun_set_msglevel,
1270         .get_link       = tun_get_link,
1271         .get_rx_csum    = tun_get_rx_csum,
1272         .set_rx_csum    = tun_set_rx_csum
1273 };
1274
1275 static int tun_init_net(struct net *net)
1276 {
1277         return 0;
1278 }
1279
1280 static void tun_exit_net(struct net *net)
1281 {
1282         struct net_device *dev, *next;
1283
1284         rtnl_lock();
1285         for_each_netdev_safe(net, dev, next) {
1286                 if (dev->ethtool_ops != &tun_ethtool_ops)
1287                         continue;
1288                 DBG(KERN_INFO "%s cleaned up\n", dev->name);
1289                 unregister_netdevice(dev);
1290         }
1291         rtnl_unlock();
1292 }
1293
1294 static struct pernet_operations tun_net_ops = {
1295         .init = tun_init_net,
1296         .exit = tun_exit_net,
1297 };
1298
1299 static int __init tun_init(void)
1300 {
1301         int ret = 0;
1302
1303         printk(KERN_INFO "tun: %s, %s\n", DRV_DESCRIPTION, DRV_VERSION);
1304         printk(KERN_INFO "tun: %s\n", DRV_COPYRIGHT);
1305
1306         ret = register_pernet_device(&tun_net_ops);
1307         if (ret) {
1308                 printk(KERN_ERR "tun: Can't register pernet ops\n");
1309                 goto err_pernet;
1310         }
1311
1312         ret = misc_register(&tun_miscdev);
1313         if (ret) {
1314                 printk(KERN_ERR "tun: Can't register misc device %d\n", TUN_MINOR);
1315                 goto err_misc;
1316         }
1317         return 0;
1318
1319 err_misc:
1320         unregister_pernet_device(&tun_net_ops);
1321 err_pernet:
1322         return ret;
1323 }
1324
1325 static void tun_cleanup(void)
1326 {
1327         misc_deregister(&tun_miscdev);
1328         unregister_pernet_device(&tun_net_ops);
1329 }
1330
1331 module_init(tun_init);
1332 module_exit(tun_cleanup);
1333 MODULE_DESCRIPTION(DRV_DESCRIPTION);
1334 MODULE_AUTHOR(DRV_COPYRIGHT);
1335 MODULE_LICENSE("GPL");
1336 MODULE_ALIAS_MISCDEV(TUN_MINOR);