SAFE public projects git trees. - safe/jmp/linux-2.6/blob - drivers/net/bfin_mac.c

   1 /*
   2  * Blackfin On-Chip MAC Driver
   3  *
   4  * Copyright 2004-2007 Analog Devices Inc.
   5  *
   6  * Enter bugs at http://blackfin.uclinux.org/
   7  *
   8  * Licensed under the GPL-2 or later.
   9  */
  10
  11 #include <linux/init.h>
  12 #include <linux/module.h>
  13 #include <linux/kernel.h>
  14 #include <linux/sched.h>
  15 #include <linux/slab.h>
  16 #include <linux/delay.h>
  17 #include <linux/timer.h>
  18 #include <linux/errno.h>
  19 #include <linux/irq.h>
  20 #include <linux/io.h>
  21 #include <linux/ioport.h>
  22 #include <linux/crc32.h>
  23 #include <linux/device.h>
  24 #include <linux/spinlock.h>
  25 #include <linux/mii.h>
  26 #include <linux/phy.h>
  27 #include <linux/netdevice.h>
  28 #include <linux/etherdevice.h>
  29 #include <linux/ethtool.h>
  30 #include <linux/skbuff.h>
  31 #include <linux/platform_device.h>
  32
  33 #include <asm/dma.h>
  34 #include <linux/dma-mapping.h>
  35
  36 #include <asm/div64.h>
  37 #include <asm/dpmc.h>
  38 #include <asm/blackfin.h>
  39 #include <asm/cacheflush.h>
  40 #include <asm/portmux.h>
  41
  42 #include "bfin_mac.h"
  43
  44 #define DRV_NAME        "bfin_mac"
  45 #define DRV_VERSION     "1.1"
  46 #define DRV_AUTHOR      "Bryan Wu, Luke Yang"
  47 #define DRV_DESC        "Blackfin on-chip Ethernet MAC driver"
  48
  49 MODULE_AUTHOR(DRV_AUTHOR);
  50 MODULE_LICENSE("GPL");
  51 MODULE_DESCRIPTION(DRV_DESC);
  52 MODULE_ALIAS("platform:bfin_mac");
  53
  54 #if defined(CONFIG_BFIN_MAC_USE_L1)
  55 # define bfin_mac_alloc(dma_handle, size)  l1_data_sram_zalloc(size)
  56 # define bfin_mac_free(dma_handle, ptr)    l1_data_sram_free(ptr)
  57 #else
  58 # define bfin_mac_alloc(dma_handle, size) \
  59         dma_alloc_coherent(NULL, size, dma_handle, GFP_KERNEL)
  60 # define bfin_mac_free(dma_handle, ptr) \
  61         dma_free_coherent(NULL, sizeof(*ptr), ptr, dma_handle)
  62 #endif
  63
  64 #define PKT_BUF_SZ 1580
  65
  66 #define MAX_TIMEOUT_CNT 500
  67
  68 /* pointers to maintain transmit list */
  69 static struct net_dma_desc_tx *tx_list_head;
  70 static struct net_dma_desc_tx *tx_list_tail;
  71 static struct net_dma_desc_rx *rx_list_head;
  72 static struct net_dma_desc_rx *rx_list_tail;
  73 static struct net_dma_desc_rx *current_rx_ptr;
  74 static struct net_dma_desc_tx *current_tx_ptr;
  75 static struct net_dma_desc_tx *tx_desc;
  76 static struct net_dma_desc_rx *rx_desc;
  77
  78 #if defined(CONFIG_BFIN_MAC_RMII)
  79 static u16 pin_req[] = P_RMII0;
  80 #else
  81 static u16 pin_req[] = P_MII0;
  82 #endif
  83
  84 static void desc_list_free(void)
  85 {
  86         struct net_dma_desc_rx *r;
  87         struct net_dma_desc_tx *t;
  88         int i;
  89 #if !defined(CONFIG_BFIN_MAC_USE_L1)
  90         dma_addr_t dma_handle = 0;
  91 #endif
  92
  93         if (tx_desc) {
  94                 t = tx_list_head;
  95                 for (i = 0; i < CONFIG_BFIN_TX_DESC_NUM; i++) {
  96                         if (t) {
  97                                 if (t->skb) {
  98                                         dev_kfree_skb(t->skb);
  99                                         t->skb = NULL;
 100                                 }
 101                                 t = t->next;
 102                         }
 103                 }
 104                 bfin_mac_free(dma_handle, tx_desc);
 105         }
 106
 107         if (rx_desc) {
 108                 r = rx_list_head;
 109                 for (i = 0; i < CONFIG_BFIN_RX_DESC_NUM; i++) {
 110                         if (r) {
 111                                 if (r->skb) {
 112                                         dev_kfree_skb(r->skb);
 113                                         r->skb = NULL;
 114                                 }
 115                                 r = r->next;
 116                         }
 117                 }
 118                 bfin_mac_free(dma_handle, rx_desc);
 119         }
 120 }
 121
 122 static int desc_list_init(void)
 123 {
 124         int i;
 125         struct sk_buff *new_skb;
 126 #if !defined(CONFIG_BFIN_MAC_USE_L1)
 127         /*
 128          * This dma_handle is useless in Blackfin dma_alloc_coherent().
 129          * The real dma handler is the return value of dma_alloc_coherent().
 130          */
 131         dma_addr_t dma_handle;
 132 #endif
 133
 134         tx_desc = bfin_mac_alloc(&dma_handle,
 135                                 sizeof(struct net_dma_desc_tx) *
 136                                 CONFIG_BFIN_TX_DESC_NUM);
 137         if (tx_desc == NULL)
 138                 goto init_error;
 139
 140         rx_desc = bfin_mac_alloc(&dma_handle,
 141                                 sizeof(struct net_dma_desc_rx) *
 142                                 CONFIG_BFIN_RX_DESC_NUM);
 143         if (rx_desc == NULL)
 144                 goto init_error;
 145
 146         /* init tx_list */
 147         tx_list_head = tx_list_tail = tx_desc;
 148
 149         for (i = 0; i < CONFIG_BFIN_TX_DESC_NUM; i++) {
 150                 struct net_dma_desc_tx *t = tx_desc + i;
 151                 struct dma_descriptor *a = &(t->desc_a);
 152                 struct dma_descriptor *b = &(t->desc_b);
 153
 154                 /*
 155                  * disable DMA
 156                  * read from memory WNR = 0
 157                  * wordsize is 32 bits
 158                  * 6 half words is desc size
 159                  * large desc flow
 160                  */
 161                 a->config = WDSIZE_32 | NDSIZE_6 | DMAFLOW_LARGE;
 162                 a->start_addr = (unsigned long)t->packet;
 163                 a->x_count = 0;
 164                 a->next_dma_desc = b;
 165
 166                 /*
 167                  * enabled DMA
 168                  * write to memory WNR = 1
 169                  * wordsize is 32 bits
 170                  * disable interrupt
 171                  * 6 half words is desc size
 172                  * large desc flow
 173                  */
 174                 b->config = DMAEN | WNR | WDSIZE_32 | NDSIZE_6 | DMAFLOW_LARGE;
 175                 b->start_addr = (unsigned long)(&(t->status));
 176                 b->x_count = 0;
 177
 178                 t->skb = NULL;
 179                 tx_list_tail->desc_b.next_dma_desc = a;
 180                 tx_list_tail->next = t;
 181                 tx_list_tail = t;
 182         }
 183         tx_list_tail->next = tx_list_head;      /* tx_list is a circle */
 184         tx_list_tail->desc_b.next_dma_desc = &(tx_list_head->desc_a);
 185         current_tx_ptr = tx_list_head;
 186
 187         /* init rx_list */
 188         rx_list_head = rx_list_tail = rx_desc;
 189
 190         for (i = 0; i < CONFIG_BFIN_RX_DESC_NUM; i++) {
 191                 struct net_dma_desc_rx *r = rx_desc + i;
 192                 struct dma_descriptor *a = &(r->desc_a);
 193                 struct dma_descriptor *b = &(r->desc_b);
 194
 195                 /* allocate a new skb for next time receive */
 196                 new_skb = dev_alloc_skb(PKT_BUF_SZ + NET_IP_ALIGN);
 197                 if (!new_skb) {
 198                         printk(KERN_NOTICE DRV_NAME
 199                                ": init: low on mem - packet dropped\n");
 200                         goto init_error;
 201                 }
 202                 skb_reserve(new_skb, NET_IP_ALIGN);
 203                 /* Invidate the data cache of skb->data range when it is write back
 204                  * cache. It will prevent overwritting the new data from DMA
 205                  */
 206                 blackfin_dcache_invalidate_range((unsigned long)new_skb->head,
 207                                          (unsigned long)new_skb->end);
 208                 r->skb = new_skb;
 209
 210                 /*
 211                  * enabled DMA
 212                  * write to memory WNR = 1
 213                  * wordsize is 32 bits
 214                  * disable interrupt
 215                  * 6 half words is desc size
 216                  * large desc flow
 217                  */
 218                 a->config = DMAEN | WNR | WDSIZE_32 | NDSIZE_6 | DMAFLOW_LARGE;
 219                 /* since RXDWA is enabled */
 220                 a->start_addr = (unsigned long)new_skb->data - 2;
 221                 a->x_count = 0;
 222                 a->next_dma_desc = b;
 223
 224                 /*
 225                  * enabled DMA
 226                  * write to memory WNR = 1
 227                  * wordsize is 32 bits
 228                  * enable interrupt
 229                  * 6 half words is desc size
 230                  * large desc flow
 231                  */
 232                 b->config = DMAEN | WNR | WDSIZE_32 | DI_EN |
 233                                 NDSIZE_6 | DMAFLOW_LARGE;
 234                 b->start_addr = (unsigned long)(&(r->status));
 235                 b->x_count = 0;
 236
 237                 rx_list_tail->desc_b.next_dma_desc = a;
 238                 rx_list_tail->next = r;
 239                 rx_list_tail = r;
 240         }
 241         rx_list_tail->next = rx_list_head;      /* rx_list is a circle */
 242         rx_list_tail->desc_b.next_dma_desc = &(rx_list_head->desc_a);
 243         current_rx_ptr = rx_list_head;
 244
 245         return 0;
 246
 247 init_error:
 248         desc_list_free();
 249         printk(KERN_ERR DRV_NAME ": kmalloc failed\n");
 250         return -ENOMEM;
 251 }
 252
 253
 254 /*---PHY CONTROL AND CONFIGURATION-----------------------------------------*/
 255
 256 /*
 257  * MII operations
 258  */
 259 /* Wait until the previous MDC/MDIO transaction has completed */
 260 static int bfin_mdio_poll(void)
 261 {
 262         int timeout_cnt = MAX_TIMEOUT_CNT;
 263
 264         /* poll the STABUSY bit */
 265         while ((bfin_read_EMAC_STAADD()) & STABUSY) {
 266                 udelay(1);
 267                 if (timeout_cnt-- < 0) {
 268                         printk(KERN_ERR DRV_NAME
 269                         ": wait MDC/MDIO transaction to complete timeout\n");
 270                         return -ETIMEDOUT;
 271                 }
 272         }
 273
 274         return 0;
 275 }
 276
 277 /* Read an off-chip register in a PHY through the MDC/MDIO port */
 278 static int bfin_mdiobus_read(struct mii_bus *bus, int phy_addr, int regnum)
 279 {
 280         int ret;
 281
 282         ret = bfin_mdio_poll();
 283         if (ret)
 284                 return ret;
 285
 286         /* read mode */
 287         bfin_write_EMAC_STAADD(SET_PHYAD((u16) phy_addr) |
 288                                 SET_REGAD((u16) regnum) |
 289                                 STABUSY);
 290
 291         ret = bfin_mdio_poll();
 292         if (ret)
 293                 return ret;
 294
 295         return (int) bfin_read_EMAC_STADAT();
 296 }
 297
 298 /* Write an off-chip register in a PHY through the MDC/MDIO port */
 299 static int bfin_mdiobus_write(struct mii_bus *bus, int phy_addr, int regnum,
 300                               u16 value)
 301 {
 302         int ret;
 303
 304         ret = bfin_mdio_poll();
 305         if (ret)
 306                 return ret;
 307
 308         bfin_write_EMAC_STADAT((u32) value);
 309
 310         /* write mode */
 311         bfin_write_EMAC_STAADD(SET_PHYAD((u16) phy_addr) |
 312                                 SET_REGAD((u16) regnum) |
 313                                 STAOP |
 314                                 STABUSY);
 315
 316         return bfin_mdio_poll();
 317 }
 318
 319 static int bfin_mdiobus_reset(struct mii_bus *bus)
 320 {
 321         return 0;
 322 }
 323
 324 static void bfin_mac_adjust_link(struct net_device *dev)
 325 {
 326         struct bfin_mac_local *lp = netdev_priv(dev);
 327         struct phy_device *phydev = lp->phydev;
 328         unsigned long flags;
 329         int new_state = 0;
 330
 331         spin_lock_irqsave(&lp->lock, flags);
 332         if (phydev->link) {
 333                 /* Now we make sure that we can be in full duplex mode.
 334                  * If not, we operate in half-duplex mode. */
 335                 if (phydev->duplex != lp->old_duplex) {
 336                         u32 opmode = bfin_read_EMAC_OPMODE();
 337                         new_state = 1;
 338
 339                         if (phydev->duplex)
 340                                 opmode |= FDMODE;
 341                         else
 342                                 opmode &= ~(FDMODE);
 343
 344                         bfin_write_EMAC_OPMODE(opmode);
 345                         lp->old_duplex = phydev->duplex;
 346                 }
 347
 348                 if (phydev->speed != lp->old_speed) {
 349 #if defined(CONFIG_BFIN_MAC_RMII)
 350                         u32 opmode = bfin_read_EMAC_OPMODE();
 351                         switch (phydev->speed) {
 352                         case 10:
 353                                 opmode |= RMII_10;
 354                                 break;
 355                         case 100:
 356                                 opmode &= ~(RMII_10);
 357                                 break;
 358                         default:
 359                                 printk(KERN_WARNING
 360                                         "%s: Ack!  Speed (%d) is not 10/100!\n",
 361                                         DRV_NAME, phydev->speed);
 362                                 break;
 363                         }
 364                         bfin_write_EMAC_OPMODE(opmode);
 365 #endif
 366
 367                         new_state = 1;
 368                         lp->old_speed = phydev->speed;
 369                 }
 370
 371                 if (!lp->old_link) {
 372                         new_state = 1;
 373                         lp->old_link = 1;
 374                 }
 375         } else if (lp->old_link) {
 376                 new_state = 1;
 377                 lp->old_link = 0;
 378                 lp->old_speed = 0;
 379                 lp->old_duplex = -1;
 380         }
 381
 382         if (new_state) {
 383                 u32 opmode = bfin_read_EMAC_OPMODE();
 384                 phy_print_status(phydev);
 385                 pr_debug("EMAC_OPMODE = 0x%08x\n", opmode);
 386         }
 387
 388         spin_unlock_irqrestore(&lp->lock, flags);
 389 }
 390
 391 /* MDC  = 2.5 MHz */
 392 #define MDC_CLK 2500000
 393
 394 static int mii_probe(struct net_device *dev)
 395 {
 396         struct bfin_mac_local *lp = netdev_priv(dev);
 397         struct phy_device *phydev = NULL;
 398         unsigned short sysctl;
 399         int i;
 400         u32 sclk, mdc_div;
 401
 402         /* Enable PHY output early */
 403         if (!(bfin_read_VR_CTL() & CLKBUFOE))
 404                 bfin_write_VR_CTL(bfin_read_VR_CTL() | CLKBUFOE);
 405
 406         sclk = get_sclk();
 407         mdc_div = ((sclk / MDC_CLK) / 2) - 1;
 408
 409         sysctl = bfin_read_EMAC_SYSCTL();
 410         sysctl = (sysctl & ~MDCDIV) | SET_MDCDIV(mdc_div);
 411         bfin_write_EMAC_SYSCTL(sysctl);
 412
 413         /* search for connect PHY device */
 414         for (i = 0; i < PHY_MAX_ADDR; i++) {
 415                 struct phy_device *const tmp_phydev = lp->mii_bus->phy_map[i];
 416
 417                 if (!tmp_phydev)
 418                         continue; /* no PHY here... */
 419
 420                 phydev = tmp_phydev;
 421                 break; /* found it */
 422         }
 423
 424         /* now we are supposed to have a proper phydev, to attach to... */
 425         if (!phydev) {
 426                 printk(KERN_INFO "%s: Don't found any phy device at all\n",
 427                         dev->name);
 428                 return -ENODEV;
 429         }
 430
 431 #if defined(CONFIG_BFIN_MAC_RMII)
 432         phydev = phy_connect(dev, dev_name(&phydev->dev), &bfin_mac_adjust_link,
 433                         0, PHY_INTERFACE_MODE_RMII);
 434 #else
 435         phydev = phy_connect(dev, dev_name(&phydev->dev), &bfin_mac_adjust_link,
 436                         0, PHY_INTERFACE_MODE_MII);
 437 #endif
 438
 439         if (IS_ERR(phydev)) {
 440                 printk(KERN_ERR "%s: Could not attach to PHY\n", dev->name);
 441                 return PTR_ERR(phydev);
 442         }
 443
 444         /* mask with MAC supported features */
 445         phydev->supported &= (SUPPORTED_10baseT_Half
 446                               | SUPPORTED_10baseT_Full
 447                               | SUPPORTED_100baseT_Half
 448                               | SUPPORTED_100baseT_Full
 449                               | SUPPORTED_Autoneg
 450                               | SUPPORTED_Pause | SUPPORTED_Asym_Pause
 451                               | SUPPORTED_MII
 452                               | SUPPORTED_TP);
 453
 454         phydev->advertising = phydev->supported;
 455
 456         lp->old_link = 0;
 457         lp->old_speed = 0;
 458         lp->old_duplex = -1;
 459         lp->phydev = phydev;
 460
 461         printk(KERN_INFO "%s: attached PHY driver [%s] "
 462                "(mii_bus:phy_addr=%s, irq=%d, mdc_clk=%dHz(mdc_div=%d)"
 463                "@sclk=%dMHz)\n",
 464                DRV_NAME, phydev->drv->name, dev_name(&phydev->dev), phydev->irq,
 465                MDC_CLK, mdc_div, sclk/1000000);
 466
 467         return 0;
 468 }
 469
 470 /*
 471  * Ethtool support
 472  */
 473
 474 /*
 475  * interrupt routine for magic packet wakeup
 476  */
 477 static irqreturn_t bfin_mac_wake_interrupt(int irq, void *dev_id)
 478 {
 479         return IRQ_HANDLED;
 480 }
 481
 482 static int
 483 bfin_mac_ethtool_getsettings(struct net_device *dev, struct ethtool_cmd *cmd)
 484 {
 485         struct bfin_mac_local *lp = netdev_priv(dev);
 486
 487         if (lp->phydev)
 488                 return phy_ethtool_gset(lp->phydev, cmd);
 489
 490         return -EINVAL;
 491 }
 492
 493 static int
 494 bfin_mac_ethtool_setsettings(struct net_device *dev, struct ethtool_cmd *cmd)
 495 {
 496         struct bfin_mac_local *lp = netdev_priv(dev);
 497
 498         if (!capable(CAP_NET_ADMIN))
 499                 return -EPERM;
 500
 501         if (lp->phydev)
 502                 return phy_ethtool_sset(lp->phydev, cmd);
 503
 504         return -EINVAL;
 505 }
 506
 507 static void bfin_mac_ethtool_getdrvinfo(struct net_device *dev,
 508                                         struct ethtool_drvinfo *info)
 509 {
 510         strcpy(info->driver, DRV_NAME);
 511         strcpy(info->version, DRV_VERSION);
 512         strcpy(info->fw_version, "N/A");
 513         strcpy(info->bus_info, dev_name(&dev->dev));
 514 }
 515
 516 static void bfin_mac_ethtool_getwol(struct net_device *dev,
 517         struct ethtool_wolinfo *wolinfo)
 518 {
 519         struct bfin_mac_local *lp = netdev_priv(dev);
 520
 521         wolinfo->supported = WAKE_MAGIC;
 522         wolinfo->wolopts = lp->wol;
 523 }
 524
 525 static int bfin_mac_ethtool_setwol(struct net_device *dev,
 526         struct ethtool_wolinfo *wolinfo)
 527 {
 528         struct bfin_mac_local *lp = netdev_priv(dev);
 529         int rc;
 530
 531         if (wolinfo->wolopts & (WAKE_MAGICSECURE |
 532                                 WAKE_UCAST |
 533                                 WAKE_MCAST |
 534                                 WAKE_BCAST |
 535                                 WAKE_ARP))
 536                 return -EOPNOTSUPP;
 537
 538         lp->wol = wolinfo->wolopts;
 539
 540         if (lp->wol && !lp->irq_wake_requested) {
 541                 /* register wake irq handler */
 542                 rc = request_irq(IRQ_MAC_WAKEDET, bfin_mac_wake_interrupt,
 543                                  IRQF_DISABLED, "EMAC_WAKE", dev);
 544                 if (rc)
 545                         return rc;
 546                 lp->irq_wake_requested = true;
 547         }
 548
 549         if (!lp->wol && lp->irq_wake_requested) {
 550                 free_irq(IRQ_MAC_WAKEDET, dev);
 551                 lp->irq_wake_requested = false;
 552         }
 553
 554         /* Make sure the PHY driver doesn't suspend */
 555         device_init_wakeup(&dev->dev, lp->wol);
 556
 557         return 0;
 558 }
 559
 560 static const struct ethtool_ops bfin_mac_ethtool_ops = {
 561         .get_settings = bfin_mac_ethtool_getsettings,
 562         .set_settings = bfin_mac_ethtool_setsettings,
 563         .get_link = ethtool_op_get_link,
 564         .get_drvinfo = bfin_mac_ethtool_getdrvinfo,
 565         .get_wol = bfin_mac_ethtool_getwol,
 566         .set_wol = bfin_mac_ethtool_setwol,
 567 };
 568
 569 /**************************************************************************/
 570 void setup_system_regs(struct net_device *dev)
 571 {
 572         unsigned short sysctl;
 573
 574         /*
 575          * Odd word alignment for Receive Frame DMA word
 576          * Configure checksum support and rcve frame word alignment
 577          */
 578         sysctl = bfin_read_EMAC_SYSCTL();
 579         sysctl |= RXDWA;
 580 #if defined(BFIN_MAC_CSUM_OFFLOAD)
 581         sysctl |= RXCKS;
 582 #else
 583         sysctl &= ~RXCKS;
 584 #endif
 585         bfin_write_EMAC_SYSCTL(sysctl);
 586
 587         bfin_write_EMAC_MMC_CTL(RSTC | CROLL);
 588
 589         /* Initialize the TX DMA channel registers */
 590         bfin_write_DMA2_X_COUNT(0);
 591         bfin_write_DMA2_X_MODIFY(4);
 592         bfin_write_DMA2_Y_COUNT(0);
 593         bfin_write_DMA2_Y_MODIFY(0);
 594
 595         /* Initialize the RX DMA channel registers */
 596         bfin_write_DMA1_X_COUNT(0);
 597         bfin_write_DMA1_X_MODIFY(4);
 598         bfin_write_DMA1_Y_COUNT(0);
 599         bfin_write_DMA1_Y_MODIFY(0);
 600 }
 601
 602 static void setup_mac_addr(u8 *mac_addr)
 603 {
 604         u32 addr_low = le32_to_cpu(*(__le32 *) & mac_addr[0]);
 605         u16 addr_hi = le16_to_cpu(*(__le16 *) & mac_addr[4]);
 606
 607         /* this depends on a little-endian machine */
 608         bfin_write_EMAC_ADDRLO(addr_low);
 609         bfin_write_EMAC_ADDRHI(addr_hi);
 610 }
 611
 612 static int bfin_mac_set_mac_address(struct net_device *dev, void *p)
 613 {
 614         struct sockaddr *addr = p;
 615         if (netif_running(dev))
 616                 return -EBUSY;
 617         memcpy(dev->dev_addr, addr->sa_data, dev->addr_len);
 618         setup_mac_addr(dev->dev_addr);
 619         return 0;
 620 }
 621
 622 #ifdef CONFIG_BFIN_MAC_USE_HWSTAMP
 623 #define bfin_mac_hwtstamp_is_none(cfg) ((cfg) == HWTSTAMP_FILTER_NONE)
 624
 625 static int bfin_mac_hwtstamp_ioctl(struct net_device *netdev,
 626                 struct ifreq *ifr, int cmd)
 627 {
 628         struct hwtstamp_config config;
 629         struct bfin_mac_local *lp = netdev_priv(netdev);
 630         u16 ptpctl;
 631         u32 ptpfv1, ptpfv2, ptpfv3, ptpfoff;
 632
 633         if (copy_from_user(&config, ifr->ifr_data, sizeof(config)))
 634                 return -EFAULT;
 635
 636         pr_debug("%s config flag:0x%x, tx_type:0x%x, rx_filter:0x%x\n",
 637                         __func__, config.flags, config.tx_type, config.rx_filter);
 638
 639         /* reserved for future extensions */
 640         if (config.flags)
 641                 return -EINVAL;
 642
 643         if ((config.tx_type != HWTSTAMP_TX_OFF) &&
 644                         (config.tx_type != HWTSTAMP_TX_ON))
 645                 return -ERANGE;
 646
 647         ptpctl = bfin_read_EMAC_PTP_CTL();
 648
 649         switch (config.rx_filter) {
 650         case HWTSTAMP_FILTER_NONE:
 651                 /*
 652                  * Dont allow any timestamping
 653                  */
 654                 ptpfv3 = 0xFFFFFFFF;
 655                 bfin_write_EMAC_PTP_FV3(ptpfv3);
 656                 break;
 657         case HWTSTAMP_FILTER_PTP_V1_L4_EVENT:
 658         case HWTSTAMP_FILTER_PTP_V1_L4_SYNC:
 659         case HWTSTAMP_FILTER_PTP_V1_L4_DELAY_REQ:
 660                 /*
 661                  * Clear the five comparison mask bits (bits[12:8]) in EMAC_PTP_CTL)
 662                  * to enable all the field matches.
 663                  */
 664                 ptpctl &= ~0x1F00;
 665                 bfin_write_EMAC_PTP_CTL(ptpctl);
 666                 /*
 667                  * Keep the default values of the EMAC_PTP_FOFF register.
 668                  */
 669                 ptpfoff = 0x4A24170C;
 670                 bfin_write_EMAC_PTP_FOFF(ptpfoff);
 671                 /*
 672                  * Keep the default values of the EMAC_PTP_FV1 and EMAC_PTP_FV2
 673                  * registers.
 674                  */
 675                 ptpfv1 = 0x11040800;
 676                 bfin_write_EMAC_PTP_FV1(ptpfv1);
 677                 ptpfv2 = 0x0140013F;
 678                 bfin_write_EMAC_PTP_FV2(ptpfv2);
 679                 /*
 680                  * The default value (0xFFFC) allows the timestamping of both
 681                  * received Sync messages and Delay_Req messages.
 682                  */
 683                 ptpfv3 = 0xFFFFFFFC;
 684                 bfin_write_EMAC_PTP_FV3(ptpfv3);
 685
 686                 config.rx_filter = HWTSTAMP_FILTER_PTP_V1_L4_EVENT;
 687                 break;
 688         case HWTSTAMP_FILTER_PTP_V2_L4_EVENT:
 689         case HWTSTAMP_FILTER_PTP_V2_L4_SYNC:
 690         case HWTSTAMP_FILTER_PTP_V2_DELAY_REQ:
 691                 /* Clear all five comparison mask bits (bits[12:8]) in the
 692                  * EMAC_PTP_CTL register to enable all the field matches.
 693                  */
 694                 ptpctl &= ~0x1F00;
 695                 bfin_write_EMAC_PTP_CTL(ptpctl);
 696                 /*
 697                  * Keep the default values of the EMAC_PTP_FOFF register, except set
 698                  * the PTPCOF field to 0x2A.
 699                  */
 700                 ptpfoff = 0x2A24170C;
 701                 bfin_write_EMAC_PTP_FOFF(ptpfoff);
 702                 /*
 703                  * Keep the default values of the EMAC_PTP_FV1 and EMAC_PTP_FV2
 704                  * registers.
 705                  */
 706                 ptpfv1 = 0x11040800;
 707                 bfin_write_EMAC_PTP_FV1(ptpfv1);
 708                 ptpfv2 = 0x0140013F;
 709                 bfin_write_EMAC_PTP_FV2(ptpfv2);
 710                 /*
 711                  * To allow the timestamping of Pdelay_Req and Pdelay_Resp, set
 712                  * the value to 0xFFF0.
 713                  */
 714                 ptpfv3 = 0xFFFFFFF0;
 715                 bfin_write_EMAC_PTP_FV3(ptpfv3);
 716
 717                 config.rx_filter = HWTSTAMP_FILTER_PTP_V2_L4_EVENT;
 718                 break;
 719         case HWTSTAMP_FILTER_PTP_V2_L2_EVENT:
 720         case HWTSTAMP_FILTER_PTP_V2_L2_SYNC:
 721         case HWTSTAMP_FILTER_PTP_V2_L2_DELAY_REQ:
 722                 /*
 723                  * Clear bits 8 and 12 of the EMAC_PTP_CTL register to enable only the
 724                  * EFTM and PTPCM field comparison.
 725                  */
 726                 ptpctl &= ~0x1100;
 727                 bfin_write_EMAC_PTP_CTL(ptpctl);
 728                 /*
 729                  * Keep the default values of all the fields of the EMAC_PTP_FOFF
 730                  * register, except set the PTPCOF field to 0x0E.
 731                  */
 732                 ptpfoff = 0x0E24170C;
 733                 bfin_write_EMAC_PTP_FOFF(ptpfoff);
 734                 /*
 735                  * Program bits [15:0] of the EMAC_PTP_FV1 register to 0x88F7, which
 736                  * corresponds to PTP messages on the MAC layer.
 737                  */
 738                 ptpfv1 = 0x110488F7;
 739                 bfin_write_EMAC_PTP_FV1(ptpfv1);
 740                 ptpfv2 = 0x0140013F;
 741                 bfin_write_EMAC_PTP_FV2(ptpfv2);
 742                 /*
 743                  * To allow the timestamping of Pdelay_Req and Pdelay_Resp
 744                  * messages, set the value to 0xFFF0.
 745                  */
 746                 ptpfv3 = 0xFFFFFFF0;
 747                 bfin_write_EMAC_PTP_FV3(ptpfv3);
 748
 749                 config.rx_filter = HWTSTAMP_FILTER_PTP_V2_L2_EVENT;
 750                 break;
 751         default:
 752                 return -ERANGE;
 753         }
 754
 755         if (config.tx_type == HWTSTAMP_TX_OFF &&
 756             bfin_mac_hwtstamp_is_none(config.rx_filter)) {
 757                 ptpctl &= ~PTP_EN;
 758                 bfin_write_EMAC_PTP_CTL(ptpctl);
 759
 760                 SSYNC();
 761         } else {
 762                 ptpctl |= PTP_EN;
 763                 bfin_write_EMAC_PTP_CTL(ptpctl);
 764
 765                 /*
 766                  * clear any existing timestamp
 767                  */
 768                 bfin_read_EMAC_PTP_RXSNAPLO();
 769                 bfin_read_EMAC_PTP_RXSNAPHI();
 770
 771                 bfin_read_EMAC_PTP_TXSNAPLO();
 772                 bfin_read_EMAC_PTP_TXSNAPHI();
 773
 774                 /*
 775                  * Set registers so that rollover occurs soon to test this.
 776                  */
 777                 bfin_write_EMAC_PTP_TIMELO(0x00000000);
 778                 bfin_write_EMAC_PTP_TIMEHI(0xFF800000);
 779
 780                 SSYNC();
 781
 782                 lp->compare.last_update = 0;
 783                 timecounter_init(&lp->clock,
 784                                 &lp->cycles,
 785                                 ktime_to_ns(ktime_get_real()));
 786                 timecompare_update(&lp->compare, 0);
 787         }
 788
 789         lp->stamp_cfg = config;
 790         return copy_to_user(ifr->ifr_data, &config, sizeof(config)) ?
 791                 -EFAULT : 0;
 792 }
 793
 794 static void bfin_dump_hwtamp(char *s, ktime_t *hw, ktime_t *ts, struct timecompare *cmp)
 795 {
 796         ktime_t sys = ktime_get_real();
 797
 798         pr_debug("%s %s hardware:%d,%d transform system:%d,%d system:%d,%d, cmp:%lld, %lld\n",
 799                         __func__, s, hw->tv.sec, hw->tv.nsec, ts->tv.sec, ts->tv.nsec, sys.tv.sec,
 800                         sys.tv.nsec, cmp->offset, cmp->skew);
 801 }
 802
 803 static void bfin_tx_hwtstamp(struct net_device *netdev, struct sk_buff *skb)
 804 {
 805         struct bfin_mac_local *lp = netdev_priv(netdev);
 806         union skb_shared_tx *shtx = skb_tx(skb);
 807
 808         if (shtx->hardware) {
 809                 int timeout_cnt = MAX_TIMEOUT_CNT;
 810
 811                 /* When doing time stamping, keep the connection to the socket
 812                  * a while longer
 813                  */
 814                 shtx->in_progress = 1;
 815
 816                 /*
 817                  * The timestamping is done at the EMAC module's MII/RMII interface
 818                  * when the module sees the Start of Frame of an event message packet. This
 819                  * interface is the closest possible place to the physical Ethernet transmission
 820                  * medium, providing the best timing accuracy.
 821                  */
 822                 while ((!(bfin_read_EMAC_PTP_ISTAT() & TXTL)) && (--timeout_cnt))
 823                         udelay(1);
 824                 if (timeout_cnt == 0)
 825                         printk(KERN_ERR DRV_NAME
 826                                         ": fails to timestamp the TX packet\n");
 827                 else {
 828                         struct skb_shared_hwtstamps shhwtstamps;
 829                         u64 ns;
 830                         u64 regval;
 831
 832                         regval = bfin_read_EMAC_PTP_TXSNAPLO();
 833                         regval |= (u64)bfin_read_EMAC_PTP_TXSNAPHI() << 32;
 834                         memset(&shhwtstamps, 0, sizeof(shhwtstamps));
 835                         ns = timecounter_cyc2time(&lp->clock,
 836                                         regval);
 837                         timecompare_update(&lp->compare, ns);
 838                         shhwtstamps.hwtstamp = ns_to_ktime(ns);
 839                         shhwtstamps.syststamp =
 840                                 timecompare_transform(&lp->compare, ns);
 841                         skb_tstamp_tx(skb, &shhwtstamps);
 842
 843                         bfin_dump_hwtamp("TX", &shhwtstamps.hwtstamp, &shhwtstamps.syststamp, &lp->compare);
 844                 }
 845         }
 846 }
 847
 848 static void bfin_rx_hwtstamp(struct net_device *netdev, struct sk_buff *skb)
 849 {
 850         struct bfin_mac_local *lp = netdev_priv(netdev);
 851         u32 valid;
 852         u64 regval, ns;
 853         struct skb_shared_hwtstamps *shhwtstamps;
 854
 855         if (bfin_mac_hwtstamp_is_none(lp->stamp_cfg.rx_filter))
 856                 return;
 857
 858         valid = bfin_read_EMAC_PTP_ISTAT() & RXEL;
 859         if (!valid)
 860                 return;
 861
 862         shhwtstamps = skb_hwtstamps(skb);
 863
 864         regval = bfin_read_EMAC_PTP_RXSNAPLO();
 865         regval |= (u64)bfin_read_EMAC_PTP_RXSNAPHI() << 32;
 866         ns = timecounter_cyc2time(&lp->clock, regval);
 867         timecompare_update(&lp->compare, ns);
 868         memset(shhwtstamps, 0, sizeof(*shhwtstamps));
 869         shhwtstamps->hwtstamp = ns_to_ktime(ns);
 870         shhwtstamps->syststamp = timecompare_transform(&lp->compare, ns);
 871
 872         bfin_dump_hwtamp("RX", &shhwtstamps->hwtstamp, &shhwtstamps->syststamp, &lp->compare);
 873 }
 874
 875 /*
 876  * bfin_read_clock - read raw cycle counter (to be used by time counter)
 877  */
 878 static cycle_t bfin_read_clock(const struct cyclecounter *tc)
 879 {
 880         u64 stamp;
 881
 882         stamp =  bfin_read_EMAC_PTP_TIMELO();
 883         stamp |= (u64)bfin_read_EMAC_PTP_TIMEHI() << 32ULL;
 884
 885         return stamp;
 886 }
 887
 888 #define PTP_CLK 25000000
 889
 890 static void bfin_mac_hwtstamp_init(struct net_device *netdev)
 891 {
 892         struct bfin_mac_local *lp = netdev_priv(netdev);
 893         u64 append;
 894
 895         /* Initialize hardware timer */
 896         append = PTP_CLK * (1ULL << 32);
 897         do_div(append, get_sclk());
 898         bfin_write_EMAC_PTP_ADDEND((u32)append);
 899
 900         memset(&lp->cycles, 0, sizeof(lp->cycles));
 901         lp->cycles.read = bfin_read_clock;
 902         lp->cycles.mask = CLOCKSOURCE_MASK(64);
 903         lp->cycles.mult = 1000000000 / PTP_CLK;
 904         lp->cycles.shift = 0;
 905
 906         /* Synchronize our NIC clock against system wall clock */
 907         memset(&lp->compare, 0, sizeof(lp->compare));
 908         lp->compare.source = &lp->clock;
 909         lp->compare.target = ktime_get_real;
 910         lp->compare.num_samples = 10;
 911
 912         /* Initialize hwstamp config */
 913         lp->stamp_cfg.rx_filter = HWTSTAMP_FILTER_NONE;
 914         lp->stamp_cfg.tx_type = HWTSTAMP_TX_OFF;
 915 }
 916
 917 #else
 918 # define bfin_mac_hwtstamp_is_none(cfg) 0
 919 # define bfin_mac_hwtstamp_init(dev)
 920 # define bfin_mac_hwtstamp_ioctl(dev, ifr, cmd) (-EOPNOTSUPP)
 921 # define bfin_rx_hwtstamp(dev, skb)
 922 # define bfin_tx_hwtstamp(dev, skb)
 923 #endif
 924
 925 static void adjust_tx_list(void)
 926 {
 927         int timeout_cnt = MAX_TIMEOUT_CNT;
 928
 929         if (tx_list_head->status.status_word != 0 &&
 930             current_tx_ptr != tx_list_head) {
 931                 goto adjust_head;       /* released something, just return; */
 932         }
 933
 934         /*
 935          * if nothing released, check wait condition
 936          * current's next can not be the head,
 937          * otherwise the dma will not stop as we want
 938          */
 939         if (current_tx_ptr->next->next == tx_list_head) {
 940                 while (tx_list_head->status.status_word == 0) {
 941                         udelay(10);
 942                         if (tx_list_head->status.status_word != 0 ||
 943                             !(bfin_read_DMA2_IRQ_STATUS() & DMA_RUN)) {
 944                                 goto adjust_head;
 945                         }
 946                         if (timeout_cnt-- < 0) {
 947                                 printk(KERN_ERR DRV_NAME
 948                                 ": wait for adjust tx list head timeout\n");
 949                                 break;
 950                         }
 951                 }
 952                 if (tx_list_head->status.status_word != 0) {
 953                         goto adjust_head;
 954                 }
 955         }
 956
 957         return;
 958
 959 adjust_head:
 960         do {
 961                 tx_list_head->desc_a.config &= ~DMAEN;
 962                 tx_list_head->status.status_word = 0;
 963                 if (tx_list_head->skb) {
 964                         dev_kfree_skb(tx_list_head->skb);
 965                         tx_list_head->skb = NULL;
 966                 } else {
 967                         printk(KERN_ERR DRV_NAME
 968                                ": no sk_buff in a transmitted frame!\n");
 969                 }
 970                 tx_list_head = tx_list_head->next;
 971         } while (tx_list_head->status.status_word != 0 &&
 972                  current_tx_ptr != tx_list_head);
 973         return;
 974
 975 }
 976
 977 static int bfin_mac_hard_start_xmit(struct sk_buff *skb,
 978                                 struct net_device *dev)
 979 {
 980         u16 *data;
 981         u32 data_align = (unsigned long)(skb->data) & 0x3;
 982         union skb_shared_tx *shtx = skb_tx(skb);
 983
 984         current_tx_ptr->skb = skb;
 985
 986         if (data_align == 0x2) {
 987                 /* move skb->data to current_tx_ptr payload */
 988                 data = (u16 *)(skb->data) - 1;
 989                 *data = (u16)(skb->len);
 990                 /*
 991                  * When transmitting an Ethernet packet, the PTP_TSYNC module requires
 992                  * a DMA_Length_Word field associated with the packet. The lower 12 bits
 993                  * of this field are the length of the packet payload in bytes and the higher
 994                  * 4 bits are the timestamping enable field.
 995                  */
 996                 if (shtx->hardware)
 997                         *data |= 0x1000;
 998
 999                 current_tx_ptr->desc_a.start_addr = (u32)data;
1000                 /* this is important! */
1001                 blackfin_dcache_flush_range((u32)data,
1002                                 (u32)((u8 *)data + skb->len + 4));
1003         } else {
1004                 *((u16 *)(current_tx_ptr->packet)) = (u16)(skb->len);
1005                 /* enable timestamping for the sent packet */
1006                 if (shtx->hardware)
1007                         *((u16 *)(current_tx_ptr->packet)) |= 0x1000;
1008                 memcpy((u8 *)(current_tx_ptr->packet + 2), skb->data,
1009                         skb->len);
1010                 current_tx_ptr->desc_a.start_addr =
1011                         (u32)current_tx_ptr->packet;
1012                 if (current_tx_ptr->status.status_word != 0)
1013                         current_tx_ptr->status.status_word = 0;
1014                 blackfin_dcache_flush_range(
1015                         (u32)current_tx_ptr->packet,
1016                         (u32)(current_tx_ptr->packet + skb->len + 2));
1017         }
1018
1019         /* make sure the internal data buffers in the core are drained
1020          * so that the DMA descriptors are completely written when the
1021          * DMA engine goes to fetch them below
1022          */
1023         SSYNC();
1024
1025         /* enable this packet's dma */
1026         current_tx_ptr->desc_a.config |= DMAEN;
1027
1028         /* tx dma is running, just return */
1029         if (bfin_read_DMA2_IRQ_STATUS() & DMA_RUN)
1030                 goto out;
1031
1032         /* tx dma is not running */
1033         bfin_write_DMA2_NEXT_DESC_PTR(&(current_tx_ptr->desc_a));
1034         /* dma enabled, read from memory, size is 6 */
1035         bfin_write_DMA2_CONFIG(current_tx_ptr->desc_a.config);
1036         /* Turn on the EMAC tx */
1037         bfin_write_EMAC_OPMODE(bfin_read_EMAC_OPMODE() | TE);
1038
1039 out:
1040         adjust_tx_list();
1041
1042         bfin_tx_hwtstamp(dev, skb);
1043
1044         current_tx_ptr = current_tx_ptr->next;
1045         dev->stats.tx_packets++;
1046         dev->stats.tx_bytes += (skb->len);
1047         return NETDEV_TX_OK;
1048 }
1049
1050 #define IP_HEADER_OFF  0
1051 #define RX_ERROR_MASK (RX_LONG | RX_ALIGN | RX_CRC | RX_LEN | \
1052         RX_FRAG | RX_ADDR | RX_DMAO | RX_PHY | RX_LATE | RX_RANGE)
1053
1054 static void bfin_mac_rx(struct net_device *dev)
1055 {
1056         struct sk_buff *skb, *new_skb;
1057         unsigned short len;
1058         struct bfin_mac_local *lp __maybe_unused = netdev_priv(dev);
1059 #if defined(BFIN_MAC_CSUM_OFFLOAD)
1060         unsigned int i;
1061         unsigned char fcs[ETH_FCS_LEN + 1];
1062 #endif
1063
1064         /* check if frame status word reports an error condition
1065          * we which case we simply drop the packet
1066          */
1067         if (current_rx_ptr->status.status_word & RX_ERROR_MASK) {
1068                 printk(KERN_NOTICE DRV_NAME
1069                        ": rx: receive error - packet dropped\n");
1070                 dev->stats.rx_dropped++;
1071                 goto out;
1072         }
1073
1074         /* allocate a new skb for next time receive */
1075         skb = current_rx_ptr->skb;
1076
1077         new_skb = dev_alloc_skb(PKT_BUF_SZ + NET_IP_ALIGN);
1078         if (!new_skb) {
1079                 printk(KERN_NOTICE DRV_NAME
1080                        ": rx: low on mem - packet dropped\n");
1081                 dev->stats.rx_dropped++;
1082                 goto out;
1083         }
1084         /* reserve 2 bytes for RXDWA padding */
1085         skb_reserve(new_skb, NET_IP_ALIGN);
1086         /* Invidate the data cache of skb->data range when it is write back
1087          * cache. It will prevent overwritting the new data from DMA
1088          */
1089         blackfin_dcache_invalidate_range((unsigned long)new_skb->head,
1090                                          (unsigned long)new_skb->end);
1091
1092         current_rx_ptr->skb = new_skb;
1093         current_rx_ptr->desc_a.start_addr = (unsigned long)new_skb->data - 2;
1094
1095         len = (unsigned short)((current_rx_ptr->status.status_word) & RX_FRLEN);
1096         /* Deduce Ethernet FCS length from Ethernet payload length */
1097         len -= ETH_FCS_LEN;
1098         skb_put(skb, len);
1099
1100         skb->protocol = eth_type_trans(skb, dev);
1101
1102         bfin_rx_hwtstamp(dev, skb);
1103
1104 #if defined(BFIN_MAC_CSUM_OFFLOAD)
1105         /* Checksum offloading only works for IPv4 packets with the standard IP header
1106          * length of 20 bytes, because the blackfin MAC checksum calculation is
1107          * based on that assumption. We must NOT use the calculated checksum if our
1108          * IP version or header break that assumption.
1109          */
1110         if (skb->data[IP_HEADER_OFF] == 0x45) {
1111                 skb->csum = current_rx_ptr->status.ip_payload_csum;
1112                 /*
1113                  * Deduce Ethernet FCS from hardware generated IP payload checksum.
1114                  * IP checksum is based on 16-bit one's complement algorithm.
1115                  * To deduce a value from checksum is equal to add its inversion.
1116                  * If the IP payload len is odd, the inversed FCS should also
1117                  * begin from odd address and leave first byte zero.
1118                  */
1119                 if (skb->len % 2) {
1120                         fcs[0] = 0;
1121                         for (i = 0; i < ETH_FCS_LEN; i++)
1122                                 fcs[i + 1] = ~skb->data[skb->len + i];
1123                         skb->csum = csum_partial(fcs, ETH_FCS_LEN + 1, skb->csum);
1124                 } else {
1125                         for (i = 0; i < ETH_FCS_LEN; i++)
1126                                 fcs[i] = ~skb->data[skb->len + i];
1127                         skb->csum = csum_partial(fcs, ETH_FCS_LEN, skb->csum);
1128                 }
1129                 skb->ip_summed = CHECKSUM_COMPLETE;
1130         }
1131 #endif
1132
1133         netif_rx(skb);
1134         dev->stats.rx_packets++;
1135         dev->stats.rx_bytes += len;
1136 out:
1137         current_rx_ptr->status.status_word = 0x00000000;
1138         current_rx_ptr = current_rx_ptr->next;
1139 }
1140
1141 /* interrupt routine to handle rx and error signal */
1142 static irqreturn_t bfin_mac_interrupt(int irq, void *dev_id)
1143 {
1144         struct net_device *dev = dev_id;
1145         int number = 0;
1146
1147 get_one_packet:
1148         if (current_rx_ptr->status.status_word == 0) {
1149                 /* no more new packet received */
1150                 if (number == 0) {
1151                         if (current_rx_ptr->next->status.status_word != 0) {
1152                                 current_rx_ptr = current_rx_ptr->next;
1153                                 goto real_rx;
1154                         }
1155                 }
1156                 bfin_write_DMA1_IRQ_STATUS(bfin_read_DMA1_IRQ_STATUS() |
1157                                            DMA_DONE | DMA_ERR);
1158                 return IRQ_HANDLED;
1159         }
1160
1161 real_rx:
1162         bfin_mac_rx(dev);
1163         number++;
1164         goto get_one_packet;
1165 }
1166
1167 #ifdef CONFIG_NET_POLL_CONTROLLER
1168 static void bfin_mac_poll(struct net_device *dev)
1169 {
1170         disable_irq(IRQ_MAC_RX);
1171         bfin_mac_interrupt(IRQ_MAC_RX, dev);
1172         enable_irq(IRQ_MAC_RX);
1173 }
1174 #endif                          /* CONFIG_NET_POLL_CONTROLLER */
1175
1176 static void bfin_mac_disable(void)
1177 {
1178         unsigned int opmode;
1179
1180         opmode = bfin_read_EMAC_OPMODE();
1181         opmode &= (~RE);
1182         opmode &= (~TE);
1183         /* Turn off the EMAC */
1184         bfin_write_EMAC_OPMODE(opmode);
1185 }
1186
1187 /*
1188  * Enable Interrupts, Receive, and Transmit
1189  */
1190 static int bfin_mac_enable(void)
1191 {
1192         int ret;
1193         u32 opmode;
1194
1195         pr_debug("%s: %s\n", DRV_NAME, __func__);
1196
1197         /* Set RX DMA */
1198         bfin_write_DMA1_NEXT_DESC_PTR(&(rx_list_head->desc_a));
1199         bfin_write_DMA1_CONFIG(rx_list_head->desc_a.config);
1200
1201         /* Wait MII done */
1202         ret = bfin_mdio_poll();
1203         if (ret)
1204                 return ret;
1205
1206         /* We enable only RX here */
1207         /* ASTP   : Enable Automatic Pad Stripping
1208            PR     : Promiscuous Mode for test
1209            PSF    : Receive frames with total length less than 64 bytes.
1210            FDMODE : Full Duplex Mode
1211            LB     : Internal Loopback for test
1212            RE     : Receiver Enable */
1213         opmode = bfin_read_EMAC_OPMODE();
1214         if (opmode & FDMODE)
1215                 opmode |= PSF;
1216         else
1217                 opmode |= DRO | DC | PSF;
1218         opmode |= RE;
1219
1220 #if defined(CONFIG_BFIN_MAC_RMII)
1221         opmode |= RMII; /* For Now only 100MBit are supported */
1222 #if (defined(CONFIG_BF537) || defined(CONFIG_BF536)) && CONFIG_BF_REV_0_2
1223         opmode |= TE;
1224 #endif
1225 #endif
1226         /* Turn on the EMAC rx */
1227         bfin_write_EMAC_OPMODE(opmode);
1228
1229         return 0;
1230 }
1231
1232 /* Our watchdog timed out. Called by the networking layer */
1233 static void bfin_mac_timeout(struct net_device *dev)
1234 {
1235         pr_debug("%s: %s\n", dev->name, __func__);
1236
1237         bfin_mac_disable();
1238
1239         /* reset tx queue */
1240         tx_list_tail = tx_list_head->next;
1241
1242         bfin_mac_enable();
1243
1244         /* We can accept TX packets again */
1245         dev->trans_start = jiffies; /* prevent tx timeout */
1246         netif_wake_queue(dev);
1247 }
1248
1249 static void bfin_mac_multicast_hash(struct net_device *dev)
1250 {
1251         u32 emac_hashhi, emac_hashlo;
1252         struct netdev_hw_addr *ha;
1253         char *addrs;
1254         u32 crc;
1255
1256         emac_hashhi = emac_hashlo = 0;
1257
1258         netdev_for_each_mc_addr(ha, dev) {
1259                 addrs = ha->addr;
1260
1261                 /* skip non-multicast addresses */
1262                 if (!(*addrs & 1))
1263                         continue;
1264
1265                 crc = ether_crc(ETH_ALEN, addrs);
1266                 crc >>= 26;
1267
1268                 if (crc & 0x20)
1269                         emac_hashhi |= 1 << (crc & 0x1f);
1270                 else
1271                         emac_hashlo |= 1 << (crc & 0x1f);
1272         }
1273
1274         bfin_write_EMAC_HASHHI(emac_hashhi);
1275         bfin_write_EMAC_HASHLO(emac_hashlo);
1276 }
1277
1278 /*
1279  * This routine will, depending on the values passed to it,
1280  * either make it accept multicast packets, go into
1281  * promiscuous mode (for TCPDUMP and cousins) or accept
1282  * a select set of multicast packets
1283  */
1284 static void bfin_mac_set_multicast_list(struct net_device *dev)
1285 {
1286         u32 sysctl;
1287
1288         if (dev->flags & IFF_PROMISC) {
1289                 printk(KERN_INFO "%s: set to promisc mode\n", dev->name);
1290                 sysctl = bfin_read_EMAC_OPMODE();
1291                 sysctl |= PR;
1292                 bfin_write_EMAC_OPMODE(sysctl);
1293         } else if (dev->flags & IFF_ALLMULTI) {
1294                 /* accept all multicast */
1295                 sysctl = bfin_read_EMAC_OPMODE();
1296                 sysctl |= PAM;
1297                 bfin_write_EMAC_OPMODE(sysctl);
1298         } else if (!netdev_mc_empty(dev)) {
1299                 /* set up multicast hash table */
1300                 sysctl = bfin_read_EMAC_OPMODE();
1301                 sysctl |= HM;
1302                 bfin_write_EMAC_OPMODE(sysctl);
1303                 bfin_mac_multicast_hash(dev);
1304         } else {
1305                 /* clear promisc or multicast mode */
1306                 sysctl = bfin_read_EMAC_OPMODE();
1307                 sysctl &= ~(RAF | PAM);
1308                 bfin_write_EMAC_OPMODE(sysctl);
1309         }
1310 }
1311
1312 static int bfin_mac_ioctl(struct net_device *netdev, struct ifreq *ifr, int cmd)
1313 {
1314         switch (cmd) {
1315         case SIOCSHWTSTAMP:
1316                 return bfin_mac_hwtstamp_ioctl(netdev, ifr, cmd);
1317         default:
1318                 return -EOPNOTSUPP;
1319         }
1320 }
1321
1322 /*
1323  * this puts the device in an inactive state
1324  */
1325 static void bfin_mac_shutdown(struct net_device *dev)
1326 {
1327         /* Turn off the EMAC */
1328         bfin_write_EMAC_OPMODE(0x00000000);
1329         /* Turn off the EMAC RX DMA */
1330         bfin_write_DMA1_CONFIG(0x0000);
1331         bfin_write_DMA2_CONFIG(0x0000);
1332 }
1333
1334 /*
1335  * Open and Initialize the interface
1336  *
1337  * Set up everything, reset the card, etc..
1338  */
1339 static int bfin_mac_open(struct net_device *dev)
1340 {
1341         struct bfin_mac_local *lp = netdev_priv(dev);
1342         int ret;
1343         pr_debug("%s: %s\n", dev->name, __func__);
1344
1345         /*
1346          * Check that the address is valid.  If its not, refuse
1347          * to bring the device up.  The user must specify an
1348          * address using ifconfig eth0 hw ether xx:xx:xx:xx:xx:xx
1349          */
1350         if (!is_valid_ether_addr(dev->dev_addr)) {
1351                 printk(KERN_WARNING DRV_NAME ": no valid ethernet hw addr\n");
1352                 return -EINVAL;
1353         }
1354
1355         /* initial rx and tx list */
1356         ret = desc_list_init();
1357         if (ret)
1358                 return ret;
1359
1360         phy_start(lp->phydev);
1361         phy_write(lp->phydev, MII_BMCR, BMCR_RESET);
1362         setup_system_regs(dev);
1363         setup_mac_addr(dev->dev_addr);
1364
1365         bfin_mac_disable();
1366         ret = bfin_mac_enable();
1367         if (ret)
1368                 return ret;
1369         pr_debug("hardware init finished\n");
1370
1371         netif_start_queue(dev);
1372         netif_carrier_on(dev);
1373
1374         return 0;
1375 }
1376
1377 /*
1378  * this makes the board clean up everything that it can
1379  * and not talk to the outside world.   Caused by
1380  * an 'ifconfig ethX down'
1381  */
1382 static int bfin_mac_close(struct net_device *dev)
1383 {
1384         struct bfin_mac_local *lp = netdev_priv(dev);
1385         pr_debug("%s: %s\n", dev->name, __func__);
1386
1387         netif_stop_queue(dev);
1388         netif_carrier_off(dev);
1389
1390         phy_stop(lp->phydev);
1391         phy_write(lp->phydev, MII_BMCR, BMCR_PDOWN);
1392
1393         /* clear everything */
1394         bfin_mac_shutdown(dev);
1395
1396         /* free the rx/tx buffers */
1397         desc_list_free();
1398
1399         return 0;
1400 }
1401
1402 static const struct net_device_ops bfin_mac_netdev_ops = {
1403         .ndo_open               = bfin_mac_open,
1404         .ndo_stop               = bfin_mac_close,
1405         .ndo_start_xmit         = bfin_mac_hard_start_xmit,
1406         .ndo_set_mac_address    = bfin_mac_set_mac_address,
1407         .ndo_tx_timeout         = bfin_mac_timeout,
1408         .ndo_set_multicast_list = bfin_mac_set_multicast_list,
1409         .ndo_do_ioctl           = bfin_mac_ioctl,
1410         .ndo_validate_addr      = eth_validate_addr,
1411         .ndo_change_mtu         = eth_change_mtu,
1412 #ifdef CONFIG_NET_POLL_CONTROLLER
1413         .ndo_poll_controller    = bfin_mac_poll,
1414 #endif
1415 };
1416
1417 static int __devinit bfin_mac_probe(struct platform_device *pdev)
1418 {
1419         struct net_device *ndev;
1420         struct bfin_mac_local *lp;
1421         struct platform_device *pd;
1422         int rc;
1423
1424         ndev = alloc_etherdev(sizeof(struct bfin_mac_local));
1425         if (!ndev) {
1426                 dev_err(&pdev->dev, "Cannot allocate net device!\n");
1427                 return -ENOMEM;
1428         }
1429
1430         SET_NETDEV_DEV(ndev, &pdev->dev);
1431         platform_set_drvdata(pdev, ndev);
1432         lp = netdev_priv(ndev);
1433
1434         /* Grab the MAC address in the MAC */
1435         *(__le32 *) (&(ndev->dev_addr[0])) = cpu_to_le32(bfin_read_EMAC_ADDRLO());
1436         *(__le16 *) (&(ndev->dev_addr[4])) = cpu_to_le16((u16) bfin_read_EMAC_ADDRHI());
1437
1438         /* probe mac */
1439         /*todo: how to proble? which is revision_register */
1440         bfin_write_EMAC_ADDRLO(0x12345678);
1441         if (bfin_read_EMAC_ADDRLO() != 0x12345678) {
1442                 dev_err(&pdev->dev, "Cannot detect Blackfin on-chip ethernet MAC controller!\n");
1443                 rc = -ENODEV;
1444                 goto out_err_probe_mac;
1445         }
1446
1447
1448         /*
1449          * Is it valid? (Did bootloader initialize it?)
1450          * Grab the MAC from the board somehow
1451          * this is done in the arch/blackfin/mach-bfxxx/boards/eth_mac.c
1452          */
1453         if (!is_valid_ether_addr(ndev->dev_addr))
1454                 bfin_get_ether_addr(ndev->dev_addr);
1455
1456         /* If still not valid, get a random one */
1457         if (!is_valid_ether_addr(ndev->dev_addr))
1458                 random_ether_addr(ndev->dev_addr);
1459
1460         setup_mac_addr(ndev->dev_addr);
1461
1462         if (!pdev->dev.platform_data) {
1463                 dev_err(&pdev->dev, "Cannot get platform device bfin_mii_bus!\n");
1464                 rc = -ENODEV;
1465                 goto out_err_probe_mac;
1466         }
1467         pd = pdev->dev.platform_data;
1468         lp->mii_bus = platform_get_drvdata(pd);
1469         if (!lp->mii_bus) {
1470                 dev_err(&pdev->dev, "Cannot get mii_bus!\n");
1471                 rc = -ENODEV;
1472                 goto out_err_mii_bus_probe;
1473         }
1474         lp->mii_bus->priv = ndev;
1475
1476         rc = mii_probe(ndev);
1477         if (rc) {
1478                 dev_err(&pdev->dev, "MII Probe failed!\n");
1479                 goto out_err_mii_probe;
1480         }
1481
1482         /* Fill in the fields of the device structure with ethernet values. */
1483         ether_setup(ndev);
1484
1485         ndev->netdev_ops = &bfin_mac_netdev_ops;
1486         ndev->ethtool_ops = &bfin_mac_ethtool_ops;
1487
1488         spin_lock_init(&lp->lock);
1489
1490         /* now, enable interrupts */
1491         /* register irq handler */
1492         rc = request_irq(IRQ_MAC_RX, bfin_mac_interrupt,
1493                         IRQF_DISABLED, "EMAC_RX", ndev);
1494         if (rc) {
1495                 dev_err(&pdev->dev, "Cannot request Blackfin MAC RX IRQ!\n");
1496                 rc = -EBUSY;
1497                 goto out_err_request_irq;
1498         }
1499
1500         rc = register_netdev(ndev);
1501         if (rc) {
1502                 dev_err(&pdev->dev, "Cannot register net device!\n");
1503                 goto out_err_reg_ndev;
1504         }
1505
1506         bfin_mac_hwtstamp_init(ndev);
1507
1508         /* now, print out the card info, in a short format.. */
1509         dev_info(&pdev->dev, "%s, Version %s\n", DRV_DESC, DRV_VERSION);
1510
1511         return 0;
1512
1513 out_err_reg_ndev:
1514         free_irq(IRQ_MAC_RX, ndev);
1515 out_err_request_irq:
1516 out_err_mii_probe:
1517         mdiobus_unregister(lp->mii_bus);
1518         mdiobus_free(lp->mii_bus);
1519 out_err_mii_bus_probe:
1520         peripheral_free_list(pin_req);
1521 out_err_probe_mac:
1522         platform_set_drvdata(pdev, NULL);
1523         free_netdev(ndev);
1524
1525         return rc;
1526 }
1527
1528 static int __devexit bfin_mac_remove(struct platform_device *pdev)
1529 {
1530         struct net_device *ndev = platform_get_drvdata(pdev);
1531         struct bfin_mac_local *lp = netdev_priv(ndev);
1532
1533         platform_set_drvdata(pdev, NULL);
1534
1535         lp->mii_bus->priv = NULL;
1536
1537         unregister_netdev(ndev);
1538
1539         free_irq(IRQ_MAC_RX, ndev);
1540
1541         free_netdev(ndev);
1542
1543         peripheral_free_list(pin_req);
1544
1545         return 0;
1546 }
1547
1548 #ifdef CONFIG_PM
1549 static int bfin_mac_suspend(struct platform_device *pdev, pm_message_t mesg)
1550 {
1551         struct net_device *net_dev = platform_get_drvdata(pdev);
1552         struct bfin_mac_local *lp = netdev_priv(net_dev);
1553
1554         if (lp->wol) {
1555                 bfin_write_EMAC_OPMODE((bfin_read_EMAC_OPMODE() & ~TE) | RE);
1556                 bfin_write_EMAC_WKUP_CTL(MPKE);
1557                 enable_irq_wake(IRQ_MAC_WAKEDET);
1558         } else {
1559                 if (netif_running(net_dev))
1560                         bfin_mac_close(net_dev);
1561         }
1562
1563         return 0;
1564 }
1565
1566 static int bfin_mac_resume(struct platform_device *pdev)
1567 {
1568         struct net_device *net_dev = platform_get_drvdata(pdev);
1569         struct bfin_mac_local *lp = netdev_priv(net_dev);
1570
1571         if (lp->wol) {
1572                 bfin_write_EMAC_OPMODE(bfin_read_EMAC_OPMODE() | TE);
1573                 bfin_write_EMAC_WKUP_CTL(0);
1574                 disable_irq_wake(IRQ_MAC_WAKEDET);
1575         } else {
1576                 if (netif_running(net_dev))
1577                         bfin_mac_open(net_dev);
1578         }
1579
1580         return 0;
1581 }
1582 #else
1583 #define bfin_mac_suspend NULL
1584 #define bfin_mac_resume NULL
1585 #endif  /* CONFIG_PM */
1586
1587 static int __devinit bfin_mii_bus_probe(struct platform_device *pdev)
1588 {
1589         struct mii_bus *miibus;
1590         int rc, i;
1591
1592         /*
1593          * We are setting up a network card,
1594          * so set the GPIO pins to Ethernet mode
1595          */
1596         rc = peripheral_request_list(pin_req, DRV_NAME);
1597         if (rc) {
1598                 dev_err(&pdev->dev, "Requesting peripherals failed!\n");
1599                 return rc;
1600         }
1601
1602         rc = -ENOMEM;
1603         miibus = mdiobus_alloc();
1604         if (miibus == NULL)
1605                 goto out_err_alloc;
1606         miibus->read = bfin_mdiobus_read;
1607         miibus->write = bfin_mdiobus_write;
1608         miibus->reset = bfin_mdiobus_reset;
1609
1610         miibus->parent = &pdev->dev;
1611         miibus->name = "bfin_mii_bus";
1612         snprintf(miibus->id, MII_BUS_ID_SIZE, "0");
1613         miibus->irq = kmalloc(sizeof(int)*PHY_MAX_ADDR, GFP_KERNEL);
1614         if (miibus->irq == NULL)
1615                 goto out_err_alloc;
1616         for (i = 0; i < PHY_MAX_ADDR; ++i)
1617                 miibus->irq[i] = PHY_POLL;
1618
1619         rc = mdiobus_register(miibus);
1620         if (rc) {
1621                 dev_err(&pdev->dev, "Cannot register MDIO bus!\n");
1622                 goto out_err_mdiobus_register;
1623         }
1624
1625         platform_set_drvdata(pdev, miibus);
1626         return 0;
1627
1628 out_err_mdiobus_register:
1629         kfree(miibus->irq);
1630         mdiobus_free(miibus);
1631 out_err_alloc:
1632         peripheral_free_list(pin_req);
1633
1634         return rc;
1635 }
1636
1637 static int __devexit bfin_mii_bus_remove(struct platform_device *pdev)
1638 {
1639         struct mii_bus *miibus = platform_get_drvdata(pdev);
1640         platform_set_drvdata(pdev, NULL);
1641         mdiobus_unregister(miibus);
1642         kfree(miibus->irq);
1643         mdiobus_free(miibus);
1644         peripheral_free_list(pin_req);
1645         return 0;
1646 }
1647
1648 static struct platform_driver bfin_mii_bus_driver = {
1649         .probe = bfin_mii_bus_probe,
1650         .remove = __devexit_p(bfin_mii_bus_remove),
1651         .driver = {
1652                 .name = "bfin_mii_bus",
1653                 .owner  = THIS_MODULE,
1654         },
1655 };
1656
1657 static struct platform_driver bfin_mac_driver = {
1658         .probe = bfin_mac_probe,
1659         .remove = __devexit_p(bfin_mac_remove),
1660         .resume = bfin_mac_resume,
1661         .suspend = bfin_mac_suspend,
1662         .driver = {
1663                 .name = DRV_NAME,
1664                 .owner  = THIS_MODULE,
1665         },
1666 };
1667
1668 static int __init bfin_mac_init(void)
1669 {
1670         int ret;
1671         ret = platform_driver_register(&bfin_mii_bus_driver);
1672         if (!ret)
1673                 return platform_driver_register(&bfin_mac_driver);
1674         return -ENODEV;
1675 }
1676
1677 module_init(bfin_mac_init);
1678
1679 static void __exit bfin_mac_cleanup(void)
1680 {
1681         platform_driver_unregister(&bfin_mac_driver);
1682         platform_driver_unregister(&bfin_mii_bus_driver);
1683 }
1684
1685 module_exit(bfin_mac_cleanup);
1686