SAFE public projects git trees. - safe/jmp/linux-2.6/blob - arch/sparc64/kernel/ebus.c

   1 /* $Id: ebus.c,v 1.64 2001/11/08 04:41:33 davem Exp $
   2  * ebus.c: PCI to EBus bridge device.
   3  *
   4  * Copyright (C) 1997  Eddie C. Dost  (ecd@skynet.be)
   5  * Copyright (C) 1999  David S. Miller (davem@redhat.com)
   6  */
   7
   8 #include <linux/config.h>
   9 #include <linux/module.h>
  10 #include <linux/kernel.h>
  11 #include <linux/types.h>
  12 #include <linux/init.h>
  13 #include <linux/slab.h>
  14 #include <linux/string.h>
  15 #include <linux/interrupt.h>
  16 #include <linux/delay.h>
  17
  18 #include <asm/system.h>
  19 #include <asm/page.h>
  20 #include <asm/pbm.h>
  21 #include <asm/ebus.h>
  22 #include <asm/oplib.h>
  23 #include <asm/bpp.h>
  24 #include <asm/irq.h>
  25
  26 /* EBUS dma library. */
  27
  28 #define EBDMA_CSR       0x00UL  /* Control/Status */
  29 #define EBDMA_ADDR      0x04UL  /* DMA Address */
  30 #define EBDMA_COUNT     0x08UL  /* DMA Count */
  31
  32 #define EBDMA_CSR_INT_PEND      0x00000001
  33 #define EBDMA_CSR_ERR_PEND      0x00000002
  34 #define EBDMA_CSR_DRAIN         0x00000004
  35 #define EBDMA_CSR_INT_EN        0x00000010
  36 #define EBDMA_CSR_RESET         0x00000080
  37 #define EBDMA_CSR_WRITE         0x00000100
  38 #define EBDMA_CSR_EN_DMA        0x00000200
  39 #define EBDMA_CSR_CYC_PEND      0x00000400
  40 #define EBDMA_CSR_DIAG_RD_DONE  0x00000800
  41 #define EBDMA_CSR_DIAG_WR_DONE  0x00001000
  42 #define EBDMA_CSR_EN_CNT        0x00002000
  43 #define EBDMA_CSR_TC            0x00004000
  44 #define EBDMA_CSR_DIS_CSR_DRN   0x00010000
  45 #define EBDMA_CSR_BURST_SZ_MASK 0x000c0000
  46 #define EBDMA_CSR_BURST_SZ_1    0x00080000
  47 #define EBDMA_CSR_BURST_SZ_4    0x00000000
  48 #define EBDMA_CSR_BURST_SZ_8    0x00040000
  49 #define EBDMA_CSR_BURST_SZ_16   0x000c0000
  50 #define EBDMA_CSR_DIAG_EN       0x00100000
  51 #define EBDMA_CSR_DIS_ERR_PEND  0x00400000
  52 #define EBDMA_CSR_TCI_DIS       0x00800000
  53 #define EBDMA_CSR_EN_NEXT       0x01000000
  54 #define EBDMA_CSR_DMA_ON        0x02000000
  55 #define EBDMA_CSR_A_LOADED      0x04000000
  56 #define EBDMA_CSR_NA_LOADED     0x08000000
  57 #define EBDMA_CSR_DEV_ID_MASK   0xf0000000
  58
  59 #define EBUS_DMA_RESET_TIMEOUT  10000
  60
  61 static void __ebus_dma_reset(struct ebus_dma_info *p, int no_drain)
  62 {
  63         int i;
  64         u32 val = 0;
  65
  66         writel(EBDMA_CSR_RESET, p->regs + EBDMA_CSR);
  67         udelay(1);
  68
  69         if (no_drain)
  70                 return;
  71
  72         for (i = EBUS_DMA_RESET_TIMEOUT; i > 0; i--) {
  73                 val = readl(p->regs + EBDMA_CSR);
  74
  75                 if (!(val & (EBDMA_CSR_DRAIN | EBDMA_CSR_CYC_PEND)))
  76                         break;
  77                 udelay(10);
  78         }
  79 }
  80
  81 static irqreturn_t ebus_dma_irq(int irq, void *dev_id, struct pt_regs *regs)
  82 {
  83         struct ebus_dma_info *p = dev_id;
  84         unsigned long flags;
  85         u32 csr = 0;
  86
  87         spin_lock_irqsave(&p->lock, flags);
  88         csr = readl(p->regs + EBDMA_CSR);
  89         writel(csr, p->regs + EBDMA_CSR);
  90         spin_unlock_irqrestore(&p->lock, flags);
  91
  92         if (csr & EBDMA_CSR_ERR_PEND) {
  93                 printk(KERN_CRIT "ebus_dma(%s): DMA error!\n", p->name);
  94                 p->callback(p, EBUS_DMA_EVENT_ERROR, p->client_cookie);
  95                 return IRQ_HANDLED;
  96         } else if (csr & EBDMA_CSR_INT_PEND) {
  97                 p->callback(p,
  98                             (csr & EBDMA_CSR_TC) ?
  99                             EBUS_DMA_EVENT_DMA : EBUS_DMA_EVENT_DEVICE,
 100                             p->client_cookie);
 101                 return IRQ_HANDLED;
 102         }
 103
 104         return IRQ_NONE;
 105
 106 }
 107
 108 int ebus_dma_register(struct ebus_dma_info *p)
 109 {
 110         u32 csr;
 111
 112         if (!p->regs)
 113                 return -EINVAL;
 114         if (p->flags & ~(EBUS_DMA_FLAG_USE_EBDMA_HANDLER |
 115                          EBUS_DMA_FLAG_TCI_DISABLE))
 116                 return -EINVAL;
 117         if ((p->flags & EBUS_DMA_FLAG_USE_EBDMA_HANDLER) && !p->callback)
 118                 return -EINVAL;
 119         if (!strlen(p->name))
 120                 return -EINVAL;
 121
 122         __ebus_dma_reset(p, 1);
 123
 124         csr = EBDMA_CSR_BURST_SZ_16 | EBDMA_CSR_EN_CNT;
 125
 126         if (p->flags & EBUS_DMA_FLAG_TCI_DISABLE)
 127                 csr |= EBDMA_CSR_TCI_DIS;
 128
 129         writel(csr, p->regs + EBDMA_CSR);
 130
 131         return 0;
 132 }
 133 EXPORT_SYMBOL(ebus_dma_register);
 134
 135 int ebus_dma_irq_enable(struct ebus_dma_info *p, int on)
 136 {
 137         unsigned long flags;
 138         u32 csr;
 139
 140         if (on) {
 141                 if (p->flags & EBUS_DMA_FLAG_USE_EBDMA_HANDLER) {
 142                         if (request_irq(p->irq, ebus_dma_irq, SA_SHIRQ, p->name, p))
 143                                 return -EBUSY;
 144                 }
 145
 146                 spin_lock_irqsave(&p->lock, flags);
 147                 csr = readl(p->regs + EBDMA_CSR);
 148                 csr |= EBDMA_CSR_INT_EN;
 149                 writel(csr, p->regs + EBDMA_CSR);
 150                 spin_unlock_irqrestore(&p->lock, flags);
 151         } else {
 152                 spin_lock_irqsave(&p->lock, flags);
 153                 csr = readl(p->regs + EBDMA_CSR);
 154                 csr &= ~EBDMA_CSR_INT_EN;
 155                 writel(csr, p->regs + EBDMA_CSR);
 156                 spin_unlock_irqrestore(&p->lock, flags);
 157
 158                 if (p->flags & EBUS_DMA_FLAG_USE_EBDMA_HANDLER) {
 159                         free_irq(p->irq, p);
 160                 }
 161         }
 162
 163         return 0;
 164 }
 165 EXPORT_SYMBOL(ebus_dma_irq_enable);
 166
 167 void ebus_dma_unregister(struct ebus_dma_info *p)
 168 {
 169         unsigned long flags;
 170         u32 csr;
 171         int irq_on = 0;
 172
 173         spin_lock_irqsave(&p->lock, flags);
 174         csr = readl(p->regs + EBDMA_CSR);
 175         if (csr & EBDMA_CSR_INT_EN) {
 176                 csr &= ~EBDMA_CSR_INT_EN;
 177                 writel(csr, p->regs + EBDMA_CSR);
 178                 irq_on = 1;
 179         }
 180         spin_unlock_irqrestore(&p->lock, flags);
 181
 182         if (irq_on)
 183                 free_irq(p->irq, p);
 184 }
 185 EXPORT_SYMBOL(ebus_dma_unregister);
 186
 187 int ebus_dma_request(struct ebus_dma_info *p, dma_addr_t bus_addr, size_t len)
 188 {
 189         unsigned long flags;
 190         u32 csr;
 191         int err;
 192
 193         if (len >= (1 << 24))
 194                 return -EINVAL;
 195
 196         spin_lock_irqsave(&p->lock, flags);
 197         csr = readl(p->regs + EBDMA_CSR);
 198         err = -EINVAL;
 199         if (!(csr & EBDMA_CSR_EN_DMA))
 200                 goto out;
 201         err = -EBUSY;
 202         if (csr & EBDMA_CSR_NA_LOADED)
 203                 goto out;
 204
 205         writel(len,      p->regs + EBDMA_COUNT);
 206         writel(bus_addr, p->regs + EBDMA_ADDR);
 207         err = 0;
 208
 209 out:
 210         spin_unlock_irqrestore(&p->lock, flags);
 211
 212         return err;
 213 }
 214 EXPORT_SYMBOL(ebus_dma_request);
 215
 216 void ebus_dma_prepare(struct ebus_dma_info *p, int write)
 217 {
 218         unsigned long flags;
 219         u32 csr;
 220
 221         spin_lock_irqsave(&p->lock, flags);
 222         __ebus_dma_reset(p, 0);
 223
 224         csr = (EBDMA_CSR_INT_EN |
 225                EBDMA_CSR_EN_CNT |
 226                EBDMA_CSR_BURST_SZ_16 |
 227                EBDMA_CSR_EN_NEXT);
 228
 229         if (write)
 230                 csr |= EBDMA_CSR_WRITE;
 231         if (p->flags & EBUS_DMA_FLAG_TCI_DISABLE)
 232                 csr |= EBDMA_CSR_TCI_DIS;
 233
 234         writel(csr, p->regs + EBDMA_CSR);
 235
 236         spin_unlock_irqrestore(&p->lock, flags);
 237 }
 238 EXPORT_SYMBOL(ebus_dma_prepare);
 239
 240 unsigned int ebus_dma_residue(struct ebus_dma_info *p)
 241 {
 242         return readl(p->regs + EBDMA_COUNT);
 243 }
 244 EXPORT_SYMBOL(ebus_dma_residue);
 245
 246 unsigned int ebus_dma_addr(struct ebus_dma_info *p)
 247 {
 248         return readl(p->regs + EBDMA_ADDR);
 249 }
 250 EXPORT_SYMBOL(ebus_dma_addr);
 251
 252 void ebus_dma_enable(struct ebus_dma_info *p, int on)
 253 {
 254         unsigned long flags;
 255         u32 orig_csr, csr;
 256
 257         spin_lock_irqsave(&p->lock, flags);
 258         orig_csr = csr = readl(p->regs + EBDMA_CSR);
 259         if (on)
 260                 csr |= EBDMA_CSR_EN_DMA;
 261         else
 262                 csr &= ~EBDMA_CSR_EN_DMA;
 263         if ((orig_csr & EBDMA_CSR_EN_DMA) !=
 264             (csr & EBDMA_CSR_EN_DMA))
 265                 writel(csr, p->regs + EBDMA_CSR);
 266         spin_unlock_irqrestore(&p->lock, flags);
 267 }
 268 EXPORT_SYMBOL(ebus_dma_enable);
 269
 270 struct linux_ebus *ebus_chain = NULL;
 271
 272 #ifdef CONFIG_SUN_AUXIO
 273 extern void auxio_probe(void);
 274 #endif
 275
 276 static inline void *ebus_alloc(size_t size)
 277 {
 278         void *mem;
 279
 280         mem = kzalloc(size, GFP_ATOMIC);
 281         if (!mem)
 282                 panic("ebus_alloc: out of memory");
 283         return mem;
 284 }
 285
 286 static void __init ebus_ranges_init(struct linux_ebus *ebus)
 287 {
 288         struct linux_prom_ebus_ranges *rngs;
 289         int len;
 290
 291         ebus->num_ebus_ranges = 0;
 292         rngs = of_get_property(ebus->prom_node, "ranges", &len);
 293         if (rngs) {
 294                 memcpy(ebus->ebus_ranges, rngs, len);
 295                 ebus->num_ebus_ranges =
 296                         (len / sizeof(struct linux_prom_ebus_ranges));
 297         }
 298 }
 299
 300 static void __init ebus_intmap_init(struct linux_ebus *ebus)
 301 {
 302         struct linux_prom_ebus_intmap *imap;
 303         struct linux_prom_ebus_intmask *imask;
 304         int len;
 305
 306         ebus->num_ebus_intmap = 0;
 307         imap = of_get_property(ebus->prom_node, "interrupt-map", &len);
 308         if (!imap)
 309                 return;
 310
 311         memcpy(ebus->ebus_intmap, imap, len);
 312         ebus->num_ebus_intmap = (len / sizeof(struct linux_prom_ebus_intmap));
 313
 314         imask = of_get_property(ebus->prom_node, "interrupt-map-mask", &len);
 315         if (!imask) {
 316                 prom_printf("EBUS: can't get interrupt-map-mask\n");
 317                 prom_halt();
 318         }
 319         memcpy(&ebus->ebus_intmask, imask, sizeof(ebus->ebus_intmask));
 320 }
 321
 322 int __init ebus_intmap_match(struct linux_ebus *ebus,
 323                              struct linux_prom_registers *reg,
 324                              int *interrupt)
 325 {
 326         unsigned int hi, lo, irq;
 327         int i;
 328
 329         if (!ebus->num_ebus_intmap)
 330                 return 0;
 331
 332         hi = reg->which_io & ebus->ebus_intmask.phys_hi;
 333         lo = reg->phys_addr & ebus->ebus_intmask.phys_lo;
 334         irq = *interrupt & ebus->ebus_intmask.interrupt;
 335         for (i = 0; i < ebus->num_ebus_intmap; i++) {
 336                 if ((ebus->ebus_intmap[i].phys_hi == hi) &&
 337                     (ebus->ebus_intmap[i].phys_lo == lo) &&
 338                     (ebus->ebus_intmap[i].interrupt == irq)) {
 339                         *interrupt = ebus->ebus_intmap[i].cinterrupt;
 340                         return 0;
 341                 }
 342         }
 343         return -1;
 344 }
 345
 346 void __init fill_ebus_child(struct device_node *dp,
 347                             struct linux_prom_registers *preg,
 348                             struct linux_ebus_child *dev,
 349                             int non_standard_regs)
 350 {
 351         int *regs;
 352         int *irqs;
 353         int i, len;
 354
 355         dev->prom_node = dp;
 356         printk(" (%s)", dp->name);
 357
 358         regs = of_get_property(dp, "reg", &len);
 359         if (!regs)
 360                 dev->num_addrs = 0;
 361         else
 362                 dev->num_addrs = len / sizeof(regs[0]);
 363
 364         if (non_standard_regs) {
 365                 /* This is to handle reg properties which are not
 366                  * in the parent relative format.  One example are
 367                  * children of the i2c device on CompactPCI systems.
 368                  *
 369                  * So, for such devices we just record the property
 370                  * raw in the child resources.
 371                  */
 372                 for (i = 0; i < dev->num_addrs; i++)
 373                         dev->resource[i].start = regs[i];
 374         } else {
 375                 for (i = 0; i < dev->num_addrs; i++) {
 376                         int rnum = regs[i];
 377                         if (rnum >= dev->parent->num_addrs) {
 378                                 prom_printf("UGH: property for %s was %d, need < %d\n",
 379                                             dp->name, len, dev->parent->num_addrs);
 380                                 prom_halt();
 381                         }
 382                         dev->resource[i].start = dev->parent->resource[i].start;
 383                         dev->resource[i].end = dev->parent->resource[i].end;
 384                         dev->resource[i].flags = IORESOURCE_MEM;
 385                         dev->resource[i].name = dp->name;
 386                 }
 387         }
 388
 389         for (i = 0; i < PROMINTR_MAX; i++)
 390                 dev->irqs[i] = PCI_IRQ_NONE;
 391
 392         irqs = of_get_property(dp, "interrupts", &len);
 393         if (!irqs) {
 394                 dev->num_irqs = 0;
 395                 /*
 396                  * Oh, well, some PROMs don't export interrupts
 397                  * property to children of EBus devices...
 398                  *
 399                  * Be smart about PS/2 keyboard and mouse.
 400                  */
 401                 if (!strcmp(dev->parent->prom_node->name, "8042")) {
 402                         if (!strcmp(dev->prom_node->name, "kb_ps2")) {
 403                                 dev->num_irqs = 1;
 404                                 dev->irqs[0] = dev->parent->irqs[0];
 405                         } else {
 406                                 dev->num_irqs = 1;
 407                                 dev->irqs[0] = dev->parent->irqs[1];
 408                         }
 409                 }
 410         } else {
 411                 dev->num_irqs = len / sizeof(irqs[0]);
 412                 for (i = 0; i < dev->num_irqs; i++) {
 413                         struct pci_pbm_info *pbm = dev->bus->parent;
 414                         struct pci_controller_info *p = pbm->parent;
 415
 416                         if (ebus_intmap_match(dev->bus, preg, &irqs[i]) != -1) {
 417                                 dev->irqs[i] = p->irq_build(pbm,
 418                                                             dev->bus->self,
 419                                                             irqs[i]);
 420                         } else {
 421                                 /* If we get a bogus interrupt property, just
 422                                  * record the raw value instead of punting.
 423                                  */
 424                                 dev->irqs[i] = irqs[i];
 425                         }
 426                 }
 427         }
 428 }
 429
 430 static int __init child_regs_nonstandard(struct linux_ebus_device *dev)
 431 {
 432         if (!strcmp(dev->prom_node->name, "i2c") ||
 433             !strcmp(dev->prom_node->name, "SUNW,lombus"))
 434                 return 1;
 435         return 0;
 436 }
 437
 438 void __init fill_ebus_device(struct device_node *dp, struct linux_ebus_device *dev)
 439 {
 440         struct linux_prom_registers *regs;
 441         struct linux_ebus_child *child;
 442         int *irqs;
 443         int i, n, len;
 444
 445         dev->prom_node = dp;
 446
 447         printk(" [%s", dp->name);
 448
 449         regs = of_get_property(dp, "reg", &len);
 450         if (!regs) {
 451                 dev->num_addrs = 0;
 452                 goto probe_interrupts;
 453         }
 454
 455         if (len % sizeof(struct linux_prom_registers)) {
 456                 prom_printf("UGH: proplen for %s was %d, need multiple of %d\n",
 457                             dev->prom_node->name, len,
 458                             (int)sizeof(struct linux_prom_registers));
 459                 prom_halt();
 460         }
 461         dev->num_addrs = len / sizeof(struct linux_prom_registers);
 462
 463         for (i = 0; i < dev->num_addrs; i++) {
 464                 /* XXX Learn how to interpret ebus ranges... -DaveM */
 465                 if (regs[i].which_io >= 0x10)
 466                         n = (regs[i].which_io - 0x10) >> 2;
 467                 else
 468                         n = regs[i].which_io;
 469
 470                 dev->resource[i].start  = dev->bus->self->resource[n].start;
 471                 dev->resource[i].start += (unsigned long)regs[i].phys_addr;
 472                 dev->resource[i].end    =
 473                         (dev->resource[i].start + (unsigned long)regs[i].reg_size - 1UL);
 474                 dev->resource[i].flags  = IORESOURCE_MEM;
 475                 dev->resource[i].name   = dev->prom_node->name;
 476                 request_resource(&dev->bus->self->resource[n],
 477                                  &dev->resource[i]);
 478         }
 479
 480 probe_interrupts:
 481         for (i = 0; i < PROMINTR_MAX; i++)
 482                 dev->irqs[i] = PCI_IRQ_NONE;
 483
 484         irqs = of_get_property(dp, "interrupts", &len);
 485         if (!irqs) {
 486                 dev->num_irqs = 0;
 487         } else {
 488                 dev->num_irqs = len / sizeof(irqs[0]);
 489                 for (i = 0; i < dev->num_irqs; i++) {
 490                         struct pci_pbm_info *pbm = dev->bus->parent;
 491                         struct pci_controller_info *p = pbm->parent;
 492
 493                         if (ebus_intmap_match(dev->bus, &regs[0], &irqs[i]) != -1) {
 494                                 dev->irqs[i] = p->irq_build(pbm,
 495                                                             dev->bus->self,
 496                                                             irqs[i]);
 497                         } else {
 498                                 /* If we get a bogus interrupt property, just
 499                                  * record the raw value instead of punting.
 500                                  */
 501                                 dev->irqs[i] = irqs[i];
 502                         }
 503                 }
 504         }
 505
 506         dp = dp->child;
 507         if (dp) {
 508                 printk(" ->");
 509                 dev->children = ebus_alloc(sizeof(struct linux_ebus_child));
 510
 511                 child = dev->children;
 512                 child->next = NULL;
 513                 child->parent = dev;
 514                 child->bus = dev->bus;
 515                 fill_ebus_child(dp, regs, child,
 516                                 child_regs_nonstandard(dev));
 517
 518                 while ((dp = dp->sibling) != NULL) {
 519                         child->next = ebus_alloc(sizeof(struct linux_ebus_child));
 520
 521                         child = child->next;
 522                         child->next = NULL;
 523                         child->parent = dev;
 524                         child->bus = dev->bus;
 525                         fill_ebus_child(dp, regs, child,
 526                                         child_regs_nonstandard(dev));
 527                 }
 528         }
 529         printk("]");
 530 }
 531
 532 static struct pci_dev *find_next_ebus(struct pci_dev *start, int *is_rio_p)
 533 {
 534         struct pci_dev *pdev = start;
 535
 536         while ((pdev = pci_get_device(PCI_VENDOR_ID_SUN, PCI_ANY_ID, pdev)))
 537                 if (pdev->device == PCI_DEVICE_ID_SUN_EBUS ||
 538                         pdev->device == PCI_DEVICE_ID_SUN_RIO_EBUS)
 539                         break;
 540
 541         *is_rio_p = !!(pdev && (pdev->device == PCI_DEVICE_ID_SUN_RIO_EBUS));
 542
 543         return pdev;
 544 }
 545
 546 void __init ebus_init(void)
 547 {
 548         struct pci_pbm_info *pbm;
 549         struct linux_ebus_device *dev;
 550         struct linux_ebus *ebus;
 551         struct pci_dev *pdev;
 552         struct pcidev_cookie *cookie;
 553         struct device_node *dp;
 554         int is_rio;
 555         int num_ebus = 0;
 556
 557         pdev = find_next_ebus(NULL, &is_rio);
 558         if (!pdev) {
 559                 printk("ebus: No EBus's found.\n");
 560                 return;
 561         }
 562
 563         cookie = pdev->sysdata;
 564         dp = cookie->prom_node;
 565
 566         ebus_chain = ebus = ebus_alloc(sizeof(struct linux_ebus));
 567         ebus->next = NULL;
 568         ebus->is_rio = is_rio;
 569
 570         while (dp) {
 571                 struct device_node *child;
 572
 573                 /* SUNW,pci-qfe uses four empty ebuses on it.
 574                    I think we should not consider them here,
 575                    as they have half of the properties this
 576                    code expects and once we do PCI hot-plug,
 577                    we'd have to tweak with the ebus_chain
 578                    in the runtime after initialization. -jj */
 579                 if (!dp->child) {
 580                         pdev = find_next_ebus(pdev, &is_rio);
 581                         if (!pdev) {
 582                                 if (ebus == ebus_chain) {
 583                                         ebus_chain = NULL;
 584                                         printk("ebus: No EBus's found.\n");
 585                                         return;
 586                                 }
 587                                 break;
 588                         }
 589                         ebus->is_rio = is_rio;
 590                         cookie = pdev->sysdata;
 591                         dp = cookie->prom_node;
 592                         continue;
 593                 }
 594                 printk("ebus%d:", num_ebus);
 595
 596                 ebus->index = num_ebus;
 597                 ebus->prom_node = dp;
 598                 ebus->self = pdev;
 599                 ebus->parent = pbm = cookie->pbm;
 600
 601                 ebus_ranges_init(ebus);
 602                 ebus_intmap_init(ebus);
 603
 604                 child = dp->child;
 605                 if (!child)
 606                         goto next_ebus;
 607
 608                 ebus->devices = ebus_alloc(sizeof(struct linux_ebus_device));
 609
 610                 dev = ebus->devices;
 611                 dev->next = NULL;
 612                 dev->children = NULL;
 613                 dev->bus = ebus;
 614                 fill_ebus_device(child, dev);
 615
 616                 while ((child = child->sibling) != NULL) {
 617                         dev->next = ebus_alloc(sizeof(struct linux_ebus_device));
 618
 619                         dev = dev->next;
 620                         dev->next = NULL;
 621                         dev->children = NULL;
 622                         dev->bus = ebus;
 623                         fill_ebus_device(child, dev);
 624                 }
 625
 626         next_ebus:
 627                 printk("\n");
 628
 629                 pdev = find_next_ebus(pdev, &is_rio);
 630                 if (!pdev)
 631                         break;
 632
 633                 cookie = pdev->sysdata;
 634                 dp = cookie->prom_node;
 635
 636                 ebus->next = ebus_alloc(sizeof(struct linux_ebus));
 637                 ebus = ebus->next;
 638                 ebus->next = NULL;
 639                 ebus->is_rio = is_rio;
 640                 ++num_ebus;
 641         }
 642         pci_dev_put(pdev); /* XXX for the case, when ebusnd is 0, is it OK? */
 643
 644 #ifdef CONFIG_SUN_AUXIO
 645         auxio_probe();
 646 #endif
 647 }