74 int dw_pcie_cfg_read(void __iomem *addr, int size, u32 *val)  in dw_pcie_cfg_read()  argument
77 		*val = 0;  in dw_pcie_cfg_read()
82 		*val = readl(addr);  in dw_pcie_cfg_read()
84 		*val = readw(addr);  in dw_pcie_cfg_read()
86 		*val = readb(addr);  in dw_pcie_cfg_read()
88 		*val = 0;  in dw_pcie_cfg_read()
95 int dw_pcie_cfg_write(void __iomem *addr, int size, u32 val)  in dw_pcie_cfg_write()  argument
101 		writel(val, addr);  in dw_pcie_cfg_write()
103 		writew(val, addr);  in dw_pcie_cfg_write()
105 		writeb(val, addr);  in dw_pcie_cfg_write()
112 static inline void dw_pcie_readl_rc(struct pcie_port *pp, u32 reg, u32 *val)  in dw_pcie_readl_rc()  argument
115 		pp->ops->readl_rc(pp, pp->dbi_base + reg, val);  in dw_pcie_readl_rc()
117 		*val = readl(pp->dbi_base + reg);  in dw_pcie_readl_rc()
120 static inline void dw_pcie_writel_rc(struct pcie_port *pp, u32 val, u32 reg)  in dw_pcie_writel_rc()  argument
123 		pp->ops->writel_rc(pp, val, pp->dbi_base + reg);  in dw_pcie_writel_rc()
125 		writel(val, pp->dbi_base + reg);  in dw_pcie_writel_rc()
129 			       u32 *val)  in dw_pcie_rd_own_conf()  argument
134 		ret = pp->ops->rd_own_conf(pp, where, size, val);  in dw_pcie_rd_own_conf()
136 		ret = dw_pcie_cfg_read(pp->dbi_base + where, size, val);  in dw_pcie_rd_own_conf()
142 			       u32 val)  in dw_pcie_wr_own_conf()  argument
147 		ret = pp->ops->wr_own_conf(pp, where, size, val);  in dw_pcie_wr_own_conf()
149 		ret = dw_pcie_cfg_write(pp->dbi_base + where, size, val);  in dw_pcie_wr_own_conf()
180 	unsigned long val;  in dw_handle_msi_irq()  local
186 				(u32 *)&val);  in dw_handle_msi_irq()
187 		if (val) {  in dw_handle_msi_irq()
190 			while ((pos = find_next_bit(&val, 32, pos)) != 32) {  in dw_handle_msi_irq()
221 	unsigned int res, bit, val;  in dw_pcie_msi_clear_irq()  local
225 	dw_pcie_rd_own_conf(pp, PCIE_MSI_INTR0_ENABLE + res, 4, &val);  in dw_pcie_msi_clear_irq()
226 	val &= ~(1 << bit);  in dw_pcie_msi_clear_irq()
227 	dw_pcie_wr_own_conf(pp, PCIE_MSI_INTR0_ENABLE + res, 4, val);  in dw_pcie_msi_clear_irq()
249 	unsigned int res, bit, val;  in dw_pcie_msi_set_irq()  local
253 	dw_pcie_rd_own_conf(pp, PCIE_MSI_INTR0_ENABLE + res, 4, &val);  in dw_pcie_msi_set_irq()
254 	val |= 1 << bit;  in dw_pcie_msi_set_irq()
255 	dw_pcie_wr_own_conf(pp, PCIE_MSI_INTR0_ENABLE + res, 4, val);  in dw_pcie_msi_set_irq()
410 	u32 val;  in dw_pcie_host_init()  local
530 	dw_pcie_rd_own_conf(pp, PCIE_LINK_WIDTH_SPEED_CONTROL, 4, &val);  in dw_pcie_host_init()
531 	val |= PORT_LOGIC_SPEED_CHANGE;  in dw_pcie_host_init()
532 	dw_pcie_wr_own_conf(pp, PCIE_LINK_WIDTH_SPEED_CONTROL, 4, val);  in dw_pcie_host_init()
567 		u32 devfn, int where, int size, u32 *val)  in dw_pcie_rd_other_conf()  argument
592 	ret = dw_pcie_cfg_read(va_cfg_base + where, size, val);  in dw_pcie_rd_other_conf()
601 		u32 devfn, int where, int size, u32 val)  in dw_pcie_wr_other_conf()  argument
626 	ret = dw_pcie_cfg_write(va_cfg_base + where, size, val);  in dw_pcie_wr_other_conf()
658 			int size, u32 *val)  in dw_pcie_rd_conf()  argument
664 		*val = 0xffffffff;  in dw_pcie_rd_conf()
671 						where, size, val);  in dw_pcie_rd_conf()
674 						where, size, val);  in dw_pcie_rd_conf()
676 		ret = dw_pcie_rd_own_conf(pp, where, size, val);  in dw_pcie_rd_conf()
682 			int where, int size, u32 val)  in dw_pcie_wr_conf()  argument
693 						where, size, val);  in dw_pcie_wr_conf()
696 						where, size, val);  in dw_pcie_wr_conf()
698 		ret = dw_pcie_wr_own_conf(pp, where, size, val);  in dw_pcie_wr_conf()
710 	u32 val;  in dw_pcie_setup_rc()  local
715 	dw_pcie_readl_rc(pp, PCIE_PORT_LINK_CONTROL, &val);  in dw_pcie_setup_rc()
716 	val &= ~PORT_LINK_MODE_MASK;  in dw_pcie_setup_rc()
719 		val |= PORT_LINK_MODE_1_LANES;  in dw_pcie_setup_rc()
722 		val |= PORT_LINK_MODE_2_LANES;  in dw_pcie_setup_rc()
725 		val |= PORT_LINK_MODE_4_LANES;  in dw_pcie_setup_rc()
728 		val |= PORT_LINK_MODE_8_LANES;  in dw_pcie_setup_rc()
734 	dw_pcie_writel_rc(pp, val, PCIE_PORT_LINK_CONTROL);  in dw_pcie_setup_rc()
737 	dw_pcie_readl_rc(pp, PCIE_LINK_WIDTH_SPEED_CONTROL, &val);  in dw_pcie_setup_rc()
738 	val &= ~PORT_LOGIC_LINK_WIDTH_MASK;  in dw_pcie_setup_rc()
741 		val |= PORT_LOGIC_LINK_WIDTH_1_LANES;  in dw_pcie_setup_rc()
744 		val |= PORT_LOGIC_LINK_WIDTH_2_LANES;  in dw_pcie_setup_rc()
747 		val |= PORT_LOGIC_LINK_WIDTH_4_LANES;  in dw_pcie_setup_rc()
750 		val |= PORT_LOGIC_LINK_WIDTH_8_LANES;  in dw_pcie_setup_rc()
753 	dw_pcie_writel_rc(pp, val, PCIE_LINK_WIDTH_SPEED_CONTROL);  in dw_pcie_setup_rc()
760 	dw_pcie_readl_rc(pp, PCI_INTERRUPT_LINE, &val);  in dw_pcie_setup_rc()
761 	val &= 0xffff00ff;  in dw_pcie_setup_rc()
762 	val |= 0x00000100;  in dw_pcie_setup_rc()
763 	dw_pcie_writel_rc(pp, val, PCI_INTERRUPT_LINE);  in dw_pcie_setup_rc()
766 	dw_pcie_readl_rc(pp, PCI_PRIMARY_BUS, &val);  in dw_pcie_setup_rc()
767 	val &= 0xff000000;  in dw_pcie_setup_rc()
768 	val |= 0x00010100;  in dw_pcie_setup_rc()
769 	dw_pcie_writel_rc(pp, val, PCI_PRIMARY_BUS);  in dw_pcie_setup_rc()
774 	val = memlimit | membase;  in dw_pcie_setup_rc()
775 	dw_pcie_writel_rc(pp, val, PCI_MEMORY_BASE);  in dw_pcie_setup_rc()
778 	dw_pcie_readl_rc(pp, PCI_COMMAND, &val);  in dw_pcie_setup_rc()
779 	val &= 0xffff0000;  in dw_pcie_setup_rc()
780 	val |= PCI_COMMAND_IO | PCI_COMMAND_MEMORY |  in dw_pcie_setup_rc()
782 	dw_pcie_writel_rc(pp, val, PCI_COMMAND);  in dw_pcie_setup_rc()