86 	struct iscsi_conn *conn = rd_desc->arg.data;  in iscsi_sw_tcp_recv()  local
90 	ISCSI_SW_TCP_DBG(conn, "in %d bytes\n", skb->len - offset);  in iscsi_sw_tcp_recv()
94 		consumed = iscsi_tcp_recv_skb(conn, skb, offset, 0, &status);  in iscsi_sw_tcp_recv()
99 	ISCSI_SW_TCP_DBG(conn, "read %d bytes status %d\n",  in iscsi_sw_tcp_recv()
116 	struct iscsi_conn *conn = sk->sk_user_data;  in iscsi_sw_sk_state_check()  local
119 	    (conn->session->state != ISCSI_STATE_LOGGING_OUT) &&  in iscsi_sw_sk_state_check()
121 		ISCSI_SW_TCP_DBG(conn, "TCP_CLOSE|TCP_CLOSE_WAIT\n");  in iscsi_sw_sk_state_check()
122 		iscsi_conn_failure(conn, ISCSI_ERR_TCP_CONN_CLOSE);  in iscsi_sw_sk_state_check()
130 	struct iscsi_conn *conn;  in iscsi_sw_tcp_data_ready()  local
135 	conn = sk->sk_user_data;  in iscsi_sw_tcp_data_ready()
136 	if (!conn) {  in iscsi_sw_tcp_data_ready()
140 	tcp_conn = conn->dd_data;  in iscsi_sw_tcp_data_ready()
148 	rd_desc.arg.data = conn;  in iscsi_sw_tcp_data_ready()
164 	struct iscsi_conn *conn;  in iscsi_sw_tcp_state_change()  local
169 	conn = sk->sk_user_data;  in iscsi_sw_tcp_state_change()
170 	if (!conn) {  in iscsi_sw_tcp_state_change()
174 	session = conn->session;  in iscsi_sw_tcp_state_change()
178 	tcp_conn = conn->dd_data;  in iscsi_sw_tcp_state_change()
193 	struct iscsi_conn *conn;  in iscsi_sw_tcp_write_space()  local
199 	conn = sk->sk_user_data;  in iscsi_sw_tcp_write_space()
200 	if (!conn) {  in iscsi_sw_tcp_write_space()
205 	tcp_conn = conn->dd_data;  in iscsi_sw_tcp_write_space()
212 	ISCSI_SW_TCP_DBG(conn, "iscsi_write_space\n");  in iscsi_sw_tcp_write_space()
213 	iscsi_conn_queue_work(conn);  in iscsi_sw_tcp_write_space()
216 static void iscsi_sw_tcp_conn_set_callbacks(struct iscsi_conn *conn)  in iscsi_sw_tcp_conn_set_callbacks()  argument
218 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_sw_tcp_conn_set_callbacks()
224 	sk->sk_user_data = conn;  in iscsi_sw_tcp_conn_set_callbacks()
235 iscsi_sw_tcp_conn_restore_callbacks(struct iscsi_conn *conn)  in iscsi_sw_tcp_conn_restore_callbacks()  argument
237 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_sw_tcp_conn_restore_callbacks()
312 static int iscsi_sw_tcp_xmit(struct iscsi_conn *conn)  in iscsi_sw_tcp_xmit()  argument
314 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_sw_tcp_xmit()
346 	ISCSI_SW_TCP_DBG(conn, "xmit %d bytes\n", consumed);  in iscsi_sw_tcp_xmit()
348 	conn->txdata_octets += consumed;  in iscsi_sw_tcp_xmit()
354 	ISCSI_SW_TCP_DBG(conn, "Error sending PDU, errno=%d\n", rc);  in iscsi_sw_tcp_xmit()
355 	iscsi_conn_failure(conn, rc);  in iscsi_sw_tcp_xmit()
362 static inline int iscsi_sw_tcp_xmit_qlen(struct iscsi_conn *conn)  in iscsi_sw_tcp_xmit_qlen()  argument
364 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_sw_tcp_xmit_qlen()
373 	struct iscsi_conn *conn = task->conn;  in iscsi_sw_tcp_pdu_xmit()  local
379 	while (iscsi_sw_tcp_xmit_qlen(conn)) {  in iscsi_sw_tcp_pdu_xmit()
380 		rc = iscsi_sw_tcp_xmit(conn);  in iscsi_sw_tcp_pdu_xmit()
411 static void iscsi_sw_tcp_send_hdr_prep(struct iscsi_conn *conn, void *hdr,  in iscsi_sw_tcp_send_hdr_prep()  argument
414 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_sw_tcp_send_hdr_prep()
417 	ISCSI_SW_TCP_DBG(conn, "%s\n", conn->hdrdgst_en ?  in iscsi_sw_tcp_send_hdr_prep()
430 	if (conn->hdrdgst_en) {  in iscsi_sw_tcp_send_hdr_prep()
451 iscsi_sw_tcp_send_data_prep(struct iscsi_conn *conn, struct scatterlist *sg,  in iscsi_sw_tcp_send_data_prep()  argument
455 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_sw_tcp_send_data_prep()
460 	ISCSI_SW_TCP_DBG(conn, "offset=%d, datalen=%d %s\n", offset, len,  in iscsi_sw_tcp_send_data_prep()
461 			 conn->datadgst_en ?  in iscsi_sw_tcp_send_data_prep()
469 	if (conn->datadgst_en)  in iscsi_sw_tcp_send_data_prep()
478 iscsi_sw_tcp_send_linear_data_prep(struct iscsi_conn *conn, void *data,  in iscsi_sw_tcp_send_linear_data_prep()  argument
481 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_sw_tcp_send_linear_data_prep()
486 	ISCSI_SW_TCP_DBG(conn, "datalen=%zd %s\n", len, conn->datadgst_en ?  in iscsi_sw_tcp_send_linear_data_prep()
494 	if (conn->datadgst_en)  in iscsi_sw_tcp_send_linear_data_prep()
504 	struct iscsi_conn *conn = task->conn;  in iscsi_sw_tcp_pdu_init()  local
507 	iscsi_sw_tcp_send_hdr_prep(conn, task->hdr, task->hdr_len);  in iscsi_sw_tcp_pdu_init()
513 		iscsi_sw_tcp_send_linear_data_prep(conn, task->data, count);  in iscsi_sw_tcp_pdu_init()
517 		err = iscsi_sw_tcp_send_data_prep(conn, sdb->table.sgl,  in iscsi_sw_tcp_pdu_init()
542 	struct iscsi_conn *conn;  in iscsi_sw_tcp_conn_create()  local
551 	conn = cls_conn->dd_data;  in iscsi_sw_tcp_conn_create()
552 	tcp_conn = conn->dd_data;  in iscsi_sw_tcp_conn_create()
573 	iscsi_conn_printk(KERN_ERR, conn,  in iscsi_sw_tcp_conn_create()
582 static void iscsi_sw_tcp_release_conn(struct iscsi_conn *conn)  in iscsi_sw_tcp_release_conn()  argument
584 	struct iscsi_session *session = conn->session;  in iscsi_sw_tcp_release_conn()
585 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_sw_tcp_release_conn()
593 	iscsi_sw_tcp_conn_restore_callbacks(conn);  in iscsi_sw_tcp_release_conn()
604 	struct iscsi_conn *conn = cls_conn->dd_data;  in iscsi_sw_tcp_conn_destroy()  local
605 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_sw_tcp_conn_destroy()
608 	iscsi_sw_tcp_release_conn(conn);  in iscsi_sw_tcp_conn_destroy()
620 	struct iscsi_conn *conn = cls_conn->dd_data;  in iscsi_sw_tcp_conn_stop()  local
621 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_sw_tcp_conn_stop()
633 	iscsi_suspend_tx(conn);  in iscsi_sw_tcp_conn_stop()
636 	iscsi_sw_tcp_release_conn(conn);  in iscsi_sw_tcp_conn_stop()
647 	struct iscsi_conn *conn = cls_conn->dd_data;  in iscsi_sw_tcp_conn_bind()  local
648 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_sw_tcp_conn_bind()
657 		iscsi_conn_printk(KERN_ERR, conn,  in iscsi_sw_tcp_conn_bind()
678 	iscsi_sw_tcp_conn_set_callbacks(conn);  in iscsi_sw_tcp_conn_bind()
695 	struct iscsi_conn *conn = cls_conn->dd_data;  in iscsi_sw_tcp_conn_set_param()  local
696 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_sw_tcp_conn_set_param()
705 		tcp_sw_conn->sendpage = conn->datadgst_en ?  in iscsi_sw_tcp_conn_set_param()
709 		return iscsi_tcp_set_max_r2t(conn, buf);  in iscsi_sw_tcp_conn_set_param()
720 	struct iscsi_conn *conn = cls_conn->dd_data;  in iscsi_sw_tcp_conn_get_param()  local
721 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_sw_tcp_conn_get_param()
730 		spin_lock_bh(&conn->session->frwd_lock);  in iscsi_sw_tcp_conn_get_param()
732 			spin_unlock_bh(&conn->session->frwd_lock);  in iscsi_sw_tcp_conn_get_param()
741 		spin_unlock_bh(&conn->session->frwd_lock);  in iscsi_sw_tcp_conn_get_param()
759 	struct iscsi_conn *conn;  in iscsi_sw_tcp_host_get_param()  local
771 		conn = session->leadconn;  in iscsi_sw_tcp_host_get_param()
772 		if (!conn) {  in iscsi_sw_tcp_host_get_param()
776 		tcp_conn = conn->dd_data;  in iscsi_sw_tcp_host_get_param()
803 	struct iscsi_conn *conn = cls_conn->dd_data;  in iscsi_sw_tcp_conn_get_stats()  local
804 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_sw_tcp_conn_get_stats()
813 	stats->custom[2].value = conn->eh_abort_cnt;  in iscsi_sw_tcp_conn_get_stats()