计算机网络final Project

阅读数: 次 2020-07-16

Final Project:利用java 实现web Server

写在前面：127.0.0.1是什么地址？

127.0.0.1与localhost?

题目1.1 开发一个简单的webServer1.0

HTTP：超文本传输协议描述了程序可以通过IP交换数据的一种方式。

GET：获取信息/POST：提交表单数据或上传文件

一个标头称为Content-Length，告诉服务器在请求正文中期望读取多少字节。

当client联系时创建一个连接socket.
从这个socket作为门接受HTTP请求
解释该请求以确定所请求的特定文件
从Server的FS处获得请求的文件
创建一个由请求的文件组成的HTTP响应报文
经过TCP连接向请求的浏览器返回相应。

参考实验楼的实验，用python实现http Server

实验楼的还不如原文讲的清楚…

python代码如下:

#-*- coding:utf-8 -*-
from http.server import BaseHTTPRequestHandler, HTTPServer

class RequestHandler(BaseHTTPRequestHandler):
    '''处理请求并返回页面'''

    # 页面模板
    Page = '''\
        <html>
        <body>
        <p>Hello, web!</p>
        </body>
        </html>
    '''

    # 处理一个GET请求
    def do_GET(self):
        self.send_response(200)#发送200响应码
        self.send_header("Content-Type", "text/html")#标头告诉客户端将数据解释为HTML
        self.send_header("Content-Length", str(len(self.Page)))
        self.end_headers()#用end_headers()方法调用将插入空白行，该行将我们的标题与页面本身分开。
        self.wfile.write(self.Page.encode('utf-8'))

if __name__ == '__main__':
  #祝函数来真正启动服务器的运行。
    serverAddress = ('', 8080)#空格表示localhost
    server = HTTPServer(serverAddress, RequestHandler)
    server.serve_forever()

BaseHTTPRequestHandler类帮我们处理对请求的解析，通过请求的方法来调用其对应的函数。

如方法是GET, 该类会调用名为do_GET方法。

我们所重写的RequestHandler重写此方法以动态生成一个简单的页面：文本存储在类级别的变量中Page,

使用httpie代替浏览器发送请求并在终端打印相应信息。

?postman？

要显示的页面模版只是一个字符串而已，包含html

进阶使其显示值

修改Web服务器以显示HTTP请求中包含的某些值以用于调试

代码框架如下：

class RequestHandler(BaseHTTPServer.BaseHTTPRequestHandler):
  def do_GET(self):
    page=self.create_page()#创建页面
    self.send_page(page)#发送页面
  def create_page(self):
    #todo 
  def send_page(self,page):
    self.send_response()
    self.send_header()
    self.end_headers()
    self.wfile.write(page)

在地址栏输入地址一般就是GET

注意此时即使页面上并没有我们要寻找的something.html我们也不会收到404NotFound：

web服务器只是一个程序!

那如何让我们在没有sth.html的时候显示404Not Found呢？

为我们的服务器编写一个异常类：

1
2
3

class ServerException(Exception):
  #服务器内部错误
  pass

从FS（磁盘）提供页面

下一步是从磁盘开始提供页面，而不是生成即使页面。

def do_GET(self):
  try:
    #被请求的页面的path
    full_path=os.getcwd()+self.path#str
    #请求的相对路径已经由我们使用的库函数保存在self.path中了。
    #if doesn't exist
    if not os.path.exists(full_path):
      raise ServerException("'{0}'not found".format(self.path))
    #if it is a file
    elif os.path.isfile(full_path):
      self.handle_file(full_path)#读取文件并返回内容
    else:
      raise ServerException("Unknown object'{0}' ".format(self.path))
  #处理异常
  except Exception as msg:
    self.handle_error(msg)
 

def handle_file(self,full_path):
  try:
    with open(full_path,'rb')as reader:
      content=reader.read()
    self.send_content(content)
  except IOError as msg:
    msg="'{0}'cannot be read:{1}".format(self.path,msg)
    self.handle_error(msg)
    
Error_Page="""\
<html>
        <body>
        <h1>Error accessing {path}</h1>
        <p>{msg}</p>
        </body>
        </html>
"""
def handle_error(self,msg):
  content=self.Error_Page.format(path=self.path,msg=msg)
  self.send_page(content，404)

#此时的send_page变化为：
def send_page(self,content,status=200):
  self.send_response(status)
  self.send_header("Content-type","text/html")
  self.send_header("Content-Length", str(len(content)))
  self.end_headers()
  self.wfile.write(content)

存疑

不知道为什么httpie可以成功显示，但chrome暂时无法显示呢?

在根URL显示首页内容

直接在根URL显示主页内容，此时就涉及到了条件判断的问题。

Case1:该路径不存在

Case2:该路径是文件

Case3:default class

Problems：

httpPOST和GET区别。
postman测试的使用方法
什么是简单的HttpWeb代理服务器？

HTTP普通代理

Client首先发送Http Connect请求给proxy，发送RealServer信息
代理服务器建立和RealServer的连接， ?并向浏览器回应Connection Established

建立连接

浏览器将请求发送给proxy，proxy传给RealServer
RealServer ->Response->Proxy->Client

这个代理将是多线程的，使其在相同时间能够处理多个请求。?

􏰔􏲦􏲧􏲝􏰩􏲨􏲩􏰣􏱕􏲪􏱳􏱽􏱾􏲫􏲬􏱒􏱓􏰣􏰬􏰭测压的client端进行压测?

分析现有能支持同时连接的最大数，修改代码使服务器同时支持1000个连接？

NIO?

使用Java NIO 提高服务端程序的性能。

线程池?

编写高性能Java服务器，应该选用何种方案?

Netty 是一个 NIO 客户端服务器框架

一文让你深入了解 Java-Netty高性能高并发

7.21更新，原来一直都是filePath写错了…

就好啦！

心好累一堆Error…

7.23更新，原来，哎就不是所有代码都能借鉴的。

原来的代码无法同时更新，即我先输入index.html/再输入其他无效路径，无法显示我第二次输出的值，且postman测试也不通过。

Postman测试，就是在命令行输入：

http GET 'URL'

http POST 'URL'

测试其返回结果。

7.24更新啊，终于把最简单的http写出来了

逻辑真的很简单，就是莫名其妙的会报错，绝了。

v1.1代码如下：

import java.io.*;
import java.net.ServerSocket;
import java.net.Socket;

public class HTTPServer {

    public static void handleRequest(Socket socket){

        try{
            //使用socket对象中的getInputStream。
            InputStream is=socket.getInputStream();

            //输入流对象is转换为字符缓冲输入流
            BufferedReader br=new BufferedReader(new InputStreamReader(is));
            String line=br.readLine();
            System.out.println(line);
            String[] arr=line.split(" ");
            //如果出现shutdown的情况
            if(arr[1].equals("/shutdown")){
                System.exit(0);
            }
            String projectParent = new File(new File("").getCanonicalPath()).getParent();
           // System.out.println(projectParent);//"projectParent=/Users/chixinning/Desktop/webServer"
            String ForePath="/Network/web";
           // System.out.println(projectParent+ForePath+arr[1]);
            File file=new File(projectParent+ForePath+arr[1]);
            if(file.exists()){
                FileInputStream fis=new FileInputStream(projectParent+ForePath+arr[1]);
                OutputStream os=socket.getOutputStream();
                os.write("HTTP/1.1 200 OK\r\n".getBytes());
                os.write("Content-Type:text/html\r\n".getBytes());
                os.write("\r\n".getBytes()); //必须写入空行，否则浏览器不解析
                int len=0;
                byte[] bytes=new byte[1024];
                while((len=fis.read(bytes))!=-1){
                    os.write(bytes,0,len);
                }
                fis.close();
                socket.close();
            }
            else{
                String errorMessage="HTTP/1.1 404 File Not Found\r\n"+
                        "Content-Type:text/html\r\n"+
                        "Content-Length:23\r\n"+
                        "\r\n"+
                        "<h1>File Not Found</h1>";
                OutputStream os=socket.getOutputStream();
                os.write(errorMessage.getBytes());

            }



        }catch(IOException e){
            e.printStackTrace();
        }
    }
    public static void main(String [] args)throws IOException{
        ServerSocket ss=new ServerSocket(8082);
        while(true){
            Socket socket=ss.accept();
            new Thread(()->handleRequest(socket)).start();
        }
    }

}

基于线程池技术的http服务器

java线程池是什么

原来使用的线程也是一种对象，频繁的创建和销毁对象是对性能消耗比较大的一件事。

即原有的new Thread(){public void run{}业务逻辑}.start()

使用线程池的优点

线程的使用率提升
线程池可以控制线程数，有效避免了资源不足的问题

线程池的分类方式：

newFixedThreadPool：指定线程池中的线程数

两个结果综合说明，newFixedThreadPool的线程数是可以进行控制的，因此我们可以通过控制最大线程来使我们的服务器打到最大的使用率，同事又可以保证及时流量突然增大也不会占用服务器过多的资源。

http代理服务器

是这个代理的过程采用多线程和线程池啊…

折腾一上午以为是responseHandler进行多线程。

代理的过程多线程，看看逻辑好像还是request/response.

代理服务器是什么

代理服务器：

解析http请求头消息，
找到目标服务器
建立代理服务器到目标服务器的socket连接
将http消息进行转发

是http代理，而无需https代理。

NIO优化

更高效的I/O处理模型

使用NIO的网络新特性，构建高性能非阻塞并发服务器。

常见I/O模型：

阻塞I/O
非阻塞I/O
I/O复用
信号驱动I/O
异步I/O

NIO与BIO？

搜索words: 利用javaNIO实现高并发代理服务器

NIO和被IO有着相同的目的和作用，但是它们的实现方式不同
- NIO以块方式处理数据，非阻塞
- BIO以流方式处理数据，阻塞

NIO的核心部分

Channel
Buffer
Selector:用于监听多个通道的事件，即使用单个线程可以监听多个数据管道

BIO中的stream是单向的，例如FileInputStream对象只能进行读取数据的操作，而NIO中的通道（Channel）是双向的，既可以用来进行读操作，也可以用来进行写操作。

NIO 使用一个线程处理大量的客户端连接。

NIO核心API

EventLoopGroup和其实现类NioEventLoopGroup

EventLoopGroup是一组EventLoop的抽象，Netty为了更好的利用多核CPU资源，一般会有多个EventLoop同时工作，每个EventLoop维护着一个Selector实例。

在Netty服务器端编程中，我们一般都需要提供两个EventLoopGroup，例如：BossEventLoopGroup和WorkderEventLoopGroup。

通常一个服务端口即一个ServerSocketChannel对应一个Selector和一个EventLoop线程。BossEventLoop负责接收客户端的连接并将SocketChannel交给WorkerEventLoopGroup来进行IO处理，

常用方法：

构造方法：NioEventLoopGroup()

ServerBootstrap和Bootstrap

ServerBootStrap是Netty中的服务端启动助手

BootStrap是Netty中的客户端启动助手

利用这两个API完成各种配置。

Selector

检测多个注册的Channel上是否有时间发生，然后针对每个事件进行相应的响应处理。

这样使得只用在连接真正有读写时，才会调用函数来进行读写，大大地减少了系统开销。

NIO与Netty？

Netty是基于NIO的网络编程框架，使用Netty相当于简化和流程化了NIO的开发过程。

tdl1:NIO与Netty基础

Tdl2:https://www.zhihu.com/question/19732473/answer/241673170

tdl3:Java NIO浅析

Tdl4:serversocket与socket的区别

Netty框架

【无】哈哈哈。

Netty就是好用的bio诶，Netty包还要引入Orz。

导入居然是在Mavens吗哈哈？

功能和性能需求：分析能支持同时连接的最大数，修改代码使服务器可以同时支持1000个连接，此时需要使用NIO进行优化。

http Server 代码逻辑–伪代码

{
 ExecutorService executor = Excutors.newFixedThreadPollExecutor(100);//线程池

 ServerSocket serverSocket = new ServerSocket();
 serverSocket.bind(8088);
 while(!Thread.currentThread.isInturrupted()){//主线程死循环等待新连接到来
 Socket socket = serverSocket.accept();
 executor.submit(new ConnectIOnHandler(socket));//为新的连接创建新的线程
}
class ConnectIOnHandler extends Thread{
    private Socket socket;
    public ConnectIOnHandler(Socket socket){
       this.socket = socket;
    }
    public void run(){
      while(!Thread.currentThread.isInturrupted()&&!socket.isClosed()){死循环处理读写事件
          String someThing = socket.read()....//读取数据
          if(someThing!=null){
             ......//处理数据
             socket.write()....//写数据
          }

      }
    }
}

作者：美团技术团队
链接：https://zhuanlan.zhihu.com/p/23488863
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

性能层面

经典的每连接没线程的模型(BIO)模型性能较低的本质在于严重依赖线程。

使用Netty对Http服务器的简单优化

https://blog.csdn.net/qq_21260033/article/details/80118349

Postman也有软件诶

使用PostMan进行压力/性能测试

http服务器

V1.0 BIO(Done)

V1.1加入线程池(Done)

V2.0采用Netty框架。(Done)

http代理服务器

代理服务器的基本逻辑：

等待来自客户端(web browser)的请求
启动新线程处理客户端请求。

Final Project:利用java 实现web Server

写在前面：127.0.0.1是什么地址？

题目1.1 开发一个简单的webServer1.0

进阶 使其显示值

从FS（磁盘）提供页面

存疑

在根URL显示首页内容

Problems：

HTTP普通代理

基于线程池技术的http服务器

java线程池是什么

使用线程池的优点

线程池的分类方式：

http代理服务器

代理服务器是什么

NIO优化

常见I/O模型：

NIO与BIO？

NIO的核心部分

NIO核心API

EventLoopGroup和其实现类NioEventLoopGroup

常用方法：

ServerBootstrap和Bootstrap

Selector

NIO与Netty？

Netty框架

功能和性能需求：分析能支持同时连接的最大数，修改代码使服务器可以同时支持1000个连接，此时需要使用NIO进行优化。

http Server 代码逻辑–伪代码

性能层面

使用PostMan进行压力/性能测试

进阶使其显示值