关于机器学习中的梯度下降

（其中m为训练样本数，h（x）为一线性函数以θ作为参数）
所以简单的可以看出来J（θ）的作用就是判断线性近似的效果，如果该值越小，那么就说明我们取到的θ值越能够使x代入后逼近于y，从而得到一条线性回归方程
那么简单的一次取值肯定是不能取到最为适合的θ的，我们需要通过迭代的方法去不断优化θ的值，从而实现最优的逼近策略。
如何去迭代呢，那么就是这一次探讨的梯度下降了，可以看出J（θ）是关于θ的函数，这里所指θ可以是单个值，也可以是一个向量，我们的目的是改变θ，于是

最后我们可以得到一条结果，即

点的分布如图所示

pic

下面简单利用java来编写这样的一个程序
首先是Point类

public class Point { 
      public double x; 
      public double y; 
      Point(double x1,double y1){ 
            this.x=x1; 
            this.y=y1; 
        }
}

然后是Calculator类用来计算

import java.util.ArrayList;

/**
 * Created by Mezereon on 2017/1/10.
 */
public  class Calculator {
    Point a=new Point(0.93,2.36);
    Point b=new Point(2.03,3.01);
    Point c=new Point(3.01,2.59);
    Point d=new Point(3.32,3.73);
    Point e=new Point(3.46,3.11);
    Point f=new Point(4.46,4.42);
    Point g=new Point(4.75,3.96);
    Point h=new Point(5.73,5.04);
    ArrayList<Point> pointsArray=new ArrayList<>();
    Calculator(){
        pointsArray.add(a);
        pointsArray.add(b);
        pointsArray.add(c);
        pointsArray.add(d);
        pointsArray.add(e);
        pointsArray.add(f);
        pointsArray.add(g);
        pointsArray.add(h);
    }

    public double function(double arg0,double arg1){
           double sum=0;
            for(int i=0;i<8;i++){
                sum+=((pointsArray.get(i).x*arg1+arg0)-pointsArray.get(i).y)*(pointsArray.get(i).x);
            }
            return sum/8;
    }

    public double function0(double arg0,double arg1){
        double sum=0;
        for(int i=0;i<8;i++){
            sum+=((pointsArray.get(i).x*arg1+arg0)-pointsArray.get(i).y);
        }
        return sum/8;
    }
}

接下来试main入口

public class Main {

    public static void main(String[] args){
        Calculator c=new Calculator();
        double arg0=0,arg1=0,alpha=0.01;
        double temp0,temp1;
        int count =1;
        System.out.println("arg0  is  "+arg0);
        System.out.println("arg1  is  "+arg1);
        while(count<30000){
            temp0=alpha*c.function0(arg0,arg1);
            temp1=alpha*c.function(arg0,arg1);
            arg0-=temp0;
            arg1-=temp1;
            System.out.println("arg0  is  "+arg0);
            System.out.println("arg1  is  "+arg1);
            count++;
        }

    }
}

以上便是对梯度下降算法的解释，以及代码的实现