配置解决方案viper

安装依赖

1
2
3

go get github.com/spf13/viper
go get github.com/spf13/viper/remote
go get go.etcd.io/etcd/client/v3

支持哪些格式的配置文件
1. JSON
2. TOML
3. YAML
4. HCL
5. envfile
6. INI
数据来源
1. 文件
2. 环境变量
3. io.Reader
4. etcd
输出
1. 输出到配置对象
2. 输出到viper对象
能力
1. 监控文件或etcd配置变化，并重新加载配置文件
2. 将运行时配置写到文件

数据源接口定义

data_source.go

package config

import (
	"io"
	"log"

	"github.com/spf13/viper"
	_ "github.com/spf13/viper/remote" // 这个必须引用，否则读不到etcd的值
)

// 从本地文件读取配置
func LoadFromFile(filepath string, typ ...string) (*viper.Viper, error) {
	v := viper.New()
	v.SetConfigFile(filepath)
	if len(typ) > 0 {
		v.SetConfigType(typ[0])
	}
	err := v.ReadInConfig()
	return v, err
}

// 从环境变量读取
func LoadFromEnv() (*viper.Viper, error) {
	v := viper.New()
	// 自动绑定环境变量
	// v.AutomaticEnv()
	// 指定绑定环境变量
	v.BindEnv("GOPATH")
	v.BindEnv("GOROOT")
	return v, nil
}

// 从io.Reader读取
func LoadFromEnvIOReader(reader io.Reader, typ string) (*viper.Viper, error) {
	v := viper.New()
	v.SetConfigType(typ)
	err := v.ReadConfig(reader)
	return v, err
}

// 从etcd读取
func LoadFromEtcd(etcdAddr, key, typ string) (*viper.Viper, error) {
	v := viper.New()
	err := v.AddRemoteProvider("etcd3", etcdAddr, key)
	if err != nil {
		log.Println(err)
		return nil, err
	}
	v.SetConfigType(typ)
	err = v.ReadRemoteConfig()
	return v, err
}

配置自定义结构接口定义

config.go

package config

import (
	"fmt"
	"log"
	"time"

	"github.com/fsnotify/fsnotify"
	"github.com/spf13/viper"
)

type Config struct {
	Evn    string `mapstructure:"env"` // mapstructure是viper使用的tag
	Server struct {
		IP   string `mapstructure:"ip"`
		Port string `mapstructure:"port"`
	} `mapstructure:"server"`
	Courses []string `mapstructure:"courses"`
	List    []struct {
		Name   string `mapstructure:"name"`
		Author string `mapstructure:"author"`
	} `mapstructure:"list"`
}

var conf *Config

var etcdConf *Config

func InitConf(filepath string, typ ...string) {
	v := viper.New()
	v.SetConfigFile(filepath)
	if len(typ) > 0 {
		v.SetConfigType(typ[0])
	}
	err := v.ReadInConfig()
	if err != nil {
		log.Fatal(err)
	}
	conf = &Config{}
	err = v.Unmarshal(conf)
	if err != nil {
		log.Fatal(err)
	}

	// 热更新，绑定事件
	v.OnConfigChange(func(in fsnotify.Event) {
		// 重新加载配置文件到对象
		v.Unmarshal(conf)
		// 打印新的配置信息，用于验证结果
		fmt.Printf("%+v\n", conf)
	})
	v.WatchConfig()
}

func GetConf() *Config {
	return conf
}

func InitEtcdConf(etcdAddr, key, typ string) {
	v := viper.New()
	v.AddRemoteProvider("etcd3", etcdAddr, key)
	v.SetConfigType(typ)
	err := v.ReadRemoteConfig()
	if err != nil {
		log.Fatal(err)
	}
	etcdConf = &Config{}
	err = v.Unmarshal(etcdConf)
	if err != nil {
		log.Fatal(err)
	}
	// 起一个协程不断去观察etcd的配置数据是否发生了变化
	go func() {
		i := 0
		for {
			<-time.After(time.Second * 3)
			err = v.WatchRemoteConfig()
			if err != nil {
				log.Println(err)
				continue
			}
			err = v.Unmarshal(etcdConf)
			if err != nil {
				log.Println(err)
				continue
			}
			i++
			fmt.Printf("%d, %+v\n", i)
		}
	}()
}

func GetEtcdConf() *Config {
	return etcdConf
}

测试配置加载及热更新

main.go

package main

import (
	"bytes"
	"context"
	"fmt"
	"log"
	"os"
	"viper/config"

	"go.etcd.io/etcd/client/v3"
)

func main() {
	// 测试从文件加载配置
	loadFile()
	// 测试从环境变量读取配置
	loadEnv()
	// 测试从io.Reader读取配置
	loadReader()
	// 测试从ETCD读取配置
	loadEtcd()
	// 测试从文件读取的配置获取到自定义的对象中，并测试热更新
	config.InitConf("config.yaml")
	conf := config.GetConf()
	fmt.Printf("%+v\n", conf)
	fmt.Println(conf.Server.IP)

	// 测试从ETCD读取的配置获取到自定义的对象中，并测试热更新
	// 向etcd写入配置数据
	etcdAddr := "127.0.0.1:2379"
	key := "/golang/viper/config.json"
	localFilePath := "config.json"
	writeConfToEtcd(etcdAddr, key, localFilePath)
	config.InitEtcdConf(etcdAddr, key, "json")
	conf = config.GetEtcdConf()
	fmt.Printf("%+v\n", conf)
	fmt.Println(conf.Server.IP)

	// 接收一个信号，等待对热更新的测试结果
	ctx, stop := signal.NotifyContext(context.Background(), os.Interrupt, os.Kill)
	defer stop()
	<-ctx.Done()
}

func loadFile() {
	v, err := config.LoadFromFile("config.env")
	fmt.Println("config.env, ", err, v.Get("env"), v.Get("server.port"), v.Get("courses"))
	v, err = config.LoadFromFile("config.json")
	fmt.Println("config.json, ", err, v.Get("env"), v.Get("server.port"), v.Get("courses").([]interface{})[0], v.Get("list").([]interface{})[0].(map[string]interface{})["author"])
	v, err = config.LoadFromFile("config.noext", "yaml") // 这个的后缀viper不认识，需要手动传入实际的类型
	fmt.Println("config.noext, ", err, v.Get("env"), v.Get("server.port"), v.Get("courses").([]interface{})[0], v.Get("list").([]interface{})[0].(map[string]interface{})["author"])
	v, err = config.LoadFromFile("config.toml")
	fmt.Println("config.toml, ", err, v.Get("env"), v.Get("server.port"), v.Get("courses").(map[string]interface{})["list"], v.Get("list").([]interface{})[0].(map[string]interface{})["author"])
	v, err = config.LoadFromFile("config.yaml")
	fmt.Println("config.yaml, ", err, v.Get("env"), v.Get("server.port"), v.Get("courses").([]interface{})[0], v.Get("list").([]interface{})[0].(map[string]interface{})["author"])
}

func loadEnv() {
	v, err := config.LoadFromEnv()
	fmt.Println(err, v.Get("GOROOT"), v.Get("GOPATH"))
}

func loadReader() {
	bytelist, err := os.ReadFile("config.yaml")
	if err != nil {
		log.Fatal(err)
	}
	r := bytes.NewReader(bytelist)
	v, err := config.LoadFromEnvIOReader(r, "yaml")
	fmt.Println("io.reader, ", err, v.Get("env"), v.Get("server.port"), v.Get("courses").([]interface{})[0], v.Get("list").([]interface{})[0].(map[string]interface{})["author"])
}

func loadEtcd() {
	// 向etcd写入数据(实际工作没有这一步)
	etcdAddr := "127.0.0.1:2379"
	key := "/golang/viper/config.yaml"
	localFilePath := "config.yaml"
	writeConfToEtcd(etcdAddr, key, localFilePath)
	// 从etcd加载配置, etcd充当配置中心
	v, err := config.LoadFromEtcd(etcdAddr, key, "yaml")
	fmt.Println("etcd, ", err, v.Get("env"), v.Get("server.port"), v.Get("courses").([]interface{})[0], v.Get("list").([]interface{})[0].(map[string]interface{})["author"])
}

func writeConfToEtcd(etcdAddr, key, localFilePath string) {
	bytelist, err := os.ReadFile(localFilePath)
	if err != nil {
		log.Fatal(err)
	}
	value := string(bytelist)
	cli, err := clientv3.New(clientv3.Config{
		Endpoints: []string{etcdAddr},
	})
	if err != nil {
		log.Fatal(err)
	}
	_, err = cli.Put(context.Background(), key, value)
	if err != nil {
		log.Fatal(err)
	}
}

2024-12-12 该篇文章被 Cleofwine 归为分类: Go云原生