回头自问自答下。
这个要看各家的 serving 框架，目前 triton 和 torchserver 都能做到 dynamic batching 之类的功能，但本质上每次推理还是显卡独占；如果是为了省 GPU ，另一个思路是 GPU 虚拟化，暂时没实践

xiao_Fine

@zwpaper 我能找到的最早的出处是这样 https://medium.com/golangspec/goroutine-leak-400063aef468 ，应该就是单纯讨论 goroutine 泄漏的一个 demo ，不过确实学到了

目前能想到的只能是这样(不改变签名），有更优雅的方法吗。。
```
func queryAll() int {
ch := make(chan int)

for i := 0; i < 3; i++ {
go func() {ch <- query()}()
}
<-ch
<-ch
return <-ch
}
/**
goroutines: 1
goroutines: 1
goroutines: 1
goroutines: 1
**/
```

小白一问，试了下诸君的方法，并不行啊
1. buffer ch
```
func queryAll() int {
ch := make(chan int, 3)

for i := 0; i < 3; i++ {
go func() { ch <- query() }()
}
return <-ch
}
/**
goroutines: 3
goroutines: 5
goroutines: 5
goroutines: 7
**/
```
2. select
```
func queryAll() int {
ch := make(chan int, 3)

for i := 0; i < 3; i++ {
go func() {
select {
case ch <- query():
default:

}
}()
}
return <-ch
}
/**
goroutines: 3
goroutines: 5
goroutines: 5
goroutines: 7
**/
```

单纯问一下为啥都推荐 typora ，感觉就比裸写加了些便捷操作，和 vsc 写起来没啥区别吧，是我写 md 的姿势不对吗

我依稀记得 19 年的时候用 vscode 连 tmux 是有显示问题的。。。不知道现在还有没有。
倒是你的工作流是不是太复杂了，为啥不直接 remote 服务器，或者用 wsl

@tanxiong 说实话你这预算不如小额有偿领养

@helloworld000 感谢（看来还有很多路要走

@different 嗯对的，所以单纯的加显卡和优化模型可能对大量的并发请求而言是杯水车薪

@tfdetang 队列转 batch 我确实没想到！感谢，我去试试

@helloworld000 是的，确实是个二把刀，还请指教

@andj4cn 这两个已经没法优化了

@blless 对，算法端已经不能提速了，gpu 资源有限，并发一高就崩了，所以想着加个消息队列

考虑下中间件的兼容性吧

真的能支持 gpu 就无敌了

https://discuss.istio.io/t/where-does-the-environment-variable-is-set/4710/3

看来却是不存在那个环境变量，用的是三元表达式的 true 值

参考 jimmy 大佬的书： https://jimmysong.io/kubernetes-handbook/concepts/service.html，

**当 Pod 运行在 Node 上，kubelet 会为每个活跃的 Service 添加一组环境变量**

但是这些环境变量的写法是有格式的，如下：

```
$ env | grep RATINGS
RATINGS_PORT_9080_TCP_ADDR=10.233.46.167
RATINGS_PORT_9080_TCP_PORT=9080
RATINGS_PORT_9080_TCP_PROTO=tcp
RATINGS_PORT=tcp://10.233.46.167:9080
RATINGS_SERVICE_PORT=9080
RATINGS_PORT_9080_TCP=tcp://10.233.46.167:9080
ENABLE_RATINGS=false
RATINGS_SERVICE_PORT_HTTP_WEB=9080
RATINGS_SERVICE_HOST=10.233.46.167
```

而实际上代码写的是：
```
private final static String ratings_hostname = System.getenv("RATINGS_HOSTNAME") == null ? "ratings" : System.getenv("RATINGS_HOSTNAME");
```

并不存在``RATINGS_HOSTNAME``这个东西