gaocegege's repos on GitHub
Go · 6 人关注
6.824-2016
Implementation for MIT 6.824 Distributed System 2016
Go · 5 人关注
6.824-Distributed-Systems-Lab
Implementation for MIT 6.824 Distributed System
2 人关注
awesome-github
A curated list of awesome GitHub guides, articles, sites, tools, projects and resources. 收集这个列表,只是为了更好地使用亲爱的GitHub,欢迎提交pr和issue。
C · 1 人关注
6.828
Solution to homework and assignments from MIT's 6.828 (Operating Systems Engineering).
1 人关注
awesome-open-source-mlops
An awesome & curated list of best open source MLOps tools for data scientists.
JavaScript · 0 人关注
acg-detector
0 人关注
adaptdl
Resource-adaptive cluster scheduler for deep learning training.
HTML · 0 人关注
adpower
buf
Jupyter Notebook · 0 人关注
advisor
Open-source implementation of Google Vizier for hyper parameters tuning
0 人关注
agents
TF-Agents is a library for Reinforcement Learning in TensorFlow
0 人关注
AI-Software-Startups
A Survey of AI startups
Go · 0 人关注
ali-clusterdata-analyzer
JavaScript · 0 人关注
api-blueprint-docker
0 人关注
apiserver-builder-alpha
apiserver-builder-alpha implements libraries and tools to quickly and easily build Kubernetes apiservers/controllers to support custom resource types based on APIServer Aggregation
0 人关注
argo
Argo Workflows: Get stuff done with Kubernetes.
0 人关注
artifacts
OCI Artifacts
TypeScript · 0 人关注
atom-languageclient
Python · 0 人关注
autokeras
Accessible AutoML for deep learning.
Python · 0 人关注
automl-demo
0 人关注
awesome-data-engineering
A curated list of data engineering tools for software developers
0 人关注
awesome-datascience
:memo: An awesome Data Science repository to learn and apply for real world problems.
0 人关注
awesome-developer-first
A curated list of awesome developer-first tools products.
0 人关注
awesome-docker
:whale: A curated list of Docker resources and projects
Go · 0 人关注
awesome-go
A curated list of awesome Go frameworks, libraries and software
0 人关注
awesome-go-China
A curated list of awesome Go frameworks, libraries and software written by Ethnic Chinese.
0 人关注
awesome-mlops
:sunglasses: A curated list of awesome MLOps tools
0 人关注
awesome-open-mlops
The Fuzzy Labs guide to the universe of open source MLOps
0 人关注
awesome-production-machine-learning
A curated list of awesome open source libraries to deploy, monitor, version and scale your machine learning
0 人关注
awesome-python-data-science
Probably the best curated list of data science software in Python.
R · 0 人关注
awesome-R
A curated list of awesome R packages, frameworks and software.
gaocegege

gaocegege

Talk is not cheap.
🏢  环球卖萌中心 / 划水部
V2EX 第 95688 号会员,加入于 2015-02-04 14:42:03 +08:00
上海交通大学 划水专业
[ANN] 关于复式记账语言 Beancount 过分难用这件事
  •  2   
    分享创造  •  gaocegege  •  2022-04-25 14:17:57 PM  •  最后回复来自 wdssmq
    39
    [ANN] 把支付宝、微信等账单转为 BeanCount 记账的命令行工具
    分享创造  •  gaocegege  •  2021-08-17 14:47:12 PM  •  最后回复来自 TripleZ
    3
    腾讯 2022 校招 CSIG 推荐
     •  gaocegege  •  2021-08-09 10:09:58 AM  •  最后回复来自 gaocegege
    1
    [校招][字节跳动-基础架构团队] 北京/上海/南京/杭州/深圳都有职位
  •  2   
    酷工作  •  gaocegege  •  2021-02-03 16:43:56 PM  •  最后回复来自 QZhan
    16
    [GitHub 开源项目] Managing Machine Learning/Deep Learning Models like Docker Images
  •  1   
    分享创造  •  gaocegege  •  2020-08-04 22:38:14 PM  •  最后回复来自 gaocegege
    4
    [For GiHub Maintainer] 一个希望可以方便 Miantainer 的 CLI
  •  2   
    分享创造  •  gaocegege  •  2017-04-29 09:08:42 AM  •  最后回复来自 gaocegege
    1
    gaocegege 最近回复了
    @hsfzxjy

    > 比如像我比较熟悉和习惯构建容器,在我看来这就是借 Python 语法实现的一个 DSL ,并没有解决我太多的痛点,反而在遇到问题时这个 DSL 会显得特别蹩脚。当然我可能不是你们的目标用户~

    谢谢建议,如果你有兴趣的话,我们可以约一次线上的时间交流一下。关于你日常工作中在构建时遇到的问题,和现在你一般都是如何解决的。这对我们非常有帮助~
    @hsfzxjy 谢谢建议

    嗯对于这样的 heuristics ,我们是希望在支持了 envd Hub 之后,由用户提供不同的 build func ,envd 本身提供的原语需要能够支持用户利用它写出各种各样的 build func 。

    对于你说的这个例子,一个类似于这样的 build func 可以被定义:


    ```python
    def build_torch_extension():
    os.environ("TORCH_CUDA_ARCH_LIST", "3.5 5.2 6.0 6.1 7.0+PTX 8.0" TORCH_NVCC_FLAGS="-Xfatbin -compress-all")
    ...
    ```

    在使用的时候可以:


    ```python
    load("build_torch_extension")
    def build():
    build_torch_extension()
    ```

    作为一个帮助解决 dirty work 的项目,我们希望能够通过扩展性来解决各种不同场景的问题,因为不同场景的 dirty work 都不太一样,我们也很难把所有的 heuristics 都集成在项目里

    当然最简单的框架和 CUDA 的版本映射,这个倒是不复杂。
    @hsfzxjy 嗯嗯,cog 是在内存里维护了一个 map ,把每个 pytorch tf 版本对应的 cuda 版本记在了里面。我们后面也有计划提供一个 func ,来让使用者指定是否要自动推理合适的 cuda 版本
    @hsfzxjy 默认用 install.cuda 配置的就是带 devel 的,不过现在只支持 11.6 和 11.2 ,也可以用
    base(image="") 自定义 base image
    @hsfzxjy 你想用的是哪个版本嘞?
    @houshuu 欢迎试用反馈哦
    @hsfzxjy 这样,学习了
    这个例子是参考了 2017 年的一个 mnist streamlit 的 demo ,可能有点非最佳实践
    @zsj950618 emm 这是测试下来可以跑的 code 。当然直接把 cv2 所有的依赖都装一遍也可以

    ffmpeg libsm6 libxext6
    嗯对,如果不冲突的话是可以的。所以我们也在设计语法让用户自己决定是不是需要并行。

    有冲突就需要 fallback 到串行。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5391 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 08:12 · PVG 16:12 · LAX 00:12 · JFK 03:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.