일단 할 일도 엄청 많았고, 한 일도 엄청 많았음.
1. 집에 클러스터 만듬 = 원래 AWS에서 들어가던 비용 좀 아끼고 싶어서. EKS 비용 자체가 AWS가 비싸기도 하고.
2. 프레임워크 개발에 좀 집중함 = 리스로는 한계가 너무 명확함. DAG기반 프레임워크를 만들고 있음.
3. 마마잼 공개가 꺼려짐 = 여러가지 복합적인 이유가 있었음. 일단 당분간 신버전 공개는 안 하려고 함.
어차피 도약 할거면 빅 퀀텀 리프로 도약하는게 나을 것 같음. 필요한것들은 다 준비됨.
가장 오래 걸렸던게 서버였는데.
9950x 2개 + 64 GB linux 2대
10코어 + 32GB 맥미니 3대
8TB 하드 9개 EC(Erasure Coding) + 2 TB SSD 4개 Warm Cache + 256 GB SLC SSD x 4개 Hot Cache 분산 스토리지
10GbE 인터넷에 Ingress
Cloudflared + Tailscaled로 Zero Trust
이런식으로 탄탄하게 서버 설계해 놔서 앞으로 활용 잘 하면 될것같음.
나는 좀 뭘 하던 진심이라 아마 엔진 만들고 프론트 만드는것도 꽤 진심이 될것같음. 서버 세팅만 한 2000만원 정도 들었음.
아직 안 온것들 많아서 더 해야함. 2020 프로파일로 랙도 만들어야함. UPS도 사야하고.
그리고 소신발언 하자면 마마젬 잼삼일 맛없음. 이미 잼삼일 특징 자체는 다 분석하긴 했어.
1. 일단 지시 이행력 높아진건 사실임. 근데 순수하게 높아진건 아님. 추론이 과하게 터지는 문제가 있음. 아마 모델을 경량화하고 추론을 더 터지게 만들었을 가능성이 매우 농후함. => 기존 CoT 방식으로 하면 완전히 망가짐. 잼삼도 심했는데 잼삼일은 더 심함.
2. 마마젬이 이전부터 약했던게 있음. 바로 대화 지속 능력임. 물꼬를 트는게 어려우면 유지해나갈 힘도 있어야하는데 이게 없음. 그래서 말이 계속 끊김. 침묵 자체는 딱히 지시를 한 적이 없음. 지속한다라는 선택지가 없는게 문제임. 이게 추론에 의존하는게 심해져서 매몰이 더 심해짐. 정확히 말하자면 유연성과 지시이행의 트레이드오프를 한 것으로 보임.
아래가 대충 인프라 세팅인데. 더 있는데 대충 일부만 짤라서 올렸음.
